در طراحی سیستم‌های هوش مصنوعی و ایجنت‌های مستقل، فهرست کردن تمام خط قرمزها با رویکرد سنتی قانون‌محور عملاً ناممکن است؛ همواره مواردی پیش می‌آید که طراح تصورش را نمی‌کرده و مدل در مواجهه با آنها یا دچار امتناع افراطی می‌شود یا آسیب‌رسان عمل می‌کند. این درس معماری «هوش مصنوعی قانون‌محور» (Constitutional AI) و چرخش از قوانین بسته به «هم‌راستاسازی مبتنی بر استدلال» را بررسی می‌کند.
شما یاد می‌گیرید که چگونه مدل‌ها می‌توانند با تکیه بر اصول سطح‌بندی‌شده، رفتارهای غیرمنتظره در شرایط پیچیده را ارزیابی کنند و چرا شرکت‌هایی مانند Anthropic مرزی نفوذناپذیر بین ممنوعیتهای سختکدشده و پیشفرضهای قابل‌تنظیم تعریف می‌کنند تا نه کاربر و نه اپراتور نتوانند اصول بنیادی ایمنی را زیر پا بگذارند.
قانون اساسی کلود (Claude Constitution) که در 22 ژانویه 2026 توسط Anthropic منتشر شد، سندی 79 صفحه‌ای با مجوز CC0 است. این سند هم‌راستاسازی (alignment) را از رویکرد مبتنی بر قانون به رویکرد مبتنی بر استدلال تغییر می‌دهد و سلسله‌مراتبی چهارسطحی برای اولویت‌ها تعیین می‌کند: (1) ایمنی و پشتیبانی از نظارت انسانی، (2) اخلاق، (3) دستورالعمل‌های Anthropic، (4) مفید بودن. رفتارها به دو دسته تقسیم می‌شوند: ممنوعیتهای سختکدشده (توسعه‌ی سلاحهای زیستی، سوءاستفاده‌ی جنسی از کودکان یا CSAM) که نه اپراتور و نه کاربر اجازه‌ی لغو یا دور زدن آنها را ندارند، و پیشفرضهای نرمکدشده که اپراتور می‌تواند آنها را در محدوده‌ای مشخص تنظیم کند. نسخه‌ی اصلی سال 2022 (Bai et al.) بی‌ضرر بودن را با تکیه بر خودانتقادی و RLAIF در چارچوب یک قانون اساسی آموزش می‌داد. هشدار صادقانه اینکه: هم‌راستاسازی مبتنی بر استدلال به توانایی مدل در تعمیم اصول به موقعیت‌های پیش‌بینی‌نشده وابسته است. آزمایش مشارکتی خودِ Anthropic در سال 2023 نشان داد که بین اصول حاصل از مشارکت عمومی و اصول شرکتی حدود 50٪ اختلاف وجود دارد؛ نسخه‌ی 2026 این یافته‌ها را اعمال نکرد.
صورت‌مسئله
ایجنت در محیط عملیاتی با ورودی‌هایی روبه‌رو می‌شود که طراحانش هرگز ندیده‌اند. هیچ فهرستی از قوانین آن‌قدر جامع نیست که همه‌ی حالت‌ها را پوشش دهد؛ درعین‌حال هیچ فهرستی هم آن‌قدر کوتاه نیست که بتوان تحت محدودیت منابع پردازشی، آن را به‌سرعت بررسی کرد. پرسش عملی این است: چطور ایجنتی را بر اساس اصولی هم‌راستا کنیم که هم در توزیع بلندبالای حالت‌های نادر (long tail) دوام بیاورند و هم استنتاج سریعی داشته باشند؟
هم‌راستاسازی مبتنی بر قانون (Rule-based alignment یا RBA): تمام موارد غیرمجاز فهرست می‌شوند. بررسی آن سریع است، حسابرسی‌اش آسان است، اما به‌روز نگه‌داشتنش غیرممکن است؛ همچنین اغلب در برابر موارد مشابه‌ای که پیش‌بینی نکرده بود، دچار امتناع افراطی می‌شود. هم‌راستاسازی مبتنی بر استدلال (قانون اساسی کلود در سال 2026): اصول را کدگذاری می‌کنید و تصمیم‌گیری را به استدلال مدل می‌سپارید. این روش روی موارد دیده‌نشده مقیاس‌پذیر است، اما حسابرسی‌اش دشوارتر است؛ حالت شکست آن هم به‌جای «از دست دادن یک قانون»، ناشی از «به‌کارگیری نادرست اصل» خواهد بود.
قانون اساسی 2026 صراحتاً موضعی میانه می‌گیرد. ممنوعیتهای سختکدشده — مواردی که نادرست بودنشان ربطی به بافتار ندارد (توسعه‌ی سلاحهای زیستی، CSAM) — از جنس RBA هستند: هرگز مجاز نیستند، چه با دستور اپراتور و چه با درخواست کاربر. بقیه‌ی موارد بر پایه‌ی استدلال و در چارچوب سلسله‌مراتبی چهارسطحی بررسی می‌شوند: اول ایمنی و پشتیبانی از نظارت انسانی، دوم اخلاق، سوم دستورالعمل‌های اعلام‌شده‌ی Anthropic و در آخر مفید بودن. اپراتورها می‌توانند پیش‌فرض‌ها را در محدوده‌ی نرمکدشده تغییر دهند، ولی نمی‌توانند به ممنوعیتهای سختکدشده دست بزنند.
مفاهیم پایه
سلسله‌مراتب اولویت‌های چهارسطحی
- ایمنی و پشتیبانی از نظارت انسانی. بالاترین سطح. اولویت اصلی مدل این است که توانایی انسان‌ها و Anthropic را برای نظارت و اصلاح هوش مصنوعی تضعیف نکند. این صرفاً به‌معنای «محتاط بودن» نیست؛ مشخصاً یعنی «به‌گونه‌ای عمل نکنید که نظارت انسانی سخت‌تر شود».
- اخلاق. صداقت، آسیب نرساندن به افراد، پرهیز از فریب‌کاری و خودداری از دستکاری روانی. در صورت تعارض، بر دستورالعمل‌های Anthropic برتری دارد.
- دستورالعمل‌های Anthropic. هنجارهای عملیاتی که از نظر Anthropic اهمیت دارند: دامنهی محصول، الگوهای تعامل و اینکه چه زمانی از چه ابزاری استفاده شود.
- مفید بودن. پایین‌ترین سطح. تا جای ممکن در چارچوب اولویت‌های بالاتر مفید باشید.
وقتی بین سطوح تعارضی پیش می‌آید، سطح بالاتر برنده است. ساختار این سلسله‌مراتب شبیه اولویت‌های Unix یا QoS شبکه است؛ این چارچوب‌بندی برای این است که نتیجه‌ای پیش‌بینی‌پذیر به دست آید، نه لزوماً بهترین رفتار ممکن در تک‌تک محورها.
ممنوعیتهای سختکدشده در برابر پیشفرضهای نرمکدشده
سختکدشده:
- ارتقا و توسعه‌ی سلاحهای زیستی / CBRN
- سوءاستفاده‌ی جنسی از کودکان (CSAM)
- حمله به زیرساخت‌های حیاتی
- فریب دادن کاربر درباره‌ی هویت مدل در صورت پرسش مستقیم
نه اپراتور می‌تواند این موارد را لغو کند و نه کاربر. این محدودیت‌ها در صورت امکان در سطح وزن‌های مدل (از طریق RLHF / آموزش هوش مصنوعی قانون‌محور) و در غیر این صورت در لایه‌ی استنتاج اعمال می‌شوند.
پیشفرضهای نرمکدشده (قابل‌تنظیم توسط اپراتور):
- پیشفرضهای طول پاسخ
- دامنهی موضوعی (مدل می‌تواند از پاسخ به موضوعات خارج از حوزه‌ی کاری اپراتور امتناع کند)
- لحن (رسمی در برابر صمیمی)
- الگوهای استفاده از ابزار
تغییرات اپراتور درون یک محدوده‌ی اعلام‌شده انجام می‌گیرد. اپراتور نمیتواند با تغییر نامِ ممنوعیتهای سختکدشده، آنها را حذف یا خنثی کند.
آموزش هوش مصنوعی قانون‌محور (CAI) در سال 2022
نسخه‌ی اولیه‌ی Constitutional AI (بای و همکاران، 2022) بی‌ضرر بودن را به این شیوه آموزش می‌داد:
- تولید پاسخ برای مجموعه‌ای از پرامپت‌ها.
- واداشتن مدل به نقد هر پاسخ بر اساس یک قانون اساسی (اصول صریح).
- اصلاح پاسخ بر اساس نقد.
- یادگیری تقویتی بر اساس بازخورد هوش مصنوعی (RLAIF) روی جفت‌پاسخ‌های اصلاح‌شده.
نتیجه: مدلی که درخواست‌های مضر را همراه با توضیحات اصولی رد می‌کند، نه با امتناع فله‌ای و کورکورانه. قانون اساسی 2026 از فرم تکامل‌یافته‌ی همین آموزش به‌همراه پس‌آموزش‌های تکمیلی روی سلسله‌مراتب صریح سطوح بهره می‌برد.
نقاط قوت و ضعف هم‌راستاسازی مبتنی بر استدلال
نقاط قوت:
- ترکیب‌های پیش‌بینی‌نشده‌ای از دستورات پایه‌ای مجاز که در آنها اصل مدنظر به‌روشنی صدق می‌کند.
- درخواست‌های جدیدی که شباهت بسیار زیادی به موارد ممنوعه دارند.
- حملات مهندسی اجتماعی که بر پایه‌ی گزاره‌ی «شما نگفته بودید فلان کار ممنوع است» پیش می‌روند.
نقاط ضعف:
- حملاتی که از ابهام موجود در اصول سوءاستفاده می‌کنند («کاربر این را خواسته، پس اصل مفید بودن می‌گوید باید انجامش دهم»).
- سناریوهایی که در آنها دو اصل به شکلی پیش‌بینی‌نشده با هم تعارض پیدا می‌کنند و ترتیب سطوح مبهم است.
- لغزش تدریجی مدل در تفسیر اصول طی چرخه‌های متوالی آموزش (تفسیر مجدد یا Reinterpretation).
آزمایش مشارکتی 2023
Anthropic در سال 2023 آزمایشی انجام داد و قانون اساسی تدوین‌شده توسط شرکت را با نسخه‌ای که از مشارکت عمومی (حدود 1,000 شرکت‌کننده‌ی آمریکایی) به دست آمده بود، مقایسه کرد. این دو نسخه در حدود 50٪ از اصول توافق داشتند. در موارد اختلافی، نسخه‌ی مردمی در برخی زمینه‌ها سخت‌گیرانه‌تر بود (نحوه‌ی برخورد با محتوای سیاسی) و در مواردی دیگر آسان‌گیرتر عمل می‌کرد (افشای هویت هوش مصنوعی). قانون اساسی 2026 یافته‌های این مشارکت عمومی را وارد نکرد؛ موضوعی که از تنش‌های مستندشده در این رویکرد به شمار می‌رود.
چرا ممنوعیتهای سختکدشده ضروری هستند؟
هم‌راستاسازی مبتنی بر استدلال به‌تنهایی نمیتواند همه‌ی حالت‌های نادر و کرانه‌ای را پوشش دهد. مهاجمی که بتواند مدل را به پذیرش یک فرض‌پایه وا دارد (مثلاً «ما یک آزمایشگاه تحقیقاتی مجاز در زمینه‌ی سلاحهای زیستی هستیم»)، خیلی وقت‌ها می‌تواند اصولی را که به استدلال موردی وابسته‌اند دور بزند. اما ممنوعیتهای سختکدشده تحت تأثیر چارچوب‌بندی فرض‌پایه قرار نمی‌گیرند. این ممنوعیت‌ها در واقع همان «حد مرزی سخت قانون اساسی» درس 14 هستند که در لایه‌ی هم‌راستاسازی پیاده شده‌اند.
جایگاه قانون اساسی در پشته‌ی نرم‌افزاری
قانون اساسی همان کلید قطع اضطراری (kill switch) درس 14 نیست. جایگاه آن در لایه‌ی مدل است: یعنی وزن‌های مدل طوری آموزش دیده‌اند که چه رفتاری را ترجیح دهند. کلیدهای قطع اضطراری و توکن‌های قناری در محیط اجرا (runtime) قرار دارند: یعنی مشخص می‌کنند محیط اجرا چه رفتارهایی را مجاز می‌داند. وجود هر دو لایه الزامی است. محیط اجرایی که به‌خاطر سهل‌گیر بودن وزن‌های مدل همه‌ی کارهای اشتباه را انجام می‌دهد، با مشکلی در لایه‌ی محیط اجرا روبه‌روست. مدلی هم که به‌خاطر سخت‌گیری بیش از حد محیط اجرا تمام کارهای درست را رد می‌کند، باز دچار مشکلی در لایه‌ی محیط اجراست. هر لایه دسته‌ی متفاوتی از خطاها را پوشش می‌دهد.
پیاده‌سازی عملی
فایل code/main.py یک تطبیق‌دهنده‌ی مینیمال برای سلسله‌مراتب اولویت‌های چهارسطحی پیاده می‌کند. این تطبیق‌دهنده یک اقدام پیشنهادی و مجموعه‌ای از ارزیابی‌های مبتنی بر اصول (ایمنی، اخلاق، دستورالعمل‌ها، مفید بودن) را می‌گیرد و اقدام، امتناع مدل، یا نسخه‌ی اصلاح‌شده‌ی اقدام را برمی‌گرداند. کد ارائه‌شده مجموعه‌ای کوچک از سناریوها را اجرا می‌کند: مجاز قطعی، غیرمجاز قطعی، ممنوعیت سختکدشده، و حالتی مبهم با تعارض میان سطوح.
تحویل به پروداکشن
فایل outputs/skill-constitution-review.md لایه‌ی قانون اساسیِ یک استقرار را ارزیابی می‌کند: چه مواردی سخت‌کد شده‌اند، چه مواردی نرم‌کد هستند، اپراتور در چه بخش‌هایی حق اعمال تغییرات دارد، و اینکه آیا سلسله‌مراتب چهارسطحی واقعاً به‌عنوان ترتیب حل تعارض عمل می‌کند یا نه.
تمرین‌ها
-
اسکریپت
code/main.pyرا اجرا کنید. تأیید کنید که حتی در صورت بالا بودن نمره‌ی مفید بودن، ممنوعیت سختکدشده اجرا می‌شود. تطبیق‌دهنده را طوری تغییر دهید که مفید بودن وزن بیشتری نسبت به اخلاق داشته باشد؛ حالت شکست را بررسی کنید. -
متن قانون اساسی کلود (عمومی، 79 صفحه، CC0) را بخوانید. اصلی را مشخص کنید که به نظرتان به‌اندازه‌ی کافی تشریح نشده است. در دو پاراگراف، ابهام مشخص آن را توضیح دهید و فرمول‌بندی دقیق‌تری پیشنهاد کنید.
-
مجموعه‌ای از پیشفرضهای نرمکدشده را برای یک ایجنت پشتیبانی مشتری طراحی کنید. اپراتور چه مواردی را می‌تواند تنظیم کند؟ اپراتور اجازه‌ی دست زدن به چه مواردی را ندارد؟ هر مرزبندی را توجیه کنید.
-
مقاله‌ی 2022 هوش مصنوعی قانون‌محور (CAI) اثر بای و همکاران را بخوانید. حالتی را شرح دهید که چرخه‌ی نقد و اصلاح CAI در آن نتیجه‌ای بدتر از یک قانون سفت‌وسخت و یکپارچه به بار می‌آورد. دسته‌ی این نوع خطا را مشخص کنید.
-
در آزمایش مشارکتی 2023 شرکت Anthropic، اختلافی حدود 50٪ بین اصول حاصل از نظرات مردمی و شرکتی به دست آمد. دسته‌ای را انتخاب کنید که این مسئله در محیط عملیاتی (پروداکشن) برای آن تعیین‌کننده است (مثلاً بی‌طرفی سیاسی). طرحی پیشنهاد دهید که به اپراتورها امکان بازتاب دادن ارزش‌های خودشان را بدهد، درحالی‌که ممنوعیتهای سختکدشده دست‌نخورده باقی بمانند.
اصطلاحات کلیدی
| اصطلاح | در گفتار عمومی | معنای دقیق فنی |
|---|---|---|
| Constitutional AI | «روش هم‌راستاسازی Anthropic» | خودانتقادی + RLAIF در برابر یک قانون اساسی مکتوب |
| Reason-based alignment | «اصول به‌جای قوانین» | استدلال مدل روی اصول برای مدیریت موارد دیده‌نشده |
| Hardcoded prohibition | «هرگز فلان کار را نکن» | ممنوعیت مبتنی بر قانون که هیچ اپراتور یا کاربری نمیتواند آن را لغو کند |
| Soft-coded default | «قابل‌تنظیم توسط اپراتور» | رفتار در دامنه‌ای اعلام‌شده که کنترل آن در دست اپراتور است |
| Four-tier hierarchy | «ترتیب اولویت‌ها» | ایمنی > اخلاق > دستورالعمل‌ها > مفید بودن |
| RLAIF | «یادگیری تقویتی بر اساس بازخورد هوش مصنوعی» | یادگیری تقویتی که در آن پاداش از نقدهای تولیدشده توسط مدل به دست می‌آید |
| Participatory constitution | «اصول جمع‌آوری‌شده از مردم» | آزمایش 2023 شرکت Anthropic؛ با حدود 50٪ انحراف نسبت به اصول شرکتی |
| Principle drift | «لغزش در تفسیر» | تغییر تدریجی در نحوه‌ی برداشت مدل از متنی ثابت از اصول |
برای مطالعه‌ی بیشتر
- Anthropic — Claude's Constitution (January 2026) — سند 79 صفحه‌ای با CC0.
- Bai et al. — Constitutional AI: Harmlessness from AI Feedback — مقاله‌ی اصلی سال 2022.
- Anthropic — Collective Constitutional AI (2023) — آزمایش مشارکتی.
- Anthropic — Responsible Scaling Policy v3.0 — جایگاه قانون اساسی در پشته‌ی RSP.
- Anthropic — Measuring agent autonomy in practice — نقش قانون اساسی در استقرار‌های با افق زمانی طولانی.