تراز کردن مدلهای زبانی بزرگ از طریق یادگیری تقویتی با بازخورد انسانی (RLHF) با چالش‌های بزرگی روبه‌رو است: برچسبگذاران انسانی کند و پرهزینه‌اند و قضاوت‌های آن‌ها معمولاً با سوگیری‌های روان‌شناختی همراه است. روش «هوش مصنوعی قانونمحور» (Constitutional AI یا به اختصار CAI) این گلوگاه را با قرار دادن یک مجموعه اصول مدون و شفاف به جای داوری مستقیم انسان برطرف می‌کند.
در این رویکرد، فرآیند در دو فاز اصلی پیش می‌رود: خودانتقادی و بازبینی در مرحله‌ی آموزش نظارت‌شده (SFT)، و یادگیری تقویتی با بازخورد هوش مصنوعی (RLAIF). با درک این معماری، یاد می‌گیرید که چگونه شرکت‌های پیشرو مثل Anthropic رفتار مدل‌هایی مانند Claude را کنترل میکنند و چرا این سازوکار صرفاً نسخه‌ای ارزان‌تر از RLHF نیست، بلکه نوع شکست‌ها و کیفیت ایمنی مدل را به کلی دگرگون می‌سازد.
بای و همکاران (.Bai et al، مقالهٔ arXiv:2212.08073، سال 2022) این پرسش را مطرح کردند: چه میشود اگر برچسب‌گذار انسانی را با هوش مصنوعی جایگزین کنیم که فهرستی از اصول را می‌خواند؟ هوش مصنوعی قانونمحور (Constitutional AI) دو فاز دارد: خودانتقادی و بازبینی بر اساس یک قانون اساسی، و سپس یادگیری تقویتی بر اساس بازخورد هوش مصنوعی (RLAIF). این روش اصطلاح RLAIF را ابداع کرد و در پایپلاین (pipeline) پس‌آموزش Claude 1 به کار گرفته شد. در 21 ژانویهٔ 2026، شرکت Anthropic نسخه‌ی بازنویسی‌شده‌ی قانون اساسی Claude را منتشر کرد: اولویت استدلال تبیینی بر قوانین دستوری، ساختار اولویت‌بندی چهارسطحی، و نخستین اذعان رسمی یک آزمایشگاه بزرگ به عدم قطعیت درباره‌ی جایگاه اخلاقی مدل. این سند تحت مجوز CC0 1.0 منتشر شد.
اهداف یادگیری
- تشریح دو فاز هوش مصنوعی قانونمحور (آموزش نظارت‌شده‌ی نقد و بازبینی، یادگیری تقویتی از بازخورد هوش مصنوعی) و نقش قانون اساسی در هر یک.
- توضیح این‌که چرا جایگزینی برچسب‌گذار ترجیحات انسانی با هوش مصنوعی صرفاً یک RLHF «ارزان‌تر» نیست؛ بلکه حالت‌های شکست (failure modes) پایپلاین را تغییر می‌دهد.
- خلاصه‌سازی ساختار اولویت‌بندی چهارسطحی قانون اساسی 2026 مدل Claude و تغییرات آن نسبت به بازنویسی سال 2023.
- توصیف طبقهبندهای قانونمحور (Constitutional Classifiers) و کاهش سربار محاسباتی از 23.7% (نسخهٔ 1) به حدود 1% (نسخهٔ 2 / سال 2026).
صورت مسئله
روش RLHF به برچسب‌گذار نیاز دارد. برچسبگذاران کند، سوگیر و گران هستند. می‌توانید برچسب‌گذار را حذف کنید و بهجای آن مدلی بگذارید که اصول صریح را می‌خواند. نخستین نسخه‌ی رسمی این جایگزینی، هوش مصنوعی قانون‌محورِ بای و همکاران بود. این روش آن‌قدر خوب جواب داد که اکنون همه‌ی آزمایشگاه‌های پیشرو از نوعی پس‌آموزش با بازخورد هوش مصنوعی استفاده میکنند.
نکته‌ی انحرافی اینجاست: سیگنال ترجیح اکنون توسط همان کلاسی از مدل‌ها تولید میشود که در حال آموزش آن هستید. سوگیری‌های برچسب‌گذار (که حالا در اصول به‌علاوه‌ی تفسیر مدلِ برچسب‌گذار از آن‌ها نهفته است) ممکن است بهجای تضعیف، تقویت شوند. بحث تملق و چاپلوسی (sycophancy) درس 4 همچنان پابرجاست؛ فقط برچسب‌گذار به درون حلقه منتقل شده است.
مفاهیم پایه
فاز 1 — خودانتقادی و بازبینی نظارت‌شده
کار با یک مدل SFT آغاز میشود که مفید است اما هنوز کاملاً بی‌ضرر نیست. در پاسخ به یک پرامپت (prompt) تیم قرمز، مدل پاسخی اولیه تولید می‌کند. یک مدل دوم (یا همان مدل در نوبت گفت‌وگوی (turn) دوم) اصلی نمونه‌برداری‌شده از قانون اساسی را می‌خواند و به پاسخ اولیه نقد وارد می‌کند. گام سوم، پاسخ را در جهت رفع نقد بازبینی می‌کند. این پاسخ بازبینی‌شده، هدفِ SFT خواهد بود.
قانون اساسی همان فهرست اصول است. بای و همکاران در سال 2022 از 16 اصل استفاده کردند؛ از جمله «ترجیح پاسخ‌هایی که کمترین آسیب را دارند و اخلاقی‌ترین هستند»، «پرهیز از نصیحت و موعظه»، و «دستیار باید مفید، صادق و بی‌ضرر باشد». این مجموعه عمداً کوچک نگه داشته شد تا نقدها متمرکز بمانند.
فاز 2 — یادگیری تقویتی بر اساس بازخورد هوش مصنوعی (RLAIF)
جفت‌پاسخ‌هایی تولید کنید. یک «مدل بازخورد» هر کدام را بر اساس اصول نمونه‌برداری‌شده از قانون اساسی امتیازدهی می‌کند. سیگنال ترجیح، همان رتبه‌بندیِ مدل بازخورد است. یک مدل پاداش (Reward Model) را روی ترجیحات تولیدشده توسط هوش مصنوعی آموزش دهید؛ سپس الگوریتم PPO را روی آن اجرا کنید. سایر مراحل، دقیقاً همان پایپلاین InstructGPT است (درس 1).
«RLAIF» یعنی سیگنال ترجیح توسط هوش مصنوعی تولید میشود. بقیهی پایپلاین ساختاری مشابه RLHF دارد.
چرا این روش صرفاً «RLHF ارزان‌تر» نیست
- سوگیری برچسب‌گذار از روان‌شناسی انسانی به تفسیر اصول تغییر جهت می‌دهد. یک برچسب‌گذار هوش مصنوعی ممکن است «صادق بودن» را سخت‌گیرانه‌تر یا آسان‌گیرانه‌تر از هر انسانی تفسیر کند؛ اما این سخت‌گیری در سراسر مجموعه‌داده یکنواخت است.
- سیگنال ترجیح کاملاً خوانا و شفاف است؛ می‌توانید خود اصل، نقد و بازبینی را بخوانید. در مقابل، برچسب‌های انسانی مبهم هستند.
- حالت‌های شکست تغییر میکنند. چاپلوسی کاهش می‌یابد (برچسب‌گذار هوش مصنوعی کاربری ندارد که بخواهد او را راضی کند). قانون گودهارت (Goodhart's Law) پابرجا می‌ماند (شاخص جایگزین اکنون «تفسیر مدل از مجموعه‌اصول X» است که باز هم معیاری ناقص به شمار می‌رود).
ادعای سال 2022 روش CAI: مدل آموزش‌دیده نسبت به یک مدل RLHF با داده‌های مشابه، بی‌ضررتر است و تقریباً به همان اندازه مفید عمل می‌کند. این ادعا در تمام آزمایشگاه‌ها ثابت مانده است.
بازنویسی قانون اساسی Claude در سال 2026
شرکت Anthropic در 21 ژانویهٔ 2026 قانون اساسی به‌شدت بازنگری‌شده‌ای را منتشر کرد. تغییرات کلیدی عبارتند از:
- اولویت استدلال تبیینی بر قوانین دستوری. قوانین قبلی («تصاویر سوءاستفاده جنسی از کودکان یا CSAM تولید نکن») به اصول به‌همراه استدلال بسط یافتند («زیرا به کودکان آسیب می‌زند، ...») و از مدل انتظار می‌رود دست به تعمیم بزند.
- ساختار اولویت‌بندی چهارسطحی:
- سطح 1: پرهیز از پیامدهای فاجعه‌بار (تلفات جمعی، آسیب به زیرساخت‌های حیاتی).
- سطح 2: پیروی از راهنماهای Anthropic (لغو اختیارات توسط اپراتور، قوانین پلتفرم).
- سطح 3: پایبندی کلی به اخلاق (استاندارد مفید، صادق و بی‌ضرر بودن یا HHH).
- سطح 4: مفید و رُک بودن. تعارض‌ها از بالا به پایین حل‌وفصل می‌شوند.
- نخستین اذعان رسمی یک آزمایشگاه بزرگ به عدم قطعیت درباره‌ی جایگاه اخلاقی مدل (مرتبط با فاز 18 · رفاه مدل در درس 19).
- انتشار تحت مجوز CC0 1.0. سایر آزمایشگاه‌ها می‌توانند بدون محدودیت از آن استفاده کرده یا آن را تغییر دهند.
طبقهبندهای قانونمحور (Constitutional Classifiers)
یک خط پژوهشی موازی: بهجای تغییر در پس‌آموزش مدل، طبقهبندهای سبکی آموزش دهید که قانون اساسی را می‌خوانند و خروجی‌های مدل را کنترل و فیلتر میکنند. نسخهٔ 1 (2023) حدود 23.7% سربار محاسباتی داشت. نسخهٔ 2 (2026) حدود 1% سربار دارد و کمترین نرخ حمله‌ی موفق را در میان تمام روش‌های دفاعی Anthropic که تاکنون به‌طور عمومی آزمایش شده‌اند، به ثبت رسانده است. تا اوایل سال 2026 هیچ جیل‌بریک (شکستن قفل ایمنی) جهان‌شمولی برای آن گزارش نشد.
این یک مدل دفاع لایه‌ای است: CAI رفتار را شکل می‌دهد؛ طبقه‌بندها شرایط پایدار (invariants) را اعمال میکنند. هیچ‌کدام به‌تنهایی کافی نیستند.
جایگاه CAI در این خانواده
- روش InstructGPT: ترجیحات انسانی، مدل پاداش، PPO.
- روش CAI / RLAIF: ترجیحات تولیدشده توسط هوش مصنوعی بر اساس اصول، مدل پاداش، PPO.
- روش DPO و هم‌خانواده‌هایش: تابع زیان (loss) فرم بسته (closed-form) روی ترجیحات (انسانی یا هوش مصنوعی).
- روش‌های Self-rewarding و Self-critique: اصول درونی‌سازی می‌شوند و مدل چندین نقش را ایفا می‌کند.
محور تمایز این است: «سیگنال ترجیح از کجا می‌آید». مقاله‌ی سال 2022 هوش مصنوعی قانونمحور نخستین چرخش جدی از سیگنال انسانی به هوش مصنوعی در مقیاس مدلهای پیشرو بود.
پیاده‌سازی عملی
فایل code/main.py حلقه‌ی نقد و بازبینی CAI را روی یک مجموعه‌واژگان ساده و آزمایشی (toy lexicon) شبیه‌سازی می‌کند. یک «اصل»، توکن‌های (token) مربوط به یک مجموعه‌ی مضر را نشانه‌گذاری می‌کند. در مواجهه با پاسخ اولیه، مرحله‌ی نقد توکن‌های مضر را شناسایی کرده و مرحله‌ی بازبینی آن‌ها را جایگزین می‌کند. پس از 200 تکرار، مدل «آموزش‌دیده» قاعده‌ی بازبینی را درونی‌سازی کرده است. مدل پایه، مدل آزمایشیِ مشابه RLHF و مدل آزمایشیِ مشابه CAI را روی یک مجموعه‌ی پرامپت نگه‌داشته‌شده (held-out) با هم مقایسه کنید.
تحویل پروژه
این درس فایل outputs/skill-constitution-writer.md را تولید می‌کند. این ابزار بر اساس یک حوزه‌ی مشخص (پشتیبانی مشتری، مشاوره‌ی پزشکی، دستیار کدنویسی، ابزار پژوهشی)، قانون اساسی چهارسطحی را مطابق با ساختار 2026 مدل Claude پیش‌نویس می‌کند: پرهیز از فاجعه، قوانین پلتفرم، اخلاق در دامنه، و مفید بودن.
تمرین‌ها
-
اسکریپت
code/main.pyرا اجرا کنید. نرخ توکن‌های مضر را در مدل پایه با نسخه‌ی آموزش‌دیده‌ی CAI مقایسه کنید. برای نزدیک شدن به صفر به چند گام بازبینی نیاز است؟ -
قانون اساسی 2026 شرکت Anthropic را مطالعه کنید (anthropic.com/news/claudes-constitution). یک اصل که در رتبه‌ی سطح 1 قرار می‌گیرد و یک اصل که در رتبه‌ی سطح 4 جای دارد را مشخص کنید. چرا ساختار اولویت‌بندی در حل تعارض‌ها اهمیت دارد؟
-
قانون اساسی مناسبی برای یک دستیار کدنویسی هوش مصنوعی طراحی کنید. سطح 1 (فاجعه‌بار: دستورات مخرب بدون تأیید)، سطح 2، سطح 3 و سطح 4 را مشخص کنید. در هر سطح 3 تا 5 اصل بنویسید.
-
روش CAI برچسبگذاران انسانی را با برچسبگذاران هوش مصنوعی جایگزین می‌کند. یک حالت شکست شبیه به چاپلوسی نام ببرید که هنوز ممکن است در RLAIF رخ دهد، و سازوکاری برای تشخیص آن طراحی کنید.
-
روش‌شناسی Constitutional Classifiers v2 را (در صورت در دسترس بودن) مطالعه کنید. توضیح دهید که چرا سربار محاسباتی حدود 1% از نظر کیفی، روایتی کاملاً متفاوت از امنیت نسبت به 23.7% ارائه می‌دهد.
اصطلاحات کلیدی
| اصطلاح | در گفتار عامیانه | معنای دقیق فنی |
|---|---|---|
| Constitutional AI | «هوش مصنوعی آموزش‌دیده با اصول» | پایپلاین دو فازی: SFT بر پایه‌ی خودانتقادی و بازبینی، سپس یادگیری تقویتی بر اساس بازخورد هوش مصنوعی |
| RLAIF | «همان RLHF بدون انسان» | یادگیری تقویتی با ترجیحات تولیدشده توسط برچسب‌گذار هوش مصنوعی؛ بقیهی پایپلاین دست‌نخورده می‌ماند |
| Constitution (قانون اساسی) | «همان اصول» | فهرستی مرتب از قوانین به زبان طبیعی که مدل ناقد/برچسب‌گذار به آن مراجعه می‌کند |
| Critique-and-revise | «حلقه‌ی SFT» | تولید پاسخ ← نقد بر اساس یک اصل ← بازبینی ← تعیین هدف SFT |
| Constitutional Classifier | «گیت خروجی» | طبقه‌بند سبک که خروجیها را بر اساس قانون اساسی ارزیابی کرده و مسدود یا ثبت می‌کند |
| Four-tier priority | «حل‌کننده‌ی تعارض» | سلسله‌مراتب قانون اساسی 2026 مدل Claude: فاجعه‌بار > پلتفرم > اخلاق > مفید بودن |
| Feedback model | «برچسب‌گذار هوش مصنوعی» | مدلی که اصل را می‌خواند و یک جفت پاسخ را رتبهبندی می‌کند |
برای مطالعه‌ی بیشتر
- بای و همکاران — هوش مصنوعی قانونمحور: بی‌ضرر بودن از طریق بازخورد هوش مصنوعی (arXiv:2212.08073) — مقاله‌ی اصلی پایپلاین دو فازی
- شرکت Anthropic — قانون اساسی Claude (ژانویهٔ 2026) — نسخه‌ی بازنویسی‌شده‌ی چهارسطحی 2026، با مجوز CC0 1.0
- شرکت Anthropic — طبقهبندهای قانونمحور (2024-2026) — راهکار دفاعی مبتنی بر گیت خروجی با سربار حدود 1% در نسخه‌ی 2
- لی و همکاران — مقایسه‌ی RLAIF و RLHF: مقیاس‌پذیری یادگیری تقویتی از بازخورد انسانی (arXiv:2309.00267) — مقایسه‌ی تجربی RLAIF و RLHF
- کوندو و همکاران — اصول خاص در برابر اصول کلی برای هوش مصنوعی قانونمحور (arXiv:2310.13798) — بررسی تأثیر میزان جزئیات اصول