تیم شما میخواهد برچسبگذاران انسانیِ ترجیحات را با مدلی جایگزین کند که فهرستی از اصول مکتوب را میخواند و پاسخها را رتبهبندی میکند؛ هدف اصلی هم کاهش هزینههاست. آیا این کار فقط آموزش ارزانترِ ترجیحات است و بس؟ چه چیزی در حالتهای شکست تغییر میکند و چه چیزهایی باقی میماند؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
خیر. انتقال سیگنال ترجیح از انسان به مدل، نوع خطاهای پایپلاین را تغییر میدهد، نه اصل وجودشان را. روانشناسیِ برچسبگذاران جای خود را به تفسیر اصول میدهد؛ تفسیری که در سرتاسر مجموعهداده یکدست و شفاف است. بلهقربانگویی (Sycophancy) نسبت به کاربر میتواند کمتر شود، چون مدلِ برچسبگذار کاربری پیش رو ندارد که بخواهد راضیاش کند (هرچند هنوز هم باید آن را اندازه گرفت). با این حال، قانون گودهارت (Goodhart's Law) پابرجا میماند، چون شاخص جانشین (proxy) حالا به خوانشِ مدل از مجموعهی اصول تبدیل شده است. باقی بخشهای پایپلاین، یعنی مدل پاداش (Reward Model) و بهینهسازی خطمشی، دستنخورده باقی میمانند.
پاسخ کامل
دو مرحلهی اصلی
مرحلهی اول نظارتشده است: مدل در پاسخ به یک پرامپت تیم سرخ (red team) پیشنویسی مینویسد؛ مدلی دیگر با خواندن یکی از اصولِ نمونهبرداریشده این پیشنویس را نقد میکند؛ سپس متنی اصلاحشده به این نقد پاسخ میدهد و در نهایت همین متن اصلاحشده هدف آموزش (training target) میشود. مرحلهی دوم یادگیری تقویتی بر اساس بازخورد هوش مصنوعی (RLAIF) است: یک مدل بازخورد (Feedback model)، جفتپاسخها را در برابر اصولِ نمونهبرداریشده رتبهبندی میکند؛ مدل پاداش بر اساس این رتبهبندیها آموزش میبیند و در نهایت خطمشی بر اساس آن بهینهسازی میشود. مجموعهی اولیهی اصول 16 مورد داشت و عمداً محدود نگه داشته شد تا نقدها دقیق و متمرکز بمانند.
چه چیزهایی تغییر میکند
- سوگیری از روانشناسیِ برچسبگذار به تفسیر اصول جابهجا میشود. مدلِ برچسبگذار ممکن است عبارت «صادق باش» را سختگیرانهتر یا آسانگیرانهتر از هر انسانی بخواند، اما این میزان سختگیری در کل مجموعهداده کاملاً یکدست است.
- سیگنالْ شفاف و خواندنی میشود. میتوانید اصل، نقد و نسخهی اصلاحشده را بخوانید؛ در حالی که برچسب انسانی صرفاً یک ترجیح خام و بدون توضیح است.
- بلهقربانگویی در برابر کاربر میتواند افت کند، چون برچسبگذار کاربری ندارد که بخواهد دلش را به دست بیاورد. با این حال، درس هشدار میدهد که با ورود برچسبگذار به درون حلقه، استدلال بلهقربانگویی همچنان پابرجاست؛ پس بهجای اینکه فرض کنید از بین رفته، حتماً آن را اندازه بگیرید.
- قانون گودهارت باقی میماند. شاخص جانشین اکنون تفسیر مدل از اصول است؛ معیاری که هنوز هم سنجشی ناقص از خواستهی واقعی شماست.
چه چیزهایی باقی میماند
مدل پاداش، بهینهسازی خطمشی و این ادعای ثابتشده در آزمایشگاههای مختلف: نتیجهی کار در مقایسه با آموزش بر اساس ترجیحات انسانی با حجم دادهی مشابه، بیضررتر است و تقریباً به همان اندازه هم مفید واقع میشود.
دو ایدهی مرتبط
شیوهنامهی بنیادین (Constitution) به اولویتبندی نیاز دارد، چون اصول ممکن است با هم تعارض پیدا کنند. بازنویسی سال 2026 که در درس توضیح داده شده، چهار رتبه تعریف میکند: پرهیز از پیامدهای فاجعهبار، پیروی از دستورالعملهای پلتفرم، پایبندی به اصول اخلاقی عمومی و در نهایت مفید و روراست بودن. این تضادها از بالا به پایین حلوفصل میشوند. جدا از این، طبقهبندهای سبکی که شیوهنامهی بنیادین را میخوانند، میتوانند در زمان سِرو (serving time) خروجیها را فیلتر و مهار کنند؛ نسخهی اول 23.7 درصد بار پردازشی اضافه تحمیل میکرد و نسخهی دوم حدود 1 درصد. آموزش، رفتار را شکل میدهد؛ طبقهبندها پایاها (Invariants) را تحمیل و تضمین میکنند.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا بلهقربانگویی در برچسبگذاریِ مبتنی بر مدل میتواند افت کند، و چرا با این حال باید آن را اندازه گرفت؟ انتظار میرود: مدلِ برچسبگذار کاربری ندارد که بخواهد راضیاش کند، بنابراین توافق با مقدمهی (Premise) کاربر کمتر پاداش میگیرد؛ اما چون حالا برچسبگذار به درون حلقه آمده، میتواند به پاسخهایی که با سلیقهی خودش جور درمیآیند پاداش دهد، بنابراین باید این کاهش را حتماً سنجید.
- سطح 2: چه چیزی در این روش شفاف است که در برچسبگذاری انسانی مبهم میماند؟ انتظار میرود: اصل، نقد و نسخهی اصلاحشده را میتوان خواند؛ در حالی که برچسب انسانی صرفاً یک ترجیح خام است.
- سطح 3: نمونهای از خطاهای شبیه به بلهقربانگویی را نام ببرید که هنوز هم ممکن است رخ دهد. انتظار میرود: مدل بازخورد ممکن است به پاسخهایی که صرفاً با خوانش خودش از یک اصل همخوانی دارند پاداش بیشازحد بدهد، مثل پاسخهای نصیحتگونه یا بیشازحد دستبهعصا؛ این همان قانون گودهارت روی مجموعهی اصول است.
- سطح 3: چرا شیوهنامهی بنیادین به ترتیب اولویت نیاز دارد؟ انتظار میرود: اصول با یکدیگر تعارض پیدا میکنند؛ اولویتبندی چندسطحی این تعارضها را از بالا به پایین حلوفصل میکند، نه اینکه قضاوت را به سلیقهی مدلِ برچسبگذار واگذار کند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «این همان پایپلاین قبلی است، فقط با یک برچسبگذار ارزانتر.» حالتهای شکست تغییر میکنند: سوگیری در تفسیر یکنواخت، بلهقربانگویی که میتواند کمتر شود ولی باید اندازه گرفته شود، و همان قانون گودهارتِ همیشگی.
- «نوشتن اصول، مشکل شاخص جانشین را برطرف میکند.» شاخص جانشین حالا تفسیر مدل از اصول است؛ سنجشی که هنوز هم ناقص است.
- «فهرست طولانیتری از اصول ایمنتر است.» مجموعهی اولیه کوچک نگه داشته شد تا نقدها متمرکز بمانند؛ اولویت و ترتیبِ اصول مهمتر از تعداد آنهاست.
کجای دوره آموزش داده میشود
درس هوش مصنوعی قانونمحور و RLAIF دو مرحله، حالتهای شکستِ تغییریافته و اولویتبندی چهارسطحی را بهطور کامل پوشش میدهد.