سؤال مصاحبه

جایگزینی ارزیاب انسانی با یک مدل قانون‌محور

Replacing the human labeler with a principled model

  • سطح ۲: میانی
  • مفهومی
  • ۱۰ دقیقه

بودجه‌ی ارزیاب‌های شما تمام شده است. یکی از همکارانتان پیشنهاد می‌کند ارزیاب‌های انسانی را با مدلی جایگزین کنید که فهرست کوتاهی از اصول را می‌خواند و جفت‌پاسخ‌ها را رتبه می‌دهد، سپس همان پایپ‌لاین (pipeline) معمول RLHF را روی این برچسب‌ها اجرا کنید. آیا این روش صرفاً یک RLHF ارزان‌تر است؟ چه چیزهایی تغییر می‌کند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این همان فرمول هوش مصنوعی قانون‌محور (Constitutional AI) است و به جای حذف حالت‌های شکست (failure modes)، فقط ماهیت آن‌ها را تغییر می‌دهد. فاز اول: مدل پاسخ‌های خود را در برابر اصولِ نمونه‌برداری‌شده نقد و بازبینی می‌کند و سپس روی همین بازبینی‌ها آموزش می‌بیند؛ فاز دوم: یک مدل پاداش (Reward Model) روی جفت‌پاسخ‌هایی آموزش می‌بیند که یک مدل بازخورد (Feedback model) به آن‌ها رتبه داده است؛ بعد از آن نوبت اجرای مرحله‌ی معمول RL است. در این حالت، سوگیری روان‌شناختی ارزیاب کنار می‌رود و برداشت مدل از مجموعه‌اصول جایش را می‌گیرد؛ برداشتی که به‌طور یکدست روی کل مجموعه‌داده اعمال می‌شود. بله‌قربان‌گویی (Sycophancy) نسبت به ارزیاب کاهش می‌یابد، اما مسئله‌ی شاخص جایگزین (proxy problem) همچنان به قوت خود باقی می‌ماند.

پاسخ کامل

دو فاز اصلی

  1. خودانتقادی و بازبینی (Self-critique and revision): کار را با یک مدل SFT مفید اما هنوز آسیب‌پذیر آغاز کنید. در مواجهه با یک پرامپت (prompt) تیم قرمز، مدل پاسخی می‌نویسد؛ در گام دوم، مدل یک اصلِ نمونه‌برداری‌شده را می‌خواند و پاسخ را نقد می‌کند؛ در گام سوم نیز آن را بازبینی می‌کند. همین پاسخِ بازبینی‌شده هدف آموزش SFT خواهد بود. مقاله‌ی اصلی از 16 اصل استفاده کرد و این مجموعه را کوچک نگه داشت تا نقدها دقیق و متمرکز بمانند.
  2. یادگیری تقویتی بر اساس بازخورد هوش مصنوعی (RLAIF): جفت‌پاسخ‌ها را تولید کنید، بگذارید یک مدل بازخورد بر اساس اصول نمونه‌برداری‌شده به آن‌ها رتبه دهد، مدل پاداش را روی این رتبه‌بندی‌ها آموزش دهید و PPO را روی آن اجرا کنید. بعد از مرحله‌ی برچسب‌گذاری، همه‌چیز دقیقاً همان پایپ‌لاین استاندارد است.

چرا ماجرا فقط ارزان‌تر بودن نیست؟

  • جهت سوگیری عوض می‌شود: ارزیاب انسانی رفتار ثابتی ندارد و از شنیدن تأیید خشنود می‌شود؛ اما مدل بازخورد یک خوانش مشخص از اصل را روی تمام جفت‌ها پیاده می‌کند—چه سخت‌گیرانه و چه سهل‌انگارانه، اما کاملاً یکدست.
  • سیگنال آموزش خوانا و شفاف است: می‌توانید اصل انتخابی، نقد و بازبینی را برای هر نمونه بخوانید؛ در حالی که برچسب‌های انسانی مبهم و ناخوانا هستند.
  • قانون گودهارت پابرجا می‌ماند: شاخص جایگزین اکنون خوانش مدل از مجموعه‌اصول است که همچنان معیاری ناکامل به‌شمار می‌رود؛ بنابراین بیش‌بهینه‌سازی (over-optimization) در برابر آن هنوز امکان‌پذیر است.
  • ارزیاب از همان کلاس مدلی است که آموزش می‌دهید؛ در نتیجه سوگیری‌های درونی آن به جای خنثی شدن، ممکن است تشدید شوند.

ادعای پژوهش اصلی چه بود؟

مدل آموزش‌دیده در مقایسه با مدل RLHF با داده‌های مشابه، کم‌ضررتر بود و میزان مفید بودنش تقریباً در همان سطح ماند. این نتیجه در آزمایشگاه‌های مختلف نیز تکرار و تأیید شده است.

گیت کنترلی در کنار آموزش

یک خط دفاعی موازی، دسته‌بندهای سبکی را آموزش می‌دهد که همین اصول را می‌خوانند و خروجی‌ها را فیلتر و کنترل می‌کنند. نسخه‌ی اول 23.7 درصد هزینه‌ی محاسباتی اضافی داشت؛ اما نسخه‌ی بعدی حدود 1 درصد هزینه برد. آموزشْ رفتار مدل را شکل می‌دهد و دسته‌بندها موارد پایا (invariants) را تحمیل می‌کنند؛ هیچ‌کدام به‌تنهایی کافی نیستند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا در این روش برای هر نقد فقط یک اصل نمونه‌برداری می‌شود و کل فهرست را به مدل نمی‌دهند؟ پاسخ مورد انتظار: نقدِ متمرکز، جزئی‌تر و برای هدف آموزش مفیدتر است؛ کل فهرست هم در طول نمونه‌برداری‌های متعدد پوشش داده می‌شود.
  • سطح 2: کدام بخش‌های پایپ‌لاین تغییر می‌کنند و کدام بخش‌ها دست‌نخورده می‌مانند؟ پاسخ مورد انتظار: منبع برچسب‌گذاری و اهداف SFT تغییر می‌کنند؛ مدل پاداش، مرحله‌ی RL و جریمه‌ی KL (معادل KL Penalty) ثابت می‌مانند.
  • سطح 3: یک حالت شکست شبیه به بله‌قربان‌گویی نام ببرید که هنوز با ارزیاب هوش مصنوعی رخ می‌دهد، و روشی برای سنجش آن بگویید. پاسخ مورد انتظار: مدل بازخورد ممکن است پاسخ‌هایی را ترجیح دهد که فقط اصول را نقل‌قول می‌کنند بدون اینکه واقعاً به آن‌ها پایبند باشند؛ برای بررسی، یک مجموعه‌ی نگه‌داشته‌شده (held-out) را با ارزیاب‌های انسانی رتبه‌بندی کنید و دو رتبه (rank) را با هم بسنجید.
  • سطح 4: چطور اولویت‌بندی میان اصول را توجیه می‌کنید؟ پاسخ مورد انتظار: تضاد میان اصول به یک قاعده‌ی رفع تعارض نیاز دارد؛ یک ساختار سلسله‌مراتبی و چندسطحی تعارض‌ها را از بالا به پایین حل می‌کند: از آسیب‌های فاجعه‌بار شروع می‌شود، به قوانین پلتفرم و اخلاق عمومی می‌رسد و در نهایت به مفید بودن ختم می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «برچسب‌ها حالا رایگان هستند، پس بیایید ده برابر جفت‌پاسخِ بیشتر جمع‌آوری کنیم.» افزودن جفت‌های بیشتر با همان سوگیری یکدست، سوگیری را تشدید می‌کند نه تضعیف؛ افزایش حجم داده مشکل شاخص جایگزین را حل نمی‌کند.
  • «ارزیاب هوش مصنوعی سوگیری انسانی را از هم‌راستاسازی حذف می‌کند.» این کار سوگیری ارزیاب را با سوگیری تفسیرِ اصول جایگزین می‌کند؛ شیوه‌نامه‌ی بنیادین (Constitution) و خوانش مدل ارزیاب از آن، حالا خودشان شاخص جایگزین شده‌اند.
  • «این صرفاً یک ترفند ایمنی است و ربطی به مفید بودن مدل ندارد.» مقاله‌ی اصلی گزارش می‌دهد که میزان مفید بودن با داده‌های مشابه تقریباً برابر با RLHF است، و همین حلقه‌ی نقد می‌تواند روی هر اصلی که بنویسید متمرکز شود.

کجای دوره آموزش داده می‌شود

درس هوش مصنوعی قانون‌محور هر دو فاز و تغییر حالت‌های شکست را بررسی می‌کند، و درس مدل‌سازی پاداش جایگاه RLAIF را در میان منابع سیگنال ترجیحات مشخص می‌سازد.