سؤال مصاحبه

آیا کنار گذاشتن مدل پاداش، دور زدن پاداش را متوقف می‌کند؟

Does dropping the reward model end reward hacking

  • سطح ۴: استف
  • مفهومی
  • ۱۲ دقیقه

یکی از مهندسان ارشد استدلال می‌کند که انتقال تمام فرایندهای هم‌ترازی (alignment) از PPO به روش‌های ترجیح مستقیم، مسئله‌ی دور زدن پاداش (reward hacking) را ریشه‌کن می‌کند؛ چون اصلاً مدل پاداشی (reward model) باقی نمی‌ماند که دور زده شود. با تکیه بر سازوکار این پدیده، استدلال متقابل را مطرح کنید و بگویید در هر صورت چه بخش‌هایی باید درون پایپ‌لاین (pipeline) شما باقی بمانند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

روش‌های مستقیم صرفاً مدل پاداش صریح را حذف می‌کنند، نه متغیر تقریب‌زننده (proxy) را. مقداری که این روش‌ها بهینه‌سازی (optimization) می‌کنند، نسبت لگاریتمی پالیسی به مرجع است؛ پاداشی ضمنی (implicit reward) که داده‌های ترجیحی فقط در محدوده‌ی پوشش خودشان آن را مقید و تثبیت می‌کنند. پالیسی در جریان بهینه‌سازی، این نسبت را خارج از توزیع استعلام می‌کند، و نمودارهای منتشرشده از پاداش طلایی (gold reward) در برابر KL دقیقاً همان اوج‌گیری و سپس فروپاشیِ پایپ‌لاین‌های مدل پاداش را نشان می‌دهند؛ طوری که منظم‌سازی (regularization) با KL هم نمی‌تواند جلوی این فروپاشی را بگیرد. مواردی که در پایپ‌لاین باقی می‌مانند: ارزیابی نگه‌داشته‌شده‌ی (held-out) کور، توقف زودهنگام (early stopping)، داده‌های ترجیحی گسترده‌تر و انسمبل‌هایی از سیگنال‌ها.

پاسخ کامل

سازوکار

روش DPO پاداش را به‌صورت بتا برابرِ نسبت لگاریتمی پالیسی به مرجع بازنویسی می‌کند. این تابع بر اساس جفت‌ها برازش می‌شود و فقط روی همین جفت‌ها مقید است؛ در هر نقطه‌ی دیگری، مقدار آن صرفاً برآمده از نوع پارامترسازی مدل است. با حرکت پالیسی برای افزایش حاشیه (margin)، مدل از نواحی‌ای نمونه‌برداری می‌کند که در هیچ جفتی پوشش داده نشده‌اند؛ یعنی جایی که پاداش ضمنی مقداری دلخواه به خود می‌گیرد. پژوهش مربوط به قوانین مقیاس‌پذیری (scaling laws) برای بیش‌بهینه‌سازی در هم‌ترازی مستقیم، پالیسی‌ها را در بودجه‌های مختلف KL آموزش داد و به همان الگوی بیش‌بهینه‌سازیِ مدل پاداش رسید: پاداش طلایی با افزایش KL ابتدا بالا می‌رود، به اوج می‌رسد و سپس سقوط می‌کند.

قانون گودهارت اکنون از کجا ضربه می‌زند؟

در استک PPO، متغیر تقریب‌زننده یک مدل پاداش آموزش‌دیده است. در استک مستقیم، این متغیر همان نسبت به مدل مرجع است. حالت‌های شکست شکل دیگری دارند: تخریب پاسخ برگزیده (degraded chosen response) که در آن با وجود افزایش حاشیه، احتمال پاسخ برگزیده افت می‌کند؛ سوءاستفاده از طول پاسخ، جایی که خروجیِ طولانی‌ترِ برنده این فاصله را بی‌دلیل پر می‌کند؛ و پاداش‌های دلخواه روی جفت‌هایی که تحت مدل مرجع بسیار نادرند. همه‌ی این‌ها یک بیماری واحد در اندامی متفاوت‌اند.

چرا KL مانع این مشکل نمی‌شود؟

در PPO جمله‌ی KL صریح و قابل تنظیم است و یک کنترل‌کننده‌ی تطبیقی آن را نزدیک هدف نگه می‌دارد. در DPO این مهار ساختاری است: با بزرگ شدن نسبت، سیگموئید اشباع می‌شود. نتیجه‌ی پژوهش نشان می‌دهد که این منظم‌سازی ساختاری جلوی فروپاشی را نمی‌گیرد؛ بتا فقط سرعت وقوع را تغییر می‌دهد، نه شکل کلی را.

چه مواردی در هر پایپ‌لاینی پابرجا می‌مانند؟

  • ارزیابی کور و نگه‌داشته‌شده توسط انسان یا قاضی قابل اعتماد روی مجموعه‌ی پرامپت (prompt) ثابت، که در هر چک‌پوینت (checkpoint) بررسی شود. این تنها سیگنالی است که پالیسی نمی‌تواند آن را دور بزند.
  • توقف زودهنگام بر اساس همین ارزیابی، نه بر مبنای حاشیه‌ی آموزش.
  • داده: پوشش دادن مناطقی که پالیسی به سمت آن‌ها دریفت (drift) می‌کند، با جمع‌آوری نمونه‌ها از خروجی‌های پالیسی فعلی.
  • انسمبل‌ها: چند سیگنال پاداش یا چند تابع زیان (loss) روی یک مجموعه‌ی آزمون؛ چون یک روش سوءاستفاده به‌ندرت روی همه‌ی آن‌ها جواب می‌دهد.
  • ثبت لاگ‌های احتمال لگاریتمی مطلق پاسخ برگزیده و KL نسبت به مرجع، تا دریفت پیش از افت نتایج ارزیابی قابل مشاهده باشد.

قرائت صادقانه از این ادعا

روش‌های مستقیم نیاز به آموزش و میزبانی یک مدل، ناپایداری‌های PPO و دسته‌ای از سوءاستفاده‌ها را که در وزن‌های مدل پاداش خانه دارند حذف می‌کنند. به همین دلایل، این روش‌ها به گزینه‌ی پیش‌فرض در بیشتر فرایندهای پس‌آموزش پیشرو تبدیل شده‌اند. با این حال، نیاز به محافظت در برابر بیش‌بهینه‌سازی را از بین نمی‌برند؛ بنابراین این سازوکار حفاظتی به طراحی پایپ‌لاین منتقل می‌شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: روش DPO دقیقاً چه بخش‌هایی را از استک PPO حذف می‌کند؟ پاسخ مورد انتظار: مدل پاداش برای آموزش و میزبانی، حلقه‌ی PPO با برش (clip) و هد (head) ارزش آن، و ضریب صریح KL؛ در حالی که مرجع فریز‌شده حفظ می‌شود.
  • سطح 4: کدام نسخه این فاصله را محدود می‌کند و چه مزیتی در برابر این شکست دارد؟ پاسخ مورد انتظار: تابع زیانِ نگاشت همانی (identity-mapping loss) که هدف حاشیه‌ی آن یک بر روی دو بتا است؛ این تابع مانع از آن می‌شود که یک ترجیح ضعیف به پاداش ضمنیِ نامحدود منجر شود؛ یعنی یکی از مسیرهای فروپاشی را می‌بندد، اما استعلام خارج از توزیع را حل نمی‌کند.
  • سطح 4: بدون پاداش طلایی چگونه بیش‌بهینه‌سازی را تشخیص می‌دهید؟ پاسخ مورد انتظار: ارزیابی نگه‌داشته‌شده همراه با تولید، احتمال لگاریتمی مطلق پاسخ برگزیده، KL نسبت به مرجع، و مقایسه میان چک‌پوینت‌ها؛ حاشیه‌ای که هم‌زمان با افت ارزیابی رشد می‌کند، نشانه‌ی بارز این وضعیت است.
  • سطح 4: آیا تکرار فرایند با جفت‌های تازه از پالیسی فعلی در هر دور کمکی می‌کند؟ پاسخ مورد انتظار: بله، پوشش داده را به جایی منتقل می‌کند که پالیسی در آن به سر می‌برد؛ یعنی همان چیزی که تقریب‌زننده‌ی نسبت‌به‌مرجع کم دارد. همچنین پایپ‌لاین را دوباره به یک حلقه‌ی آنلاین با قاعده‌ی توقف (stop rule) مخصوص به خود تبدیل می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نبودِ مدل پاداش یعنی چیزی برای دور زدن وجود ندارد.» پاداش ضمنی تابعی است که داده‌ها فقط روی جفت‌ها آن را مقید می‌کنند؛ پالیسی می‌تواند آن را در هر جای دیگری push کند.
  • «مهار ساختاری KL در DPO برای منظم‌سازی کافی است.» منحنی‌های منتشرشده در بودجه‌های مختلف KL همان اوج و فروپاشی را نشان می‌دهند؛ بتا سرعت را تغییر می‌دهد، نه شکل منحنی را.
  • «از بتای کوچک‌تر استفاده کنید تا پالیسی سریع‌تر یاد بگیرد و بتوانید زودتر متوقفش کنید.» بتای کوچک‌تر به پالیسی اجازه می‌دهد به ازای هر واحد حاشیه، بیشتر از مرجع فاصله بگیرد، که دقیقاً مسیرِ رخ دادن این شکست است.

کجای دوره آموزش داده می‌شود

درس خانواده‌ی DPO نتیجه‌ی جهان‌شمول بیش‌بهینه‌سازی و راهکارهای قابل انتقال آن را بیان می‌کند، و درس مدل‌سازی پاداش تدابیر محافظتی در برابر بیش‌بهینه‌سازی را که هر پایپ‌لاینی نگه می‌دارد فهرست کرده است.