یکی از همکارانتان ادعا میکند که دور زدن پاداش (reward hacking) در پایپلاین آنها مهار شده است، چون خطمشی (policy) با جریمهی KL نسبت به مدل مرجع (reference model) آموزش میبیند و بنابراین نمیتواند زیاد دریفت کند. چرا این استدلال ناقص است و در چه شرایطی کاملاً شکست میخورد؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
جریمهی KL فقط میزان جابهجایی توزیع خطمشی را محدود میکند، نه اینکه به سمت کدام مُدها (modes) حرکت کند. منحنی بیشبهینهسازی (over-optimization) نشان میدهد که جریمهی KL صرفاً سقوط پاداش طلایی (gold reward) را ملایمتر میکند، بدون اینکه جلوی آن را بگیرد. وقتی خطای پاداش تقریبی (proxy reward) دنبالهپهن (heavy-tailed) باشد، ورودیهای نادری اما دردسترسی وجود دارند که در آنها اختلاف پاداش تقریبی و طلایی بیکران است؛ در نتیجه یک خطمشی بهینه با قید KL میتواند تمام وزن توزیعش را روی همین ورودیها بگذارد: پاداش تقریبی بیاندازه بالا میرود، درحالیکه پاداش طلایی روی همان خط مبنا (baseline) میماند.
پاسخ کامل
جریمهی KL دقیقاً چه چیزی فراهم میکند؟
با وجود عبارت KL، منحنی پاداش طلایی با فاصلهگرفتن خطمشی از مدل مرجع، همچنان بالا میرود، به اوج میرسد و سپس سقوط میکند. جریمهی KL فقط شیب این نمودار را ملایمتر میکند و یک پاداش تقریبیِ بهتر، نقطهی اوج را به جلوتر push میکند؛ اما هیچکدام شکل نمودار را تغییر نمیدهند.
گودهارت فاجعهبار
فرض کنید خطای پاداش تقریبی دنبالههای پهن دارد: یعنی در دامنهی تعریف مدل مرجع، ورودیهایی وجود دارند که پاداش تقریبی علاقهی بسیار بیشتری نسبت به پاداش طلایی به آنها نشان میدهد. قید KL کل فاصلهی مجاز بین خطمشی و مدل مرجع را محدود میکند؛ اما جلوی خطمشی را نمیگیرد که کل این فاصلهی مجاز را دقیقاً روی همان ورودیها متمرکز کند، چون آن ورودیها از قبل در دامنهی احتمال مدل مرجع حضور دارند. در نتیجه خطمشیای به دست میآید که در پاداش تقریبی امتیازهای دلخواه و بسیار بالایی میگیرد، اما در پاداش طلایی عملکردی بهتر از خط مبنا ندارد.
چرا این فرض واقعبینانه است؟
مدل پاداش (reward model) سنجشی محدود از جهانی نامحدود است. در این درس استدلال میشود که چنین سنجشی در دنبالههای خود خطاهای دنبالهپهن دارد؛ بنابراین این فرض اصلاً نامتعارف نیست. با این حال همچنان یک فرض است: برای هر پاداش تقریبی، قبل از اینکه به بودجهی KL تکیه کنید، دنبالهی شکاف بین پاداش تقریبی و پاداش طلایی را روی برچسبهای ارزیابی (held-out) بسنجید.
راهکارهایی که تا حدی کمک میکنند
- گروهی (ensemble) از مدلهای پاداش با تجمیع بدترین حالت: بهینهساز میتواند خطای دنبالهی یک مدل را پیدا کند، اما در نظر گرفتن کمینه میان چند مدل فقط جایی امتیاز بالایی میدهد که همهی آنها با هم دچار خطا شوند.
- مدلهای پاداشی که برای مقاوم بودن در برابر جابهجایی توزیع خروجی آموزش دیدهاند.
- زمانبندی محتاطانهی ضریب KL و توقف زودهنگام (early stopping) در نقطهی شکافِ سنجیدهشدهی پاداش تقریبی و طلایی.
- هیچ روشی از خانوادهی ترجیح مستقیم (direct preference) مستثنی نیست؛ این توابع زیان (loss) هم قانون مقیاسپذیری خود را برای بیشبهینهسازی دارند.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: جریمهی KL چه چیزی را محدود میکند و چه چیزی را آزاد میگذارد؟ پاسخ مورد انتظار: فاصلهی توزیع خطمشی از مدل مرجع؛ اما اینکه خطمشی روی کدام مُدهای با پاداش بالا تحت مدل مرجع متمرکز شود را آزاد میگذارد.
- سطح 3: چند مدل پاداش چگونه کاری را انجام میدهند که یک مدل همراه با جریمه نمیتواند؟ پاسخ مورد انتظار: بهینهساز میتواند خطای دنبالهی یک مدل پاداش را پیدا کند، اما کمینه گرفتن از چند مدل فقط جایی امتیاز میدهد که همهی آنها با هم خطا کنند.
- سطح 4: آیا تغییر روش به تابع زیانِ ترجیح مستقیم مشکل را حل میکند؟ پاسخ مورد انتظار: خیر؛ خانوادهی همترازی مستقیم هم قانون مقیاسپذیری خود را برای بیشبهینهسازی دارد، بنابراین همان پایشها در اینجا هم لازم است.
- سطح 4: این منطق را به یک قانون عملیاتی برای اجرای آموزش تبدیل کنید. پاسخ مورد انتظار: نمودار پاداش طلایی را در برابر فاصلهی KL روی برچسبهای ارزیابی رسم کنید، آموزش را در اوج تجربی متوقف کنید، و رشد پاداش تقریبی در کنار ثابت ماندن پاداش طلایی را فارغ از ضریب KL زنگ خطر بدانید.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «KL کوچک یعنی دور زدن پاداش اندک.» جریمهی KL جلوی دریفت را میگیرد، نه جهت آن را؛ خطمشی میتواند بودجهاش را صرف خطاهای دنبالهی پاداش تقریبی کند.
- «دنبالههای پهن یک فرض نامتعارف است.» در درس استدلال شده که این خطاها برای یک مدل پاداشِ محدود کاملاً عادی هستند؛ بهجای فرض سبک بودن دنباله، شکاف پاداش تقریبی تا طلایی را عملاً اندازه بگیرید.
- «از تابع زیان ترجیح مستقیم استفاده کنید، چون مدل پاداش ندارد.» این روش یک مدل پاداش ضمنی دارد و منحنی بیشبهینهسازیِ خاص خودش را خواهد داشت.
کجای دوره آموزش داده میشود
در درس دور زدن پاداش و قانون گودهارت مفهوم گودهارت فاجعهبار (Catastrophic Goodhart) و دلیل ناکافی بودن منظمسازی (regularization) با KL بهتنهایی توضیح داده شده است.