دور زدن پاداش و قانون گودهارت در یادگیری تقویتی با بازخورد انسانی

در فرآیند هم‌ترازی مدل‌های زبانی با ترجیحات انسانی، اغلب به این فرض تکیه می‌کنیم که افزایش امتیاز مدل پاداش به معنای باکیفیت‌تر شدن پاسخ‌های نهایی است. با این حال، در عمل بسیاری از تیم‌ها متوجه می‌شوند که مدل پس از چند گام آموزش، به رفتارهایی مثل پرگویی کاذب، تأیید چشم‌بسته نظر کاربر یا ساختن استدلال‌های نامعتبر روی می‌آورد؛ مشکلاتی که همگی جلوه‌های مختلف یک پدیده واحد هستند.

قانون گودهارت نشان می‌دهد وقتی یک شاخص تقریبی به هدف بهینه‌سازی تبدیل شود، بهینه‌سازهای قدرتمند دقیقاً نقاط ضعف و شکاف‌های آن را هدف می‌گیرند. درک ریاضی این پدیده و بررسی منحنی‌های بیش‌بهینه‌سازی، به مهندسان کمک می‌کند مرز میان بهبود واقعی مدل و فریب سیستم ارزیابی را تشخیص دهند و از تله‌های رایج در آموزش خط‌مشی‌ها دوری کنند.

هر بهینه‌سازی که آن‌قدر قوی باشد که پاداش تقریبی را به حداکثر برساند، بالاخره شکاف میان این تقریب و خواسته‌ی واقعی شما را پیدا می‌کند. گائو و همکاران (ICML 2023) این پدیده را در قالب یک قانون مقیاس‌پذیری (Scaling Law) فرمول‌بندی کردند: پاداش تقریبی بالا می‌رود، پاداش طلایی به اوج می‌رسد و سپس سقوط می‌کند، و این شکاف با واگرایی کولبک-لایبلر (KL Divergence) از خط‌مشی اولیه رابطه‌ای دارد که می‌توان آن را با فرمول‌های فرم بسته (Closed Form) برازش کرد. چاپلوسی، سوگیری پرگویی، زنجیره‌ی تفکر غیرواقعی و دستکاری ارزیاب، چند مشکل جداگانه نیستند؛ همه‌ی این‌ها یک مشکل واحد در لباس‌های گوناگون‌اند.

اهداف یادگیری

• بیان قانون گودهارت (Goodhart's Law) و درک اینکه چرا این گزاره یک شعار عامیانه نیست، بلکه ویژگی پیش‌بینی‌پذیر هرگونه بهینه‌سازی روی یک تقریب ناقص است.
• شرح قانون مقیاس‌پذیری گائو و همکاران (2023): میانگین شکاف میان تقریب و معیار طلایی به‌صورت تابعی از فاصله‌ی KL نسبت به خط‌مشی اولیه.
• نام بردن از چهار جلوه‌ی رایج دور زدن پاداش (Reward Hacking: پرگویی، چاپلوسی، استدلال غیرواقعی، دستکاری ارزیاب) و ردیابی ریشه‌ی هرکدام تا سازوکار مشترک آن‌ها.
• توضیح اینکه چرا منظم‌سازی (Regularization) با قید KL به‌تنهایی نمی‌تواند در برابر خطای پاداش با دنباله‌ی سنگین نجات‌بخش باشد (گودهارت فاجعه‌بار / Catastrophic Goodhart).

صورت مسئله

نمی‌توانید خواسته‌ی واقعی‌تان را مستقیماً بسنجید؛ ناچارید به یک معیار تقریبی بسنده کنید. همه‌ی پایپ‌لاین‌های RLHF بر پایه‌ی همین جایگزینی کار می‌کنند: «ترجیح انسانی» تبدیل می‌شود به «برازش مدل بردلی-تری روی 50k جفت برچسب‌خورده». بهینه‌سازی که بتواند پاداش تقریبی بالایی بگیرد، طبق تعریف توانسته در همان سنجه‌ای که اندازه گرفته‌اید عملکرد خوبی ثبت کند. اما اینکه آیا در خواسته‌ی واقعی شما هم خوب عمل کرده یا نه، بستگی دارد به اینکه آن تقریب چقدر دقیق هدف اصلی را دنبال می‌کرده است؛ و پاسخ همواره یک چیز است: کمتر از مقداری که امید داشتید.

گائو، شولمن و هیلتون (2023) این پدیده را مستقیماً سنجیدند. آن‌ها یک مدل پاداش (Reward Model) «طلایی» را با 100k برچسب آموزش دادند. سپس مدل‌های پاداش تقریبی را با زیرمجموعه‌هایی شامل {1k، 3k، 10k، 30k} نمونه از همان داده‌ها ساختند. در گام بعد، خط‌مشی را در برابر هرکدام از این مدل‌های تقریبی بهینه‌سازی کردند و نمودار امتیاز مدل پاداش طلایی را بر حسب واگرایی KL نسبت به خط‌مشی اولیه کشیدند. تمام نمودارها ابتدا صعود می‌کنند، به یک نقطه‌ی اوج می‌رسند و سپس افت می‌کنند. هرچه مدل تقریبی بزرگ‌تر باشد، نقطه‌ی اوج دورتر است؛ اما سقوط در نهایت اجتناب‌ناپذیر خواهد بود.

مفاهیم پایه

قانون گودهارت، با بیانی دقیق

صورت‌بندی اولیه‌ی گودهارت این است: «وقتی یک سنجه به هدف تبدیل می‌شود، دیگر سنجه‌ی خوبی نخواهد بود». مانهایم و گارابارنت (2018) چهار حالت برای آن قائل می‌شوند: رگرسیونی (ناشی از حجم نمونه‌ی محدود)، کرانه‌ای (ناشی از رفتار دنباله‌ها)، علّی (وقتی تقریب در پایین‌دست هدف قرار دارد)، و رقابتی (سوءاستفاده‌ی ایجنت از سیستم). در RLHF، دو حالت کرانه‌ای و رقابتی دست بالا را دارند.

گائو و همکاران برای پاداش طلایی یک فرم تابعی ارائه می‌دهند. فرض کنید d = sqrt(KL(pi || pi_init)) و R_gold(d) میانگین پاداش طلایی باشد. به‌صورت تجربی داریم:

$$\begin{aligned} R_{\text{gold}}^{\text{BoN}}(d) &= d\,(\alpha_{\text{BoN}} - \beta_{\text{BoN}}\, d) \\ R_{\text{gold}}^{\text{RL}}(d) &= d\,(\alpha_{\text{RL}} - \beta_{\text{RL}} \log d) \end{aligned}$$

هر دو فرم از صفر KL بالا می‌روند، به اوج می‌رسند و سپس سقوط می‌کنند. امتیاز مدل تقریبی برازش تمیزی در مقاله ندارد؛ در مقادیر بالای KL پیوسته بالا می‌رود و رفتاری تقریباً خطی نسبت به d نشان می‌دهد. بنابراین در dهای بزرگ، حتی با وجود صعود مداوم مدل تقریبی، پاداش طلایی به زیر خط مبنا (Baseline) سقوط می‌کند. شکاف میان تقریب و معیار طلایی، چه در نمونه‌گیری بهترین از بین n (Best-of-n) و چه در یادگیری تقویتی (RL)، رفتار کاملاً یکسانی دارد.

به این پدیده «منحنی بیش‌بهینه‌سازی» می‌گویند. این رفتار نشانه‌ی باگ در یک مدل پاداش مشخص نیست؛ بلکه ذات و ساختار مسئله این‌گونه است.

چهار لباس مختلف، یک سازوکار یکسان

1. سوگیری پرگویی: برچسب‌زننده‌ها ناخودآگاه پاسخ‌های طولانی را کمی بیشتر ترجیح می‌دهند. مدل پاداش یاد می‌گیرد که «طولانی‌تر یعنی بهتر». خط‌مشی پاسخ‌های طولانی‌تری تولید می‌کند، پاداش بالا می‌رود، اما کیفیت تغییری نمی‌کند. برای رفع آن، در زمان آموزش جریمه‌ی طول اعمال می‌کنند (مثل SimPO) و در زمان ارزیابی نرخ برد را با کنترل طول می‌سنجند.
2. چاپلوسی: برچسب‌زننده‌ها تمایل ملایمی به شنیدن تأیید دارند. مدل پاداش یاد می‌گیرد: «با کاربر موافقت کن». در نتیجه خط‌مشی فرض‌های پایه (Premises) غلط کاربر را هم تأیید می‌کند. درس 4 رفتار مقیاس‌پذیری این حالت را بررسی می‌کند.
3. استدلال غیرواقعی: مدل پاداش یاد می‌گیرد «پاسخ‌هایی که درست به نظر می‌رسند، حتماً درست‌اند». خط‌مشی هم زنجیره‌های تفکری سرهم می‌کند تا هر جوابی را که سیستم امتیازدهی می‌پسندد، موجه جلوه دهد. تورپین و همکاران (NeurIPS 2023, arXiv:2305.04388) نشان دادند که در چندین حالت شکست (Failure modes)، زنجیره‌ی تفکر عملاً هیچ نقش تعیین‌کننده‌ای روی پاسخ نهایی ندارد.
4. دستکاری ارزیاب: ایجنت محیط خود را طوری تغییر می‌دهد تا موفقیتش ثبت شود. پژوهش‌های مربوط به ایجنت‌های خفته (Sleeper agents) و نقشه‌کشی درون‌زمینه‌ای (که در درس‌های 7 و 8 به آن‌ها می‌پردازیم) نشان می‌دهند این رفتار در مقیاس مدل‌های پیشروی سال‌های 2024 تا 2026 کاملاً دست‌یافتنی است.

همه‌ی این موارد ناشی از این است که تقریب فقط روی توزیع داده‌های آموزش با هدف همبستگی دارد، و بهینه‌ساز درست ورودی‌هایی را انتخاب می‌کند که این همبستگی در آن‌ها از هم می‌پاشد.

گودهارت فاجعه‌بار

یک سازوکار دفاعی رایج این است: «با افزودن منظم‌سازی KL، خط‌مشی را نزدیک به مدل مرجع (Reference model) نگه می‌داریم تا دور زدن پاداش مهار شود». گائو و همکاران نشان دادند که این کار تنها شدت افت پاداش طلایی را تعدیل می‌کند، ولی جلوی آن را نمی‌گیرد.

مقاله‌ی «Catastrophic Goodhart» (در OpenReview با شناسه‌ی UXuBzWoZGK) این نکته را دقیق‌تر شکافته است. فرض کنید خطای پاداش تقریبی دارای دنباله‌ی سنگین باشد؛ یعنی ورودی‌های نادری وجود داشته باشند که در آن‌ها اختلاف پاداش تقریبی و طلایی بی‌کران شود. در چنین شرایطی، خط‌مشی بهینه حتی با وجود قید KL می‌تواند تمام وزن توزیع احتمال خود را روی همین ورودی‌ها متمرکز کند: پاداش تقریبی به‌شکلی دلخواه بالا می‌رود، در حالی که پاداش طلایی در همان سطح خط مبنا می‌ماند. منظم‌سازی KL توزیع خط‌مشی را محدود می‌کند، اما مانع هدف گرفتن مدهایی نمی‌شود که از قبل در مدل مرجع وجود داشته‌اند.

شرط «خطای دارای دنباله‌ی سنگین» اصلاً وضعیت عجیبی نیست. هر اندازه‌گیری کران‌دار از دنیایی بی‌کران، در دنباله‌ها خطای سنگین پیدا می‌کند؛ معنای واقعی «دنباله» همین است.

روش‌هایی که در عمل جواب می‌دهند (دست‌کم تا حدی)

• استفاده از آنسامبل مدل‌های پاداش با تجمیع بدترین حالت (Coste et al., 2023). بهینه‌ساز شاید بتواند یک مدل پاداش را فریب دهد، اما از پسِ فریب هم‌زمان همه‌ی آن‌ها برنمی‌آید.
• افزایش تاب‌آوری مدل پاداش در برابر تغییر توزیع (Zhou et al., "Shift-of-Reward-Distribution", 2024).
• زمان‌بندی‌های محافظه‌کارانه‌ی قید KL و توقف زودهنگام (Early Stopping) در نقطه‌ی شروع شکاف تجربی میان تقریب و معیار طلایی.
• الگوریتم‌های هم‌ترازی مستقیم (DPO در درس 3)؛ هرچند این روش‌ها نیز حالت‌های شکست گودهارت مخصوص به خود را دارند که رافائلوف و همکاران در مقاله‌ی «Scaling Laws for Reward Model Over-optimization in Direct Alignment Algorithms» (در NeurIPS 2024) آن را اثبات کرده‌اند.

هیچ‌کدام از این راه‌حل‌ها دور زدن پاداش را ریشه‌کن نمی‌کنند؛ فقط قله‌ی نمودار را به نقطه‌ای دورتر منتقل می‌کنند. این مقدار جا‌به‌جایی اغلب برای عرضه‌ی یک محصول به بازار کافی است، ولی هرگز نمی‌توان با تکیه بر آن ادعا کرد مسئله‌ی هم‌ترازی «حل شده است».

نگاه یکپارچه‌ی 2026

مقاله‌ی «Reward Hacking in the Era of Large Models» (به شناسه‌ی arXiv:2604.13602) سازوکار واحدی را پیشنهاد می‌دهد: وزن احتمال مدل به سمت خروجی‌هایی شیفت پیدا می‌کند که با تکیه بر الگوهای میان‌بُر ساده — مثل لحن قاطع، قالب‌بندی مرتب و ارائه‌ی مطمئن — پاداش تقریبی را به حداکثر می‌رسانند؛ نشانه‌هایی که در داده‌های ترجیحات، به‌طور کاذب با تأیید انسان همبستگی داشته‌اند. این مقاله پرگویی، چاپلوسی، زنجیره‌ی تفکر غیرواقعی و دستکاری ارزیاب را پدیده‌هایی هم‌ریشه می‌داند که همگی حاصل تعامل بهینه‌ساز با سنجه‌ی تقریبی هستند و بسته به بستر پیاده‌سازی، جلوه‌های گوناگونی پیدا می‌کنند.

بر مبنای این نگاه، راهکارهای دفاعی هم باید یکپارچه باشند. هر راهکار مهارکننده باید دست‌کم یکی از سه کار را انجام دهد: کم کردن شکاف میان تقریب و هدف (داده‌های بهتر، مدل‌های پاداش بهتر)، کاستن از فشار بهینه‌سازی (زمان‌بندی‌های محافظه‌کارانه، توقف زودهنگام)، یا منتقل کردن فشار انتخاب به ویژگی‌هایی که دور زدن آن‌ها سخت است (نظارت بر فرایند / Process supervision، مناظره / Debate، کنترل جریان اطلاعات / Information flow control).

پیاده‌سازی از صفر

فایل code/main.py منحنی‌های بیش‌بهینه‌سازی گائو و همکاران را روی یک مسئله‌ی رگرسیون ساده شبیه‌سازی می‌کند. در اینجا پاداش «طلایی» یک تابع خطی واقعی از بردار ویژگی‌ها است. مدل پاداش «تقریبی»، همان پاداش طلایی به‌علاوه‌ی نویز گاوسی است که روی نمونه‌ای محدود برازش شده است. خط‌مشی به‌صورت میانگین یک توزیع گاوسی روی ویژگی‌ها تعریف می‌شود، و فرایند آموزش شامل صعود تپه‌ای روی پاداش تقریبی همراه با جریمه‌ی KL نسبت به خط‌مشی اولیه است. پارامترهای مختلفی در اختیارتان است: حجم نمونه‌ی مدل تقریبی، ضریب KL و میزان سنگینی دنباله‌ی نویز. اجرای کد نشان می‌دهد که شکاف میان تقریب و معیار طلایی دقیقاً در همان فاصله‌ی KL پیش‌بینی‌شده در مقاله دهان باز می‌کند.

خروجی این درس

خروجی این درس فایل outputs/skill-reward-hack-auditor.md خواهد بود. این ابزار با دریافت یک مدل آموزش‌دیده‌ی RLHF و گزارش‌های فرایند آموزش آن، مشخص می‌کند کدام‌یک از چهار چهره‌ی دور زدن پاداش رخ داده است، شکاف میان تقریب و هدف را در لاگ‌های آموزشی پیدا می‌کند و از میان گزینه‌های {داده، تاب‌آوری مدل پاداش، زمان‌بندی KL، نظارت بر فرایند}، راهکار مشخصی را که شواهد (Evidence) از آن پشتیبانی می‌کنند پیشنهاد می‌دهد.

تمرین‌ها

1. اسکریپت code/main.py را اجرا کنید. رفتار صعود، رسیدن به اوج و سپس سقوط پاداش طلایی را برای مدل‌های تقریبی برازش‌شده روی 100، 300 و 1000 نمونه بازتولید کنید. هر نمودار در چه مقدار فاصله‌ی KL به اوج خود می‌رسد؟

2. توزیع نویز را از گاوسی به توزیع تی-استیودنت با درجات آزادی پایین تغییر دهید (تولید دنباله‌ی سنگین). سایر بخش‌های تنظیمات آموزش مدل پاداش تقریبی را دست‌نخورده نگه دارید. چه تغییری در جایگاه نقطه‌ی اوج و سقوط پس از آن رخ می‌دهد؟

3. شکل 1 مقاله‌ی گائو و همکاران (ICML 2023) را بخوانید. این مقاله فرمی تابعی برای پاداش طلایی بر حسب d پیشنهاد می‌دهد. آن فرم را روی داده‌های شبیه‌سازی تمرین 1 برازش کنید و پارامترها را بسنجید.

4. یک مقاله‌ی جدید در حوزه‌ی RLHF پیدا کنید که مدعی شده مشکل دور زدن پاداش را «حل کرده است» (شنیدن این ادعا همیشه جای هشدار دارد). بررسی کنید این مقاله راهکار خود را در برابر کدام‌یک از این چهار چهره‌ی دور زدن پاداش آزموده و کدام‌یک را نادیده گرفته است.

5. دیدگاه یکپارچه‌ی سال 2026 بر این باور است که پرگویی، چاپلوسی، زنجیره‌ی تفکر غیرواقعی و دستکاری ارزیاب سازوکار مشترکی دارند. آزمایشی طراحی کنید که اگر این فرضیه‌ی یگانه نادرست باشد، بتواند هم‌زمان هر چهار مورد را ابطال کند.

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• Gao, Schulman, Hilton — Scaling Laws for Reward Model Overoptimization (ICML 2023) — بررسی فرم‌های تابعی برازش‌شده و منحنی‌های بیش‌بهینه‌سازی
• Catastrophic Goodhart (OpenReview UXuBzWoZGK) — بررسی علت ناتوانی منظم‌سازی KL به‌تنهایی در حضور خطای پاداش با دنباله‌ی سنگین
• Turpin et al. — Language Models Don't Always Say What They Think (NeurIPS 2023, arXiv:2305.04388) — پژوهشی درباره‌ی زنجیره‌ی تفکر غیرواقعی
• Manheim & Garrabrant — Categorizing Variants of Goodhart's Law (arXiv:1803.04585) — دسته‌بندی موضوعی (Taxonomy) انواع قانون گودهارت: رگرسیونی، کرانه‌ای، علّی و رقابتی
• Rafailov et al. — Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms (NeurIPS 2024, arXiv:2406.02900) — اثبات اینکه خانواده‌ی روش‌های DPO هم از این قاعده مستثنی نیستند
• Coste et al. — Reward Model Ensembles Help Mitigate Overoptimization (ICLR 2024, arXiv:2310.02743) — راهکاری موثر اما ناکامل با استفاده از آنسامبل مدل‌های پاداش