چهار روز از اجرای یک اجرای PPO گذشته است و میانگین امتیاز مدل پاداش (Reward Model) مدام بالاتر میرود. با این حال، امتیازدهی کور انسانی (Blind human rating) روی نمونههای هر چکپوینت تغییری نکرده و دو چکپوینت آخر حتی کمی بدتر به نظر میرسند. تیم میخواهد آموزش را ادامه دهد چون نمودار فوقالعاده است. نظر شما چیست؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
آموزش را متوقف کنید و آن را دور زدن پاداش (Reward Hacking) در نظر بگیرید. خطمشی (Policy) خروجیهایی پیدا کرده است که مدل پاداش به آنها امتیاز بالایی میدهد ولی انسانها ترجیحشان نمیدهند؛ چرا که مدل پاداش یک تقریب محدود با نقاط کور است. واگرایی KL نسبت به مدل مرجع، و همچنین طول و قالب نمونههای اخیر را بررسی کنید؛ اگر واگرایی KL همگام با پاداش رشد کند و پاسخها طولانیتر یا کلیشهایتر شده باشند، دور زدن پاداش تأیید میشود. به چکپوینتی که امتیاز ارزیابی انسانی در آن به اوج رسیده بازگشت به عقب (Rollback) بزنید، ضریب KL را بالا ببرید یا زودتر آموزش را متوقف کنید، و دادههای آموزشی مدل پاداش را گسترش دهید تا رفتارهایی را که خطمشی از آنها سوءاستفاده کرده پوشش دهد.
پاسخ کامل
نشانههای این وضعیت
پاداش بالا میرود، اما ارزیابی انسانی در حالت یکنواخت (Plateau) مانده یا افت کرده است. مدل پاداش روی پاسخهای درونتوزیع (In-distribution) آموزش دیده بود؛ اما خطمشی حین بهینهسازی از این توزیع خارج میشود و مدل پاداش دست به برونیابی (Extrapolation) میزند. جدول درس RLHF نشان میدهد پایپلاینهای واقعی چه چیزهایی دیدهاند:
| حالت شکست | نمونهها چه چیزی را نشان میدهند | چرا مدل پاداش از آن خوشش آمد |
|---|---|---|
| اطناب (Verbosity) | پاسخها طولانی و طولانیتر میشوند | ارزیابها جزئیات را ترجیح میدادند، بنابراین مدل طولانی بودن را یاد گرفت |
| بلهقربانگویی (Sycophancy) | موافقت با مقدمه (Premise) کاربر | به پاسخهای موافق امتیاز بالاتری داده شده بود |
| دستبهعصا بودن (Hedging) | تعهد نداشتن به هیچ پاسخی | پاسخهای دستبهعصا بهندرت غلط علامتگذاری میشوند |
| دور زدن قالب (Format gaming) | همهجا پر از عنوان و بولتپوینت است | پاسخهای قالببندیشده شستهرفته به نظر میرسیدند |
بررسیها
- میانگین واگرایی KL نسبت به مدل مرجع به ازای هر پاسخ. خط هشدار در درس مدلسازی پاداش، مجموع 5 تا 10 نات (nat) روی توکنها است؛ فراتر از آن، خطمشی دچار دریفت شدیدی نسبت به SFT شده است.
- طول پاسخ بر حسب هر چکپوینت. دور زدن طول (Length hacking) رایجترین شکل این مشکل است.
- خواندن 50 نمونه در کنار هم در بین چکپوینتها. حالتهای شکست بالا با چشم هم دیده میشوند.
- همان ارزیابی کور انسانی که تا الان انجام دادهاید. آن را کور و نگهداشتهشده (Held-out) نگه دارید؛ این تنها معیاری است که خطمشی نمیتواند دور بزند.
راهکارها
- به بهترین چکپوینت بر اساس رتبهبندی انسانی بازگردید؛ نمودار پاداش هدف اصلی نیست.
- بتا را بالا ببرید یا از بتای تطبیقی با یک KL هدف استفاده کنید تا خروج از مدل مرجع برای خطمشی هزینهبرتر شود.
- پاداش را بر اساس طول نرمالسازی کنید یا عبارتی وابسته به طول بیفزایید.
- پاسخهایی را که مدل از آنها سوءاستفاده کرده، همراه با امتیاز انسانی به دادههای مدل پاداش اضافه کنید، آن را دوباره آموزش دهید و از چکپوینت بازگشتی کار را دنبال کنید.
- بیش از یک مدل پاداش روی دادههای متفاوت آموزش دهید؛ یک ترفند سوءاستفاده بهندرت روی همهی آنها جواب میدهد.
چرا این نمودار هدف اصلی نیست
مدل پاداش یک تقریب آماری از نمونهای از رتبهبندیهای انسانی است، نه خود ارزشهای انسانی. اگر یک تقریب را بیش از حد بهینهسازی کنید، خطاهایش بیرون میزند. به همین دلیل از آن زمان به بعد، همهی پایپلاینهای همراستاسازی یک ارزیابی کور انسانی به همراه داشتهاند.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چطور متوجه میشوید مشکل از دور زدن پاداش است یا اینکه مدل پاداش درست میگوید و ارزیابها اشتباه میکنند؟ پاسخ مورد انتظار: نمونهها را بخوانید؛ اگر انسانها پیوسته از پاسخی که امتیاز بالایی گرفته ناراضیاند، مدل تقریبی اشتباه میکند، چرا که ارزیابها هدف را تعیین میکنند.
- سطح 3: مدل پاداش برای صرفهجویی در محاسبات کوچک در نظر گرفته شده است. آیا این موضوع اینجا اهمیتی دارد؟ پاسخ مورد انتظار: بله؛ مدل پاداشی که نتواند خروجیهای خطمشی را بازنمایی کند، نقاط کور بیشتری دارد و درسها هم نسبت به استفاده از مدل پاداش کوچکتر از خطمشی هشدار میدهند.
- سطح 4: برای خلاص شدن از مدل پاداش به سراغ DPO میروید. آیا مشکل حل میشود؟ پاسخ مورد انتظار: خیر؛ پاداش ضمنی (Implicit reward) را هم میتوان به همان شیوه بیشازحد بهینهسازی کرد که به همان نمودار اوجگیری و سپس سقوط میانجامد؛ بنابراین ارزیابی کور و توقف زودهنگام (Early Stopping) باید سر جایشان بمانند.
- سطح 4: سازوکاری حفاظتی طراحی کنید که آموزش را به شکل خودکار متوقف کند. پاسخ مورد انتظار: ارزیابی با مجموعهپرامپت ثابت از دادههای نگهداشتهشده توسط انسان یا داور معتمد در هر چکپوینت، یک سقف مجاز برای KL، و یک قاعدهی توقف (Stop Rule) برای شرایطی که ارزیابی افت میکند اما پاداش بالا میرود.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «ارزیابهای انسانی نویز دارند؛ به مدل پاداش اعتماد کنید.» مدل پاداش روی همان ارزیابها برازش شده است؛ وقتی آنها روی نمونههای جدید با مدل مخالفاند، یعنی مدل برونیابی اشتباهی انجام میدهد.
- «بتا را پایین بیاورید تا خطمشی بتواند پاسخهای حتی بهتری پیدا کند.» کاهش بتا به خطمشی اجازه میدهد از توزیعی که مدل پاداش میشناسد بیشتر فاصله بگیرد؛ موضوعی که دقیقاً ریشهی همین مشکل است.
- «به آموزش ادامه دهید؛ ارزیابی انسانی هم به آن میرسد.» درسها نشان میدهند که ارزیابیهای انسانی در این شرایط در یک سطح ثابت میمانند یا افت میکنند در حالی که پاداش بالا میرود؛ گامهای بیشتر فقط این سوءاستفاده را عمیقتر میکند.
کجای دوره آموزش داده میشود
درس مدلسازی پاداش از دور زدن پاداش و دور زدن طول به عنوان بزرگترین دامها نام میبرد، درس RLHF حالتهای شکست را جدولبندی میکند، و درس سیگنال همراستاسازی توضیح میدهد که چرا مدل پاداش تنها یک تقریب برای نمونهای از رتبهبندیهاست.