حین اجرای DPO، تابع زیان (loss) مدام کاهش مییابد و حاشیهی پاداشی (reward margin) که سیستم آموزش ثبت میکند در هر دوره (epoch) بیشتر میشود. با این حال، نمونههای تولیدشده از مدل کوتاهتر و ناخواناتر میشوند و حالا خطمشی (policy) احتمال کمتری به پاسخهای آموزشی برگزیده (chosen) نسبت به مدل مرجع (reference) میدهد. سازوکار این پدیده را شرح دهید و بگویید چه چیزی را باید تغییر داد.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
تابع زیان DPO فقط به تفاوت دو نسبتِ لگاریتمی اهمیت میدهد. این تابع میتواند احتمال پاسخ برگزیده را پایین بیاورد، به شرطی که احتمال پاسخ مردود (rejected) با سرعت بیشتری افت کند؛ در این حالت حاشیه همچنان رشد میکند. این همان نقصِ «تخریب پاسخ برگزیده» (degraded chosen response) است: خطمشی، جرم احتمالاتی را از هر دو پاسخ آموزشی دور میکند و معمولاً آن را به سمت خروجیهای کوتاه و معیوب میبرد. برای حل این مشکل، لگاریتم احتمالِ مطلقِ پاسخ برگزیده را لاگ کنید؛ جریمهای روی افت عبارتِ برگزیده بگذارید (درست مثل نسخهی حافظ رفتار یا همان behavior-preserving)، یا سراغ تابع زیانی با حاشیهی کراندار بروید، و همیشه در کنار حاشیه، ارزیابی تولید متن (generation eval) را هم زیر نظر داشته باشید.
پاسخ کامل
چرا حاشیهی پاداش میتواند فریبنده باشد؟
گرادیانِ DPO نسبتِ لگاریتمیِ پاسخ برگزیده را به سمت بالا و نسبت لگاریتمی پاسخ مردود را به سمت پایین push میکند؛ اما فقط تفاوت میان این دو وارد تابع زیان میشود. اگر سرکوب پاسخهای مردود آسانتر باشد، کمهزینهترین راه برای افزایش حاشیه این است که آنها را بهشدت سرکوب کنیم، حتی اگر همزمان پاسخهای برگزیده نیز دچار دریفت نزولی شوند. از سوی دیگر، شکاف پاداش ضمنی (implicit reward gap) کراندار نیست: یک ترجیح ضعیف میتواند شکافی فوقالعاده بزرگ بسازد. در تابع زیان هیچ عاملی وجود ندارد که خطمشی را ملزم به ادامهی تولید پاسخهای برگزیده کند.
مواردی که باید لاگ کنید
- لگاریتم احتمال مطلقِ پاسخ برگزیده در خطمشی فعلی، در هر دوره و در کنار حاشیه. تابع محاسبهی حاشیه در پروژهی پایانی صرفاً تفاضل را گزارش میدهد؛ عبارت مربوط به پاسخ برگزیده را بهتنهایی اضافه کنید.
- طول نمونههای خروجی و یک ارزیابی محدود برای تولید متن. افزایش حاشیه همزمان با افت کیفیت نمونهها، نشانهی بارز این مشکل است.
- دیورژانس KL نسبت به مدل مرجع. فاصلهگرفتن از هر دو پاسخ آموزشی خودش را بهصورت افزایش این فاصله نشان میدهد.
راهکارهای رفع مشکل
- در نظر گرفتن جریمه برای افت لگاریتم احتمال پاسخ برگزیده. نسخهی «حافظ رفتار» از این خانواده، همین یک اصلاح را اضافه میکند و روی وظایف (tasks) استدلالی نتایج بهتری نسبت به DPO ساده گزارش کرده است.
- استفاده از حاشیهی کراندار. نسخهی نگاشتهمانی (identity-mapping)، لگاریتم سیگموئید را با خطای مربعی حول هدفی برابر با 1 روی 2 بتا جایگزین میکند تا شکاف پاداش با شدت ترجیح متناسب بماند.
- مقدار بتای محافظهکارانه و توقف زودهنگام (early stopping) بر اساس نتایج ارزیابی تولید متن، نه بر اساس حاشیهی پاداش در دادههای آموزش.
- بهبود جفتدادهها. جفتهایی که هر دو پاسخِ آنها تحت مدل مرجع بسیار نادر هستند، پاداشهای ضمنی غیرواقعی و تصادفی میسازند؛ این نمونهها را فیلتر کنید.
چرا این پدیده کماکان از جنس بیشبهینهسازی است؟
روشهای همترازسازی مستقیم (direct alignment) مدل پاداش صریح را حذف میکنند، نه هدف جانشین (proxy) را. مقداری که این روشها بهینهسازی میکنند، یک نسبت در مقایسه با مدل مرجع است، و این نسبت میتواند به سمت نقاطی push شود که دادههای ترجیحی اصلاً آنها را پوشش ندادهاند. همان منحنی اوجگیری و سپس فروپاشی که در مدلهای پاداش میبینیم، اینجا هم در بودجههای مختلف KL پدیدار میشود.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا طول متن در بروز این نقص تأثیرگذار است؟ پاسخ مورد انتظار: پاسخ مردودِ طولانیتر بنا به ساختارش لگاریتم احتمال کلی منفیتری دارد؛ در نتیجه سرکوب کردن آن کمهزینه است و شکاف پاداش به دلیلی نادرست رشد میکند؛ نرمالسازی بر اساس طول (length normalization) این انگیزهی اشتباه را از بین میبرد.
- سطح 3: یک تابع زیانِ بدونمرجع و نرمالشده با طول چگونه معادله را تغییر میدهد؟ پاسخ مورد انتظار: این تابع میانگین لگاریتم احتمال به ازای هر توکن را همراه با یک حاشیه میسنجد؛ رویکردی که سوگیری طول و وابستگی به مدل مرجع را حذف میکند. اما همزمان تکیهگاه مدل را هم برمیدارد، بنابراین جلوگیری از دریفت به مراقبت جداگانهای نیاز خواهد داشت.
- سطح 4: وقتی شدت ترجیحات در جفتهای مختلف داده تفاوت زیادی دارد، کدام نسخه را انتخاب میکنید؟ پاسخ مورد انتظار: نسخهی کراندار؛ این نسخه شکاف پاداش را متناسب با شدت ترجیح نگه میدارد، در نتیجه جفتهای قوی تابع زیان را اشباع نمیکنند و جفتهای ضعیف دچار انفجار مقادیر نمیشوند.
- سطح 4: آیا کمکردن مقدار بتا کمکی به حل مشکل میکند؟ پاسخ مورد انتظار: خیر؛ بتای کمتر به خطمشی اجازه میدهد تا به ازای یک حاشیهی ثابت، فاصلهی بیشتری از مدل مرجع بگیرد و این افت کیفیت را وخیمتر میکند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «حاشیه در حال افزایش است، پس آموزش دارد خوب پیش میرود؛ مشکل نمونهها مربوط به مرحلهی رمزگشایی (decoding) است.» حاشیه میتواند رشد کند در حالی که هر دو پاسخ احتمال وقوع خود را از دست میدهند؛ هدف نهایی، کیفیت در ارزیابی تولید متن است، نه عدد حاشیه.
- «بتا را آنقدر بالا ببرید تا کیفیت نمونهها برگردد.» بتای بالاتر دریفت را کند میکند اما جهت گرادیان روی عبارت پاسخ برگزیده را تغییر نمیدهد؛ گذاشتن جریمه روی همان عبارت است که این کار را میکند.
- «دورههای بیشتری آموزش دهید؛ احتمال پاسخ برگزیده خودش بازمیگردد.» در تابع زیان هیچ عبارتی وجود ندارد که بهخودیخود به افزایش احتمال پاسخ برگزیده پاداش دهد، بنابراین دورههای بیشتر فقط وضعیت را با همان روند قبلی بدتر میکنند.
کجای دوره آموزش داده میشود
در درس خانوادهی DPO این نقص مربوط به افت پاسخ برگزیده و نسخههای اصلاحکنندهی آن معرفی شدهاند، و در پروژهی پایانی DPO گرادیانی که پاسخ برگزیده را بالا برده و پاسخ مردود را پایین میآورد، فرمولبندی و اثبات میشود.