در مرحلهی PPO از RLHF، تابع هدف یک عبارت جریمهی KL (واگرایی کولبک-لایبلر یا Kullback–Leibler divergence) بین خطمشی (policy) و نسخهی فریزشدهی مدل SFT را از پاداش کم میکند. یکی از اعضای تازهوارد تیم میپرسد چرا پایپلاین فقط برای همین یک عبارت، نسخهی دومی از مدل را در حافظه نگه میدارد. خطایی را که این کار مانعش میشود و نحوهی تنظیم ضریب آن را توضیح دهید.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
مدل پاداش (Reward Model) روی پاسخهایی آموزش دیده که شبیه خروجی SFT هستند. بدون این عبارت، PPO خطمشی را به سمت ناحیههایی میبرد که مدل پاداش هرگز ندیده است و رشتههایی را پیدا میکند که امتیاز بالایی میگیرند، اما به مذاق انسانها خوش نمیآیند. این عبارت، خطمشی را بهخاطر خروج از توزیع SFT جریمه میکند؛ بنابراین یک منظمساز (regularizer) است، نه یک محدودیت سفتوسخت (hard constraint). ضریب بتا (beta) را بر اساس KL اندازهگیریشده تنظیم کنید: اگر خیلی کم باشد، پاداش همگام با KL بالا میرود و اگر خیلی زیاد باشد، خطمشی عملاً از SFT تکان نمیخورد.
پاسخ کامل
تابع هدف
maximize E[ R(x, y) ] - beta * KL( policy(. | x) || reference(. | x) )
مدل مرجع (Reference model) همان چکپوینت فریزشدهی SFT است. مدل پاداش به کل پاسخ امتیاز میدهد؛ مقدار KL روی توکنهای هر پاسخ جمع بسته شده و از پاداش کسر میشود.
بدون عبارت KL
مدل پاداش یک برازش متناهی روی ترجیحات انسانی است و نقاط کوری دارد. عبارات تکراری که وانمود به مفید بودن میکنند، متنهای رسمی و طولانی بدون محتوا، یا استفادهی افراطی از بولتپوینت در همهجا: تکتک این موارد در پایپلاینهای واقعی امتیاز بالایی گرفتند. بدون وجود یک لنگر، خطمشی به سمت چند حالت خاص با پاداش بالا فرو میریزد (mode collapse رخ میدهد). پایپلاین ساده و آزمایشیِ سهمرحلهای در درس InstructGPT نشان میدهد که وقتی بتا 0 باشد، این اتفاق ظرف کمتر از 50 گام بهروزرسانی رخ میدهد.
تحلیل مقدار KL
میانگین KL به ازای هر پاسخ را در هر بهروزرسانی دنبال کنید. درس مدلسازی پاداش، مجموعِ 5 تا 10 نات (nat) روی کل توکنها را نقطهای میداند که خطمشی از SFT دچار دریفت شدیدی شده است: در این حالت یا بتا خیلی پایین است، یا دور زدن پاداش (Reward Hacking) شروع شده است.
تنظیم بتا
مقادیر مرجع: 0.01 تا 0.05 در درس مدلسازی پاداش، و 0.02 در پایپلاینی که درس RLHF شرح میدهد. ترفند رایج، استفاده از بتای تطبیقی بر اساس یک KL هدف است. وقتی KL مشاهدهشده از هدف فراتر میرود، بتا دو برابر میشود؛ وقتی به کمتر از نصف هدف میرسد، بتا نصف میشود. کتابخانهای که در درس بررسی شد، با فعال بودن کنترلر تطبیقی از مقدار هدف 6.0 استفاده میکند.
لنگر دوم
جریمهی KL از سبک و توزیع متن محافظت میکند؛ اما از مهارتهای بنچمارکی که پاداش هرگز آنها را نسنجیده محافظت نمیکند. این افت مهارت همان مالیات همراستاسازی (Alignment tax) است، و راهحل آن ترکیب گرادیانهای پیشآموزش در تابع هدف RL است.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا این عبارت یک منظمساز است و نه یک ناحیه اعتماد (Trust Region)؟ پاسخ مورد انتظار: چون هزینهای اضافه میکند که متناسب با فاصله رشد میکند؛ هیچ مانعی جلوی پرداخت این هزینه را از سوی خطمشی نمیگیرد، بنابراین پاداشهای بزرگ همچنان میتوانند جهشهای بزرگی در پی داشته باشند.
- سطح 2: مدل مرجع در پیادهسازی کد باید چه دو شرطی داشته باشد؟ پاسخ مورد انتظار: وزنهای آن هرگز گرادیان دریافت نکنند، و هیچ پارامتری را با خطمشی به اشتراک نگذارد؛ وجود یک ماژول اشتراکی، لنگر را بیصدا از کار میاندازد.
- سطح 3: پاداش بالا میرود، KL بالا میرود، اما امتیازهای ارزیابی انسانی تغییری نمیکنند. اول سراغ کدام اهرم میروید؟ پاسخ مورد انتظار: بتا را بالا ببرید یا آموزش را زودتر متوقف کنید (early stopping)؛ سپس دادههای آموزشی مدل پاداش را گسترش دهید تا ناحیهی سوءاستفادهشده هم پوشش داده شود.
- سطح 3: بعد از RLHF، نمرات مدل در بنچمارکهای کامپریهنشن متن افت میکند. آیا جلوگیری از این اتفاق وظیفهی KL است؟ پاسخ مورد انتظار: خیر؛ این افت ناشی از مالیات همراستاسازی است و با اضافهکردن عبارت درستنمایی لگاریتمیِ پیشآموزش به تابع هدف حل میشود، درست مثل کاری که در نسخهی PPO-ptx انجام میشود.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «برای صرفهجویی در حافظه مدل مرجع را حذف کنید و در عوض نسبت PPO را بیشتر محدود (clip) کنید.» کلیپ کردن فقط یک بهروزرسانی را محدود میکند؛ جلوی دریفت مدل در طول چندین بهروزرسانی متوالی را نمیگیرد، در صورتی که کار KL دقیقاً همین است.
- «برای احتیاط، بتا را بالا ببرید.» بتای بالا خطمشی را روی SFT قفل میکند و در ازای هزینهی پردازشی که صرف کردهاید، عملاً هیچ دستاوردی نخواهید داشت.
- «جریمهی KL یک فیلتر ایمنی در برابر متنهای مضر است.» این عبارت فقط فاصله از توزیع SFT را اندازه میگیرد و از محتوا کاملاً بیخبر است؛ چیزی که آن را مفید میکند، داشتن یک مدل مرجع امن است.
کجای دوره آموزش داده میشود
درس مدلسازی پاداش عبارت KL را به عنوان اهرمی علیه دور زدن پاداش توضیح میدهد، درس RLHF تابع هدف جریمهدار را میسازد، و درس سیگنال همراستاسازی به مبحث مالیات همراستاسازی میپردازد.