در یک اجرای الگوریتم GRPO، مدلی کوچک را با پاداش دودویی (binary reward) روی مسائل ریاضی مقطع دبستان آموزش میدهیم. پاداش در هر گام نوسانهای شدیدی دارد و روند کلی آن پس از گامهای زیاد، کاملاً افقی و درجازننده به نظر میرسد. تیم تصمیم دارد نرخ یادگیری (learning rate) را بالا ببرد. ابتدا چه معیاری را بررسی میکنید و به چه چیزی مشکوک میشوید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
قبل از اینکه دست به نرخ یادگیری بزنید، آمارهای گروه را بررسی کنید. الگوریتم GRPO به هر پاسخ بر اساس میانگین گروه خودش امتیاز میدهد؛ بنابراین گروهی که تمام پاسخهایش درست یا تمام آنها نادرست باشد، برای تکتک اعضا مقدار مزیت (advantage) صفر تولید میکند و در عمل هیچ چیزی یاد نمیدهد. در اجراهای ارائهشده در راهنما، از 32 گروه موجود در گام اول، 10 گروه برای هر 8 پاسخ خود پاداش یکسانی گرفتند و در طول 12 گام، تقریباً نیمی از گروهها چنین وضعیتی داشتند. اگر اکثر گروهها اینگونه باشند، سیگنال آموزشی بسیار ضعیف است. راهکار حل این مشکل، تغییر ترکیب پرامپتها یا استفاده از فیلتر نمونهبرداری پویا (dynamic sampling filter) است، نه بزرگتر کردن اندازه گام آموزش.
پاسخ کامل
پنج عدد مهم را بخوانید، نه فقط پاداش را
در 10 گام اول اجراهای راهنما، مقدار پاداش بین دو گام متوالی تا 0.14 جابهجا شد و در یک اجرای طولانی، نوسان آن تا 0.21 هم رسید؛ پس حتماً میانگین 5 گام یا بیشتر را ملاک قرار دهید. در کنار آن، این موارد را بررسی کنید: طول پاسخ، سهم پاسخهای قطعشده به دلیل محدودیت طول (length limit)، اختلاف لگاریتم احتمال (log-probability gap) بین ترینر (trainer) و موتور استنتاج (engine)، و واگرایی KL بین آنها. اگر پاداش و اختلاف لگاریتم احتمال هر دو درجا میزنند و طول پاسخها نیز طبیعی است، مشکل از ضعیف بودن سیگنال یادگیری است، نه از کرنلها (kernels).
گروههای فاقد مزیت را بشمارید
خط گزارش عملکردِ (perf) مسیر پیشروی شبیهسازیشده (rollout)، تعداد گروههای با انحراف معیار صفر را میشمارد: rollout/zero_std/count_1 برای مواردی که همه درست بودهاند و rollout/zero_std/count_0 برای مواردی که همه نادرست بودهاند. در گام اولِ خط مبنا (baseline) در راهنما، 7 گروه همگی درست و 3 گروه همگی نادرست بودند؛ یعنی 10 گروه از مجموع 32 گروه. در طول 12 گام با یک seed مشخص، از 384 گروه، 191 گروه برای تمام پاسخهایشان پاداش یکسانی داشتند که از این میان، 142 گروه همگی درست بودند: پرامپتهای سادهای که مدل از قبل حل کرده بود.
فیلتر و هزینهی پردازشی آن
فیلتر نمونهبرداری پویا این گروهها را دور میریزد و از موتور استنتاج پرامپتهای بیشتری میخواهد تا در نهایت، گام آموزشی به تعداد کافی گروه با تنوع پاسخ برسد. در اجراهای راهنما با دستههای 48 تایی پرامپت برای رسیدن به 32 گروه نگهداشتهشده، در هر گام بین 16 تا 48 گروه حذف شدند (با میانه 36)، و اغلب گروههای حذفشده آنهایی بودند که همه پاسخهایشان درست بود. زمان مسیر پیشروی شبیهسازیشده وقتی یک دسته اضافی کفایت میکرد 1.5 برابر، و وقتی به دسته دوم نیاز میشد 2.8 برابر طول کشید. مجموع زمان این 12 گام از 60 دقیقه به 113 دقیقه رسید.
خواندن پاداش هنگام فعال بودن فیلتر
از آنجا که مقدار rollout/raw_reward دیگر گروههای حذفشده را شامل نمیشود، به جای آن معیار rollout/raw_reward_unfiltered را مقایسه کنید. حتی این عدد هم در اجرای راهنما متمایل به بالا بود (0.686 در برابر 0.657)؛ چون کندترین و طولانیترین پاسخها پیش از آنکه شمرده شوند متوقف شدند و پاسخی که قطع شود معمولاً امتیاز 0 میگیرد. هرگونه بهبودی را که درون بازه پراکندگی seedهای خط مبنای اولیهتان باشد، صرفاً نوفه (noise) در نظر بگیرید.
پیامد بالا بردن نرخ یادگیری
برداشتن گام بزرگتر با یک سیگنال ضعیف، فقط نُرم گرادیان (gradient norm) و واریانس بهروزرسانی وزنها را بالا میبرد، بدون اینکه اطلاعات مفیدی اضافه کند. در راهنما قاعدهای برای زمانی که نُرم گرادیان گامبهگام رشد میکند آمده که دقیقاً برعکس است: نرخ یادگیری را پایین بیاورید.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا گروهی با پاداشهای یکسان، مزیت صفر تولید میکند؟ انتظار میرود: GRPO میانگین گروه را از پاداش کم میکند و حاصل را بر انحراف معیار گروه تقسیم میکند؛ وقتی همه پاداشها برابر باشند، صورت کسر برای تکتک پاسخها صفر میشود.
- سطح 2: به جز پاسخ غلط، چه عامل دیگری باعث صفر شدن پاداش مسئله ریاضی میشود؟ انتظار میرود: پاسخی که به دلیل محدودیت طول، قبل از رسیدن به سطر نهایی قطع شده باشد؛ باید سهم پاسخهای قطعشده را کنار پاداش بررسی کنید.
- سطح 3: اجرای فیلتردار میانگین پاداش بالاتری نسبت به خط مبنا نشان میدهد. چگونه تصمیم میگیرید که آیا مدل واقعاً بیشتر یاد گرفته است؟ انتظار میرود: پاداش فیلترنشده را مقایسه کنید، تورش ناشی از متوقف کردن پاسخهای طولانی را لحاظ کنید، و اجرای دیگری با یک seed متفاوت بگیرید و آن را در برابر پراکندگی نتایج seedهای خط مبنا بسنجید.
- سطح 3: تابع پاداش شما مقادیر کسری برمیگرداند و یک گروه با پاداشهای کاملاً یکسان، باز هم مقادیر مزیت کوچک و غیرصفر نشان میدهد. چرا؟ انتظار میرود: خطای گرد کردن اعداد در فرمت float32 هنگام محاسبه میانگین گروه، باقیماندهای به جا میگذارد که پس از تقسیم بر انحراف معیار نزدیک به صفر، منفجر و بزرگ میشود؛ پاداشها را به مقادیری گرد کنید که float32 بتواند دقیقاً آنها را نمایش دهد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «نرخ یادگیری را بالا ببرید؛ پاداش به این دلیل درجا میزند که گامها کوچک هستند.» سیگنال یادگیری به این دلیل ضعیف است که خیلی از گروهها هیچ مزیتی ندارند؛ گام بزرگتر فقط نوفه را تقویت میکند و نُرم گرادیان را بالا میبرد.
- «به ازای هر پرامپت پاسخهای بیشتری نمونهبرداری کنید تا تنوع ایجاد شود.» در اجراهای راهنما، نمونهبرداری 4، 8 و 16 پاسخ به ازای هر پرامپت، بهبود پاداشی درون بازه نوسانات یک seed مشخص داشت و افزایش تعداد پاسخها فقط هر مسیر پیشروی شبیهسازیشده را طولانیتر کرد.
- «پاداش آخرین گام را بررسی کنید.» مقدار پاداش در یک گام منفرد ممکن است تا یکپنجمِ کل مقیاس نوسان کند؛ حتماً میانگین 5 گام یا بیشتر را بخوانید.
کجای دوره آموزش داده میشود
بخش 3.2 از Miles 101 گروههای حذفشده و هزینه فیلتر را اندازه میگیرد، بخش 1.3 گروههایی را که هیچ چیزی یاد نمیدهند میشمارد، و بخش 3.1 اندازههای گروه را مقایسه میکند.