GSM8K با پاداش دودویی (Binary reward)، سبکترین دستورالعملی است که یادگیری GRPO را نشان میدهد؛ در این بین، اندازهی گروه تعیین میکند که مدل در هر گام چقدر یاد میگیرد.
وقتی این بخش را تمام کنید، میتوانید یک مدل کوچک را روی GSM8K آموزش دهید و تعداد پاسخهای نمونهبرداریشده بهازای هر پرامپت را انتخاب کنید.
نتیجهی ما: در 24 گام، تولید 4، 8 و 16 پاسخ بهازای هر پرامپت به رشد پاداش در یک محدودهی مشترک منجر شد. پاسخهای بیشتر، زمان هر مسیر پیشروی شبیهسازیشده (Rollout) را طولانیتر کرد.
اجرای دستورالعمل
لانچر ارائهشده در بخش 1.1 همین دستورالعمل است. این فلگها ساختار هر گام را شکل میدهند:
--rollout-batch-size 32 --n-samples-per-prompt 8 --global-batch-size 256 --rm-type math
گروه: پاسخهایی که موتور برای یک پرامپت تولید میکند. GRPO هر پاسخ را با سایر پاسخهای همان گروه مقایسه میکند؛ بنابراین، گروهی که همهی پاسخهایش پاداش یکسانی بگیرند، چیزی به مدل نمیآموزد.
مقدار --global-batch-size را همیشه برابر با حاصلضرب پرامپتها در پاسخها نگه دارید؛ اینجا 32 ضرب در 8. با این کار، هر مسیر پیشروی شبیهسازیشده دقیقاً یک گام بهینهساز میدهد.
انتخاب اندازهی گروه
ما فقط --n-samples-per-prompt را تغییر دادیم و --global-batch-size را متناسب با آن تنظیم کردیم. برای 4 پاسخ، خط اجرای بخش 1.1 به این صورت درمیآید:
-e MILES_NUM_ROLLOUT=24 -e MILES_EXTRA_ARGS="--n-samples-per-prompt 4 --global-batch-size 128"
جدول زیر 24 گام اول هر اجرا را مقایسه میکند. میزان رشد پاداش، حاصل تفریق میانگین گامهای 0 تا 7 از میانگین گامهای 16 تا 23 است.
| پاسخ بهازای هر پرامپت | اجراها | رشد پاداش | طول پاسخ، 8 گام اول تا 8 گام آخر | زمان مسیر پیشروی شبیهسازیشده در هر گام |
|---|---|---|---|---|
| 4 | 1 سید (Seed) | +0.053 | 735 تا 673 توکن | 32.5 ثانیه در 14 گام تمیز |
| 8 | 3 سید | بین +0.038 تا +0.098 | 712 تا 734، سپس 580 تا 637 | 59.1 ثانیه در همان 14 گام، اجرای 48 گامی با سید پیشفرض |
| 16 | 1 سید | +0.097 | 728 تا 591 توکن | 188.2 ثانیه، بدون هیچ گام تمیزی |
یافتههای ما نشان داد که اندازهی گروه در طول 24 گام، تأثیر مشخصی روی پاداش نگذاشت. اجرای 16 پاسخی رشد 0.097+ داشت و یکی از سه سید اجرای 8 پاسخی هم به 0.098+ رسید. دامنهی پراکندگی سیدها در حالت 8 پاسخی (0.038 تا 0.098) نتایج تمام اجراها را در بر میگیرد.
هزینهی کار کاملاً روشن است. پاسخهای بیشتر یعنی توکنهای بیشتری باید در هر گام نوشته شوند. مسیر پیشروی شبیهسازیشده برای 4 پاسخ، طی 14 گام تمیز خود 32.5 ثانیه طول کشید. اجرای 48 گامی ما با 8 پاسخ و سید پیشفرض، در روز دیگری انجام شد؛ یعنی قبل از اینکه محافظ حرارتی (Heat guard) را اضافه کنیم، بنابراین هیچ توقفی پیش نیامد. این اجرا در همان 14 شمارهگام مشابه، 59.1 ثانیه زمان برد.
تکتک گامهای اجرای 16 پاسخی با وقفههای حرارتی همپوشانی داشت؛ بنابراین هیچ زمان تمیزی برای آن ثبت نشد. میانهی 188.2 ثانیهای آن وقفهها را هم در بر میگیرد.
در اجرای 16 پاسخی همچنین 22,357 خط خطای 503 Service Unavailable در موجهای پیاپی تا سقف 60 ثانیه ثبت شد. کلاینت هر درخواست را مجدداً تلاش کرد و اجرا ادامه یافت. با 512 درخواست باز، احتمالاً مسیریاب برای مدتی کوتاه هیچ موتور آزادی پیدا نکرده است. ما این علت را بهطور قطعی تأیید نکردیم. در بخش 1.2، بازپخش این موجهای خطا را از طریق سگ نگهبان (Watchdog) بررسی میکنیم.
این نتیجه را با در نظر گرفتن محدودیتهایش بخوانید. اجراهای 4 و 16 پاسخی هرکدام فقط یک سید دارند. اجرای 16 پاسخی تمام 24 گام را تمام کرد؛ سپس همانطور که یادداشتهای آزمایشگاه توضیح میدهند، محدودیت زمانی صف اجرا کانتینر را حین خاموش شدن متوقف کرد.
آنچه اجرا نکردیم
ما جستوجوی دامنهی اندازهی دستهی (Batch size sweep) مسیر پیشروی شبیهسازیشده را با 16 و 64 پرامپت بهازای هر گام اجرا نکردیم. این کار را متوقف کردیم تا آزمایش در محدودهی زمانی مجاز بماند.
منابع: capture/gpu/miles_grpo.py؛ capture/gpu/out-gb10/503-bursts.txt؛ capture/gpu/summary/miles-gb10-lab.json (بخشهای مربوط به runs.e2-n4، runs.e2-n16، runs.plain-48، runs.plain-48-s2 و runs.plain-48-s3).