بخش 3.1 · دستورالعمل‌ها

آموزش استدلال ریاضی روی GSM8K

Train math reasoning on GSM8K

فهرست مطالب
  1. اجرای دستورالعمل
  2. انتخاب اندازه‌ی گروه
  3. آنچه اجرا نکردیم

GSM8K با پاداش دودویی (Binary reward)، سبک‌ترین دستورالعملی است که یادگیری GRPO را نشان می‌دهد؛ در این بین، اندازه‌ی گروه تعیین می‌کند که مدل در هر گام چقدر یاد می‌گیرد.

وقتی این بخش را تمام کنید، می‌توانید یک مدل کوچک را روی GSM8K آموزش دهید و تعداد پاسخ‌های نمونه‌برداری‌شده به‌ازای هر پرامپت را انتخاب کنید.

نتیجه‌ی ما: در 24 گام، تولید 4، 8 و 16 پاسخ به‌ازای هر پرامپت به رشد پاداش در یک محدوده‌ی مشترک منجر شد. پاسخ‌های بیشتر، زمان هر مسیر پیش‌روی شبیه‌سازی‌شده (Rollout) را طولانی‌تر کرد.

اجرای دستورالعمل

لانچر ارائه‌شده در بخش 1.1 همین دستورالعمل است. این فلگ‌ها ساختار هر گام را شکل می‌دهند:

--rollout-batch-size 32 --n-samples-per-prompt 8 --global-batch-size 256 --rm-type math

گروه: پاسخ‌هایی که موتور برای یک پرامپت تولید می‌کند. GRPO هر پاسخ را با سایر پاسخ‌های همان گروه مقایسه می‌کند؛ بنابراین، گروهی که همه‌ی پاسخ‌هایش پاداش یکسانی بگیرند، چیزی به مدل نمی‌آموزد.

مقدار --global-batch-size را همیشه برابر با حاصل‌ضرب پرامپت‌ها در پاسخ‌ها نگه دارید؛ اینجا 32 ضرب در 8. با این کار، هر مسیر پیش‌روی شبیه‌سازی‌شده دقیقاً یک گام بهینه‌ساز می‌دهد.

انتخاب اندازه‌ی گروه

ما فقط --n-samples-per-prompt را تغییر دادیم و --global-batch-size را متناسب با آن تنظیم کردیم. برای 4 پاسخ، خط اجرای بخش 1.1 به این صورت درمی‌آید:

-e MILES_NUM_ROLLOUT=24 -e MILES_EXTRA_ARGS="--n-samples-per-prompt 4 --global-batch-size 128"

جدول زیر 24 گام اول هر اجرا را مقایسه می‌کند. میزان رشد پاداش، حاصل تفریق میانگین گام‌های 0 تا 7 از میانگین گام‌های 16 تا 23 است.

پاسخ به‌ازای هر پرامپت اجراها رشد پاداش طول پاسخ، 8 گام اول تا 8 گام آخر زمان مسیر پیش‌روی شبیه‌سازی‌شده در هر گام
4 1 سید (Seed) +0.053 735 تا 673 توکن 32.5 ثانیه در 14 گام تمیز
8 3 سید بین +0.038 تا +0.098 712 تا 734، سپس 580 تا 637 59.1 ثانیه در همان 14 گام، اجرای 48 گامی با سید پیش‌فرض
16 1 سید +0.097 728 تا 591 توکن 188.2 ثانیه، بدون هیچ گام تمیزی
پاسخ‌های بیشتر به ازای هر پرامپت، یادگیری یکسان در 24 گامبهبود پاداش با 4 و 16 پاسخ به ازای هر پرامپت، در محدودهٔ سه سید با 8 پاسخ قرار گرفت.
پاسخ‌های بیشتر به ازای هر پرامپت، یادگیری یکسان در 24 گام بهبود پاداش در 24 گام نخست (میانگین گام‌های 16 تا 23 منهای میانگین گام‌های 0 تا 7) برای 4، 8 و 16 پاسخ به ازای هر پرامپت. 4 پاسخ: +0٫053. 8 پاسخ، سه سید: +0٫050، +0٫038، +0٫098. 16 پاسخ: +0٫097. 0.00 0.12 بهبود پاداش در 24 گام +0.053 4، یک سید +0.050 8، سید 1234 +0.038 8، سید 2 +0.098 8، سید 3 +0.097 16، یک سید پاسخ به ازای هر پرامپت 16 پاسخ در بازهٔ تغییرات سه سید با 8 پاسخ باقی ماند.
بهبود پاداش در طول 24 گام نخست برای هر اجرا. سه میلهٔ سبز همان دستورالعمل با سه سید مختلف هستند.

یافته‌های ما نشان داد که اندازه‌ی گروه در طول 24 گام، تأثیر مشخصی روی پاداش نگذاشت. اجرای 16 پاسخی رشد 0.097+ داشت و یکی از سه سید اجرای 8 پاسخی هم به 0.098+ رسید. دامنه‌ی پراکندگی سیدها در حالت 8 پاسخی (0.038 تا 0.098) نتایج تمام اجراها را در بر می‌گیرد.

هزینه‌ی کار کاملاً روشن است. پاسخ‌های بیشتر یعنی توکن‌های بیشتری باید در هر گام نوشته شوند. مسیر پیش‌روی شبیه‌سازی‌شده برای 4 پاسخ، طی 14 گام تمیز خود 32.5 ثانیه طول کشید. اجرای 48 گامی ما با 8 پاسخ و سید پیش‌فرض، در روز دیگری انجام شد؛ یعنی قبل از اینکه محافظ حرارتی (Heat guard) را اضافه کنیم، بنابراین هیچ توقفی پیش نیامد. این اجرا در همان 14 شماره‌گام مشابه، 59.1 ثانیه زمان برد.

تک‌تک گام‌های اجرای 16 پاسخی با وقفه‌های حرارتی همپوشانی داشت؛ بنابراین هیچ زمان تمیزی برای آن ثبت نشد. میانه‌ی 188.2 ثانیه‌ای آن وقفه‌ها را هم در بر می‌گیرد.

در اجرای 16 پاسخی همچنین 22,357 خط خطای 503 Service Unavailable در موج‌های پیاپی تا سقف 60 ثانیه ثبت شد. کلاینت هر درخواست را مجدداً تلاش کرد و اجرا ادامه یافت. با 512 درخواست باز، احتمالاً مسیریاب برای مدتی کوتاه هیچ موتور آزادی پیدا نکرده است. ما این علت را به‌طور قطعی تأیید نکردیم. در بخش 1.2، بازپخش این موج‌های خطا را از طریق سگ نگهبان (Watchdog) بررسی می‌کنیم.

این نتیجه را با در نظر گرفتن محدودیت‌هایش بخوانید. اجراهای 4 و 16 پاسخی هرکدام فقط یک سید دارند. اجرای 16 پاسخی تمام 24 گام را تمام کرد؛ سپس همان‌طور که یادداشت‌های آزمایشگاه توضیح می‌دهند، محدودیت زمانی صف اجرا کانتینر را حین خاموش شدن متوقف کرد.

آنچه اجرا نکردیم

ما جست‌وجوی دامنه‌ی اندازه‌ی دسته‌ی (Batch size sweep) مسیر پیش‌روی شبیه‌سازی‌شده را با 16 و 64 پرامپت به‌ازای هر گام اجرا نکردیم. این کار را متوقف کردیم تا آزمایش در محدوده‌ی زمانی مجاز بماند.

منابع: capture/gpu/miles_grpo.py؛ capture/gpu/out-gb10/503-bursts.txt؛ capture/gpu/summary/miles-gb10-lab.json (بخش‌های مربوط به runs.e2-n4، runs.e2-n16، runs.plain-48، runs.plain-48-s2 و runs.plain-48-s3).

ترجمه‌ی فارسی Train math reasoning on GSM8K از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما