با یک بار اجرا نمیتوان اثر واقعی را از نویز تشخیص داد؛ بنابراین قبل از اعتماد به هر تغییر، باید آن را با یک سید (seed) دوم هم بررسی کنید.
ما همین ستاپ GRPO را سه بار اجرا کردیم. اجرای اول با سید پیشفرض انجام شد که موتور آن را 1234 ثبت کرد، و اجراهای بعدی با سیدهای 2 و 3 پیش رفتند. هیچ چیز دیگری تغییر نکرد، اما هر سه اجرا در نهایت به نتایج متفاوتی رسیدند.
با پایان این بخش، میتوانید اثر واقعی را از نویز ناشی از سید تشخیص دهید و زمان اجرای یک GPU داغ را بهدرستی اندازه بگیرید.
نتیجهی ما: در اجرای 12-استپی با سید 1، میانهی زمان مسیر پیشروی شبیهسازیشده (rollout) در کل استپها 83.9 ثانیه بود؛ اما در 6 استپ تمیز آن، این عدد به 59.1 ثانیه رسید.
نویز ستاپ خود را بشناسید
در هر اجرا، مدل Qwen3-0.6B به مدت 48 استپ روی GSM8K آموزش دید؛ با 32 پرامپت و 8 پاسخ بهازای هر پرامپت. میانگین 8 استپ اول را با میانگین 8 استپ آخر مقایسه میکنیم:
| Seed | پاداش در 8 استپ اول | پاداش در 8 استپ آخر | طول در 8 استپ اول | طول در 8 استپ آخر | سهم قطعشده در 8 استپ اول | سهم قطعشده در 8 استپ آخر |
|---|---|---|---|---|---|---|
| پیشفرض (1234) | 0.636 | 0.758 | 724 | 447 | 0.33 | 0.08 |
| 2 | 0.653 | 0.736 | 712 | 480 | 0.30 | 0.12 |
| 3 | 0.614 | 0.766 | 734 | 456 | 0.34 | 0.09 |
طول: میانگین طول پاسخ بر حسب توکن. سهم قطعشده: سهم پاسخهایی که به سقف 1,024 توکن رسیدهاند.
مدل در هر سه سید یاد گرفت: پاداش بالا رفت و پاسخها کوتاهتر شدند. با این حال، پاداش نهایی بازهای بین 0.736 تا 0.766 داشت؛ بنابراین اختلافی زیر 0.03 در این عدد، درون بازهی نویز این ستاپ قرار میگیرد.
فاصلهی بین ترینر (trainer) و موتور در تمام استپهای هر سه اجرا، همواره بین 0.0136 و 0.0164 ماند.
مقایسهی تغییرات با دامنهی پراکندگی
پیش از گزارش اینکه تغییری مفید بوده است:
- تغییر را حداقل با دو سید اجرا کنید.
- آن را با دامنهی پراکندگی سیدهای خط مبنا (baseline) بسنجید، نه فقط با یک اجرای خط مبنا.
- فقط زمانی تغییر را گزارش کنید که خارج از آن دامنهی پراکندگی قرار بگیرد.
در این ستاپ، تغییر 0.01 در پاداش روی یک سید، هیچ نکتهای را نشان نمیدهد. اما تغییر 0.05 روی دو سید، ارزش یک اجرای سوم را دارد.
زمانگیری فقط روی استپهای تمیز
پردازندهی GB10 ما زیر اجراهای طولانی داغ میکرد. محافظ حرارتی بخش 1.2 کانتینر را در دمای 84 درجه متوقف میکند و پس از خنک شدن GPU یا گذشت دو دقیقه، اجرای آن را از سر میگیرد. این توقف به زمان فاز همان استپی که مکث در آن رخ داده اضافه میشود. انتظار داریم توقف تأثیری روی نمونهها و مقادیر تابع زیان (loss) نگذارد، هرچند هنوز این فرض را آزمایش نکردهایم.
بنابراین فقط زمان استپهایی را گزارش میکنیم که مسیر پیشروی شبیهسازیشدهی آنها هیچ همپوشانی (overlap) با توقفها نداشته است. اسکریپت خلاصهساز ما این استپها را با استفاده از لاگ توقفها و برچسبهای زمانیِ استپ پیدا میکند. قاعدهی آن در یادداشتهای آزمایشگاه آمده است.
صرفِ تمیز بودن استپها هم کافی نیست. همین تنظیمات در اولین اجرای 48-استپی ما میانهی زمان rollout معادل 47.5 ثانیه داشت. آن اجرا پیش از افزودن محافظ حرارتی انجام شده بود؛ بنابراین هیچ توقفی روی آن تأثیر نگذاشت. در اجرای 12-استپی با سید 1 که چهار روز بعد انجام شد، این مقدار در 6 استپ تمیز به 59.1 ثانیه رسید. روی همان 6 شماره استپ مشابه، اجرای 48-استپی 60.9 ثانیه طول کشید.
زمان rollout تابع طول پاسخ است و میانهی اجرای 48-استپی شامل استپهای پایانی با پاسخهای کوتاهتر هم میشود. پس زمانها را روی شماره استپهای کاملاً یکسان مقایسه کنید و سنجش را با یک سید دوم تکرار کنید.
منابع: capture/gpu/summary/miles-gb10-lab.json (بخشهای runs.plain-48، runs.plain-48-s2، runs.plain-48-s3، runs.e6a-base و median_unpaused)؛ capture/gpu/summarize_miles.py؛ capture/gpu/out-gb10/thermostat.log؛ capture/gpu/out-gb10/unpaused-timing.txt.