بخش 5.3 · بررسی اجرا

تکرار اجرا و مقایسه

Repeat a run and compare

فهرست مطالب
  1. نویز ستاپ خود را بشناسید
  2. مقایسه‌ی تغییرات با دامنه‌ی پراکندگی
  3. زمان‌گیری فقط روی استپ‌های تمیز

با یک بار اجرا نمی‌توان اثر واقعی را از نویز تشخیص داد؛ بنابراین قبل از اعتماد به هر تغییر، باید آن را با یک سید (seed) دوم هم بررسی کنید.

ما همین ستاپ GRPO را سه بار اجرا کردیم. اجرای اول با سید پیش‌فرض انجام شد که موتور آن را 1234 ثبت کرد، و اجراهای بعدی با سیدهای 2 و 3 پیش رفتند. هیچ چیز دیگری تغییر نکرد، اما هر سه اجرا در نهایت به نتایج متفاوتی رسیدند.

با پایان این بخش، می‌توانید اثر واقعی را از نویز ناشی از سید تشخیص دهید و زمان اجرای یک GPU داغ را به‌درستی اندازه بگیرید.

نتیجه‌ی ما: در اجرای 12-استپی با سید 1، میانه‌ی زمان مسیر پیش‌روی شبیه‌سازی‌شده (rollout) در کل استپ‌ها 83.9 ثانیه بود؛ اما در 6 استپ تمیز آن، این عدد به 59.1 ثانیه رسید.

نویز ستاپ خود را بشناسید

در هر اجرا، مدل Qwen3-0.6B به مدت 48 استپ روی GSM8K آموزش دید؛ با 32 پرامپت و 8 پاسخ به‌ازای هر پرامپت. میانگین 8 استپ اول را با میانگین 8 استپ آخر مقایسه می‌کنیم:

Seed پاداش در 8 استپ اول پاداش در 8 استپ آخر طول در 8 استپ اول طول در 8 استپ آخر سهم قطع‌شده در 8 استپ اول سهم قطع‌شده در 8 استپ آخر
پیش‌فرض (1234) 0.636 0.758 724 447 0.33 0.08
2 0.653 0.736 712 480 0.30 0.12
3 0.614 0.766 734 456 0.34 0.09

طول: میانگین طول پاسخ بر حسب توکن. سهم قطع‌شده: سهم پاسخ‌هایی که به سقف 1,024 توکن رسیده‌اند.

مدل در هر سه سید یاد گرفت: پاداش بالا رفت و پاسخ‌ها کوتاه‌تر شدند. با این حال، پاداش نهایی بازه‌ای بین 0.736 تا 0.766 داشت؛ بنابراین اختلافی زیر 0.03 در این عدد، درون بازه‌ی نویز این ستاپ قرار می‌گیرد.

فاصله‌ی بین ترینر (trainer) و موتور در تمام استپ‌های هر سه اجرا، همواره بین 0.0136 و 0.0164 ماند.

مقایسه‌ی تغییرات با دامنه‌ی پراکندگی

پیش از گزارش این‌که تغییری مفید بوده است:

  1. تغییر را حداقل با دو سید اجرا کنید.
  2. آن را با دامنه‌ی پراکندگی سیدهای خط مبنا (baseline) بسنجید، نه فقط با یک اجرای خط مبنا.
  3. فقط زمانی تغییر را گزارش کنید که خارج از آن دامنه‌ی پراکندگی قرار بگیرد.

در این ستاپ، تغییر 0.01 در پاداش روی یک سید، هیچ نکته‌ای را نشان نمی‌دهد. اما تغییر 0.05 روی دو سید، ارزش یک اجرای سوم را دارد.

زمان‌گیری فقط روی استپ‌های تمیز

پردازنده‌ی GB10 ما زیر اجراهای طولانی داغ می‌کرد. محافظ حرارتی بخش 1.2 کانتینر را در دمای 84 درجه متوقف می‌کند و پس از خنک شدن GPU یا گذشت دو دقیقه، اجرای آن را از سر می‌گیرد. این توقف به زمان فاز همان استپی که مکث در آن رخ داده اضافه می‌شود. انتظار داریم توقف تأثیری روی نمونه‌ها و مقادیر تابع زیان (loss) نگذارد، هرچند هنوز این فرض را آزمایش نکرده‌ایم.

بنابراین فقط زمان استپ‌هایی را گزارش می‌کنیم که مسیر پیش‌روی شبیه‌سازی‌شده‌ی آن‌ها هیچ همپوشانی (overlap) با توقف‌ها نداشته است. اسکریپت خلاصه‌ساز ما این استپ‌ها را با استفاده از لاگ توقف‌ها و برچسب‌های زمانیِ استپ پیدا می‌کند. قاعده‌ی آن در یادداشت‌های آزمایشگاه آمده است.

صرفِ تمیز بودن استپ‌ها هم کافی نیست. همین تنظیمات در اولین اجرای 48-استپی ما میانه‌ی زمان rollout معادل 47.5 ثانیه داشت. آن اجرا پیش از افزودن محافظ حرارتی انجام شده بود؛ بنابراین هیچ توقفی روی آن تأثیر نگذاشت. در اجرای 12-استپی با سید 1 که چهار روز بعد انجام شد، این مقدار در 6 استپ تمیز به 59.1 ثانیه رسید. روی همان 6 شماره استپ مشابه، اجرای 48-استپی 60.9 ثانیه طول کشید.

زمان rollout تابع طول پاسخ است و میانه‌ی اجرای 48-استپی شامل استپ‌های پایانی با پاسخ‌های کوتاه‌تر هم می‌شود. پس زمان‌ها را روی شماره استپ‌های کاملاً یکسان مقایسه کنید و سنجش را با یک سید دوم تکرار کنید.

توقف حرارتی زمانی اضافه می‌کند که جزو کار اصلی نیستمراحلی که با توقف حرارتی همپوشانی داشتند، حدود 45 ثانیه بیشتر از مراحل بدون توقف طول کشیدند.
توقف حرارتی زمانی اضافه می‌کند که جزو کار اصلی نیست ثانیه‌های مسیر پیش‌روی شبیه‌سازی‌شده در هر گام برای یک اجرای 12-گامه. 6 گام با توقف محافظ حرارتی حدوداً 45 ثانیه‌ای همپوشانی داشتند و حدود 100 ثانیه طول کشیدند. 6 گام بدون توقف میانه‌ای برابر با 59.1 ثانیه داشتند و کل 12 گام میانه‌ای برابر با 83.9 ثانیه داشتند. 0 40 80 120 ثانیه‌های rollout 69 0 57 1 109 2 66 3 56 4 104 5 105 6 62 7 104 8 100 9 56 10 99 11 گام گام بدون توقف همپوشان با توقف میانه کل گام‌ها 83.9 ثانیه. میانه گام‌های بدون توقف 59.1 ثانیه.
ثانیه‌های مسیر پیش‌روی شبیه‌سازی‌شده در هر گام برای یک اجرای 12-گامه.

منابع: capture/gpu/summary/miles-gb10-lab.json (بخش‌های runs.plain-48، runs.plain-48-s2، runs.plain-48-s3، runs.e6a-base و median_unpaused)؛ capture/gpu/summarize_miles.py؛ capture/gpu/out-gb10/thermostat.log؛ capture/gpu/out-gb10/unpaused-timing.txt.

ترجمه‌ی فارسی Repeat a run and compare از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما