روی یک GPU، بهروزرسانی وزنها هزینهی ثابت و ناچیزی دارد؛ بنابراین نباید اولین گزینهای باشد که سراغ بهینهسازی آن میروید.
پس از پایان هر مرحلهی آموزش، بخش آموزشدهنده (trainer) وزنهای جدیدش را به موتور مسیر پیشروی شبیهسازیشده (rollout engine) کپی میکند. روی یک GPU، این کپی درون خودِ GPU باقی میماند و برای مدلهایی که اجرا کردیم، کمتر از یک ثانیه طول میکشد.
با پایان این بخش، میتوانید زمان بهروزرسانی وزنها را بسنجید و دربارهی اهمیت آن برای اجرای کار خود تصمیم بگیرید.
نتیجهی ما: بهروزرسانی وزنها برای Qwen3-0.6B حدود 0.64 ثانیه و برای Qwen3-1.7B حدود 0.91 ثانیه طول کشید؛ یعنی کمتر از یک درصد از زمان هر گام.
خواندن زمان بهروزرسانی از لاگها
در هر گام، پارامتر perf/update_weights_time برحسب ثانیه ثبت میشود. این عدد را در کنار perf/step_time بررسی کنید. ما 4 گام کوتاه را برای دو اندازهی مختلف مدل اجرا کردیم که پاسخها در آنها روی 256 توکن قطع شده بود:
| مدل | بهروزرسانی وزنها، 4 گام | تخلیهی حافظهی آموزشدهنده (Offload)، گامهای 2 و 3 | بارگذاری مجدد آموزشدهنده (Onload)، گامهای 2 و 3 |
|---|---|---|---|
| Qwen3-0.6B | 0.63 تا 0.66 ثانیه | 1.08 تا 1.20 ثانیه | 0.77 تا 0.86 ثانیه |
| Qwen3-1.7B | 0.89 تا 0.95 ثانیه | 2.63 تا 3.20 ثانیه | 1.42 تا 1.45 ثانیه |
گامهای 0 و 1 گامهای گرمکردن (warm-up) هستند. در این اجراهای 4 گامی، تخلیهی حافظهی آموزشدهنده برای آنها تا 4.1 ثانیه در مدل 0.6B و تا 11.8 ثانیه در مدل 1.7B طول کشید؛ به همین دلیل در جدول بالا آورده نشدهاند.
تخلیهی حافظهی آموزشدهنده (Trainer offload): زمانی که آموزشدهنده صرف میکند تا وزنها و وضعیت بهینهساز (optimizer state) خود را پس از آموزش به حافظهی اصلی سیستم (host memory) بفرستد؛ این مقدار با عنوان perf/sleep_time ثبت میشود. بارگذاری مجدد آموزشدهنده (Trainer onload): زمانی که طول میکشد تا این دادهها پیش از محاسبهی لگاریتم احتمالاتِ بعدی دوباره برگردانده شوند؛ این متغیر نیز با عنوان perf/wake_up_time ثبت میشود.
مدل بزرگتر حدود 2.8 برابر حجیمتر است و بهروزرسانی آن تقریباً 1.4 برابر بیشتر طول کشید. افزایش زمان تخلیه و بارگذاری آموزشدهنده شتاب بیشتری نسبت به زمان بهروزرسانی داشت. دلیل احتمالی این است که در بهروزرسانی، فقط خودِ وزنها فرستاده میشوند، درحالیکه در فرآیند تخلیه، گرادیانها و وضعیت بهینهساز هم جابهجا میشوند.
از آنجا که سقف پاسخها کوتاه بود، تقریباً همهی پاسخها نیمهکاره قطع شدند و پاداش در این اجراها نزدیک به 0 باقی ماند. هدف این اجراها صرفاً سنجش فرآیند کپی بود، نه خودِ آموزش.
مقایسه با زمان کل گام
در اجرای 48 گامی ما با مدل Qwen3-0.6B، میانهی زمان یک گام کامل 152.6 ثانیه بود و بهروزرسانی وزنها تنها 0.64 ثانیه طول کشید؛ یعنی کمتر از نیم درصد از زمان گام. در مدل 1.7B هم سهم مشابهی به دست آمد.
بنابراین ابتدا موتور مسیر پیشروی شبیهسازیشده و مرحلهی آموزش را بهینهسازی کنید. فقط زمانی سراغ بهروزرسانی بروید که سهم آن از زمان کل گام به بیش از چند درصد برسد.
تغییر حجم باکت فقط با دلیلی موجه
آموزشدهنده وزنها را در بستههایی به نام باکت (bucket) ارسال میکند. با آرگومان --update-weight-buffer-size میتوانید حجم هر باکت را به بایت تعیین کنید. اجراهای ما از مقدار 536870912 استفاده کردند که معادل 512 MiB است.
باکت بزرگتر یعنی تعداد دفعات انتقال کمتر و البته اوج مصرف حافظه (memory peak) بالاتر حین بهروزرسانی. روی یک GPU که بهروزرسانی کمتر از یک ثانیه طول میکشد، ما همان مقدار 512 MiB را تغییر ندادیم.
منابع: capture/gpu/summary/miles-gb10-lab.json (runs.e4-0.6b, runs.e4-1.7b, runs.plain-48)؛ capture/gpu/miles_grpo.py.