آموزش ناهمگام (Async training) امکان اجرای مسیر پیشروی شبیهسازیشده را حین آموزش فراهم میکند، اما روی یک GPU این دو مرحله همچنان منتظر یکدیگر میمانند.
در یک گام عادیِ Miles، ابتدا مسیر پیشروی شبیهسازیشده (rollout) اجرا میشود، سپس فرایند آموزش پیش میرود و بعد دوباره نوبت به مسیر پیشروی شبیهسازیشده میرسد. وقتی چندین GPU دارید، پردازندههای گرافیکیِ بخش rollout معطل میمانند تا بخش آموزش کارش تمام شود؛ بخش آموزش هم منتظر پردازندههای rollout میماند. آموزش ناهمگام بخشی از این زمان انتظار را حذف میکند، اما هزینهاش استفاده از نمونههایی با وزنهای قدیمیتر است.
پس از پایان این بخش، میتوانید تشخیص دهید که آیا آموزش ناهمگام به کار چیدمان شما میآید یا نه، و کدام تنظیمات هزینهی ناشی از آن را کنترل میکنند.
ما آموزش ناهمگام را روی پردازندهی GB10 خود اجرا نکردهایم. این مطلب بر اساس سورسکد و مستندات Miles تهیه شده است.
دو حالت ناهمگام
هر دو حالت بهجای train.py با train_async.py شروع میشوند:
| حالت | نحوهی اجرا | چه مراحلی همپوشانی دارند؟ |
|---|---|---|
| یک گام جلوتر | train_async.py |
مسیر پیشروی شبیهسازیشدهی گام بعدی، حین آموزش گام فعلی اجرا میشود |
| کاملاً ناهمگام | train_async.py --fully-async |
یک ورکر فرایند تولید را ادامه میدهد و ترینر گروهها را از بافر برمیدارد |
در حالت اول با بازهی بهروزرسانی پیشفرض، هر نمونه حداکثر بهاندازهی یک نسخهی قبلی وزنها کهنگی دارد. در حالت کاملاً ناهمگام، سن نمونه به این بستگی دارد که ترینر با چه سرعتی بافر را خالی میکند.
نتیجهی اجرای ناهمگام روی یک GPU
با پرچم --colocate، ترینر و موتور تولید از یک GPU مشترک استفاده میکنند. Miles هممکانی (colocation) را فقط با --fully-async مجاز میداند؛ بنابراین حالت «یک گام جلوتر» نیازمند GPUهای مجزاست. حالت کاملاً ناهمگام میتواند با پرچم --colocate روی یک GPU اجرا شود، اما فقط با ترینر Megatron کار میکند، نه ترینر FSDP که در این راهنما به آن پرداختهایم. علاوهبر این، تولید خروجی در تمام طول بازهی آموزش متوقف میشود؛ درنتیجه این دو فاز باز هم بهنوبت اجرا میشوند.
بنابراین روی یک GPU، آموزش ناهمگام هیچ زمانی ذخیره نمیکند. فقط هزینهی نمونههای قدیمیتر را تحمیل میکند و هیچ همپوشانی (Overlap) واقعی به همراه ندارد. از این حالت روی یک پردازندهی تک فقط برای یادگیری تنظیمات آن، پیش از رفتن سراغ اجراهای بزرگتر، استفاده کنید.
کنترل کهنگی نمونهها
در چیدمانی با GPUهای مجزا برای rollout، این تنظیمات مشخص میکنند که یک نمونه تا چه حد میتواند کهنه شود:
--update-weights-intervalتعیین میکند که بین هر بار بهروزرسانی وزنها روی موتور، چند گام اجرا شود.--max-weight-stalenessنمونههایی را که کهنگیشان از این تعداد نسخهی قبلی وزنها بیشتر باشد دور میریزد. اگر تعیین نشود یعنی محدودیتی در کار نیست.--async-unused-samples-handlerتکلیف نمونههای کنارگذاشتهشده را مشخص میکند:drop(حذف) یاretry(تلاش مجدد).--async-max-concurrent-samplesسقف تعداد نمونههایی است که موتورها میتوانند در یک زمان تولید کنند.--pause-generation-modeرفتار سیستم را در قبال درخواستهای در حال اجرا حین بهروزرسانی وزنها تعیین میکند:abort،retractیاin_place. حالت پیشفرضretractاست. حالت کاملاً ناهمگام گزینهیabortرا نمیپذیرد، و اگر--colocateفعال باشد، گزینهیin_placeرا نیز رد میکند.
پرچم --over-sampling-batch-size در حالت --fully-async هیچ اثری ندارد.
کاهش نرخ یادگیری همزمان با کهنهتر شدن نمونهها
سن نمونه و نرخ یادگیری (Learning rate) دستبهدست هم پیش میروند. در پژوهشی در سال 2026 پیرامون GRPO ناهمگام روی مدلهای Llama با اندازههای 1B و 3B، هر دوی این پارامترها تغییر داده شدند. منابع این مقاله را تحت عنوان مطالعهی فروپاشی در GRPO ناهمگام فهرست کردهاند. بالاترین نرخ یادگیری پایدار، متناسب با تعداد گامهای بین بهروزرسانی وزنها افت کرد. دو برابر شدن گامها، نرخ یادگیری مجاز را تقریباً نصف کرد.
ما این موضوع را عملاً آزمایش نکردهایم. آن را بهعنوان یک قاعدهی کلی در نظر بگیرید: وقتی مقدار --update-weights-interval یا سقف کهنگی را افزایش میدهید، نرخ یادگیری را با همان ضریب کاهش دهید. سپس شکاف و پاداش را زیر نظر بگیرید.
مواردی که باید بررسی کنید
- نسخهی وزنِ هر نمونه. معیارهای rollout گزارش میدهند که نمونهها چقدر کهنهاند.
- سهم نمونههای حذفشده یا تکرارشده. سهم بالا یعنی موتور بیهوده کار میکند.
- شکاف بین ترینر و موتور، همانطور که در بخش 5.2 آمد. نمونههای کهنهتر شکافی ایجاد میکنند که علت آن کرنلها (Kernel) نیستند.
ما روی تکپردازندهی GB10 خود نمیتوانیم میزان همپوشانی حاصل از آموزش ناهمگام را بسنجیم، چون GPU دومی برای ایجاد همپوشانی وجود ندارد.
منابع: مستندات حالت کاملاً ناهمگام Miles، فایل train_async.py و آرگومانهای ناهمگام rollout در main 08752a12؛ مقالهی قوانین مقیاسپذیری برای فروپاشی در GRPO ناهمگام (Scaling Laws for Collapse in Asynchronous GRPO)، شمارهی arXiv 2607.01083.