بخش 4.1 · سرعت و پایداری

اجرای هم‌زمان مسیر پیش‌روی شبیه‌سازی‌شده و آموزش

Run rollout and training at the same time

فهرست مطالب
  1. دو حالت ناهمگام
  2. نتیجه‌ی اجرای ناهمگام روی یک GPU
  3. کنترل کهنگی نمونه‌ها
  4. کاهش نرخ یادگیری هم‌زمان با کهنه‌تر شدن نمونه‌ها
  5. مواردی که باید بررسی کنید

آموزش ناهمگام (Async training) امکان اجرای مسیر پیش‌روی شبیه‌سازی‌شده را حین آموزش فراهم می‌کند، اما روی یک GPU این دو مرحله همچنان منتظر یکدیگر می‌مانند.

در یک گام عادیِ Miles، ابتدا مسیر پیش‌روی شبیه‌سازی‌شده (rollout) اجرا می‌شود، سپس فرایند آموزش پیش می‌رود و بعد دوباره نوبت به مسیر پیش‌روی شبیه‌سازی‌شده می‌رسد. وقتی چندین GPU دارید، پردازنده‌های گرافیکیِ بخش rollout معطل می‌مانند تا بخش آموزش کارش تمام شود؛ بخش آموزش هم منتظر پردازنده‌های rollout می‌ماند. آموزش ناهمگام بخشی از این زمان انتظار را حذف می‌کند، اما هزینه‌اش استفاده از نمونه‌هایی با وزن‌های قدیمی‌تر است.

پس از پایان این بخش، می‌توانید تشخیص دهید که آیا آموزش ناهمگام به کار چیدمان شما می‌آید یا نه، و کدام تنظیمات هزینه‌ی ناشی از آن را کنترل می‌کنند.

ما آموزش ناهمگام را روی پردازنده‌ی GB10 خود اجرا نکرده‌ایم. این مطلب بر اساس سورس‌کد و مستندات Miles تهیه شده است.

دو حالت ناهمگام

هر دو حالت به‌جای train.py با train_async.py شروع می‌شوند:

حالت نحوه‌ی اجرا چه مراحلی همپوشانی دارند؟
یک گام جلوتر train_async.py مسیر پیش‌روی شبیه‌سازی‌شده‌ی گام بعدی، حین آموزش گام فعلی اجرا می‌شود
کاملاً ناهمگام train_async.py --fully-async یک ورکر فرایند تولید را ادامه می‌دهد و ترینر گروه‌ها را از بافر برمی‌دارد

در حالت اول با بازه‌ی به‌روزرسانی پیش‌فرض، هر نمونه حداکثر به‌اندازه‌ی یک نسخه‌ی قبلی وزن‌ها کهنگی دارد. در حالت کاملاً ناهمگام، سن نمونه به این بستگی دارد که ترینر با چه سرعتی بافر را خالی می‌کند.

نتیجه‌ی اجرای ناهمگام روی یک GPU

با پرچم --colocate، ترینر و موتور تولید از یک GPU مشترک استفاده می‌کنند. Miles هم‌مکانی (colocation) را فقط با --fully-async مجاز می‌داند؛ بنابراین حالت «یک گام جلوتر» نیازمند GPUهای مجزاست. حالت کاملاً ناهمگام می‌تواند با پرچم --colocate روی یک GPU اجرا شود، اما فقط با ترینر Megatron کار می‌کند، نه ترینر FSDP که در این راهنما به آن پرداخته‌ایم. علاوه‌بر این، تولید خروجی در تمام طول بازه‌ی آموزش متوقف می‌شود؛ درنتیجه این دو فاز باز هم به‌نوبت اجرا می‌شوند.

بنابراین روی یک GPU، آموزش ناهمگام هیچ زمانی ذخیره نمی‌کند. فقط هزینه‌ی نمونه‌های قدیمی‌تر را تحمیل می‌کند و هیچ همپوشانی (Overlap) واقعی به همراه ندارد. از این حالت روی یک پردازنده‌ی تک فقط برای یادگیری تنظیمات آن، پیش از رفتن سراغ اجراهای بزرگ‌تر، استفاده کنید.

کنترل کهنگی نمونه‌ها

در چیدمانی با GPUهای مجزا برای rollout، این تنظیمات مشخص می‌کنند که یک نمونه تا چه حد می‌تواند کهنه شود:

  • --update-weights-interval تعیین می‌کند که بین هر بار به‌روزرسانی وزن‌ها روی موتور، چند گام اجرا شود.
  • --max-weight-staleness نمونه‌هایی را که کهنگی‌شان از این تعداد نسخه‌ی قبلی وزن‌ها بیشتر باشد دور می‌ریزد. اگر تعیین نشود یعنی محدودیتی در کار نیست.
  • --async-unused-samples-handler تکلیف نمونه‌های کنارگذاشته‌شده را مشخص می‌کند: drop (حذف) یا retry (تلاش مجدد).
  • --async-max-concurrent-samples سقف تعداد نمونه‌هایی است که موتورها می‌توانند در یک زمان تولید کنند.
  • --pause-generation-mode رفتار سیستم را در قبال درخواست‌های در حال اجرا حین به‌روزرسانی وزن‌ها تعیین می‌کند: abort، retract یا in_place. حالت پیش‌فرض retract است. حالت کاملاً ناهمگام گزینه‌ی abort را نمی‌پذیرد، و اگر --colocate فعال باشد، گزینه‌ی in_place را نیز رد می‌کند.

پرچم --over-sampling-batch-size در حالت --fully-async هیچ اثری ندارد.

کاهش نرخ یادگیری هم‌زمان با کهنه‌تر شدن نمونه‌ها

سن نمونه و نرخ یادگیری (Learning rate) دست‌به‌دست هم پیش می‌روند. در پژوهشی در سال 2026 پیرامون GRPO ناهمگام روی مدل‌های Llama با اندازه‌های 1B و 3B، هر دوی این پارامترها تغییر داده شدند. منابع این مقاله را تحت عنوان مطالعه‌ی فروپاشی در GRPO ناهمگام فهرست کرده‌اند. بالاترین نرخ یادگیری پایدار، متناسب با تعداد گام‌های بین به‌روزرسانی وزن‌ها افت کرد. دو برابر شدن گام‌ها، نرخ یادگیری مجاز را تقریباً نصف کرد.

ما این موضوع را عملاً آزمایش نکرده‌ایم. آن را به‌عنوان یک قاعده‌ی کلی در نظر بگیرید: وقتی مقدار --update-weights-interval یا سقف کهنگی را افزایش می‌دهید، نرخ یادگیری را با همان ضریب کاهش دهید. سپس شکاف و پاداش را زیر نظر بگیرید.

مواردی که باید بررسی کنید

  • نسخه‌ی وزنِ هر نمونه. معیارهای rollout گزارش می‌دهند که نمونه‌ها چقدر کهنه‌اند.
  • سهم نمونه‌های حذف‌شده یا تکرارشده. سهم بالا یعنی موتور بیهوده کار می‌کند.
  • شکاف بین ترینر و موتور، همان‌طور که در بخش 5.2 آمد. نمونه‌های کهنه‌تر شکافی ایجاد می‌کنند که علت آن کرنل‌ها (Kernel) نیستند.

ما روی تک‌پردازنده‌ی GB10 خود نمی‌توانیم میزان همپوشانی حاصل از آموزش ناهمگام را بسنجیم، چون GPU دومی برای ایجاد همپوشانی وجود ندارد.

منابع: مستندات حالت کاملاً ناهمگام Miles، فایل train_async.py و آرگومان‌های ناهمگام rollout در main 08752a12؛ مقاله‌ی قوانین مقیاس‌پذیری برای فروپاشی در GRPO ناهمگام (Scaling Laws for Collapse in Asynchronous GRPO)، شماره‌ی arXiv 2607.01083.

ترجمه‌ی فارسی Run rollout and training at the same time از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما