بخش 6.1 · گسترش به مقیاس بالا

تفکیک مسیر پیش‌روی شبیه‌سازی‌شده و آموزش بین چند GPU

Split rollout and training across GPUs

فهرست مطالب
  1. انتخاب نوع چینش
  2. انتخاب نحوه‌ی انتقال وزن‌ها
  3. انتخاب بخش آموزش
  4. اجرای کار روی بیش از یک نود
  5. چه معیارهایی را بعد از تفکیک اندازه بگیریم؟

وقتی چند GPU در اختیار دارید، مسیر پیش‌روی شبیه‌سازی‌شده (Rollout) و آموزش می‌توانند روی دستگاه‌های مجزا اجرا شوند و یک روش انتقال، وزن‌ها را بین آن‌ها جابه‌جا کند.

روی یک GPU، بخش آموزش و موتور اجرا نوبتی کار می‌کنند و به‌روزرسانی وزن‌ها صرفاً یک کپی درون همان GPU است. اما روی چند GPU حق انتخاب دارید: یا هر دو بخش را روی همان GPUها نگه دارید و نوبتی اجرا کنید، یا به هر بخش GPUهای اختصاصی خودش را بدهید و وزن‌ها را منتقل کنید.

پس از پایان این بخش، می‌توانید چینش دستگاه‌ها (Placement) و روش انتقال وزن مناسب را برای اجرا روی چند GPU انتخاب کنید.

امکان اندازه‌گیری این موارد روی تک‌کارت GB10 ما وجود نداشت. مطالب این صفحه بر اساس سورس‌کد و مستندات رسمی Miles گردآوری شده است.

انتخاب نوع چینش

نوع چینش فلگ تعداد GPUهای مصرفی آیا هر بخش منتظر دیگری می‌ماند؟
هم‌مکان (Colocated) --colocate مقدار بزرگ‌تر بین GPUهای آموزش و GPUهای شبیه‌سازی بله، در هر گام
تفکیک‌شده (Split) بدون --colocate مجموع GPUهای آموزش به‌علاوه‌ی GPUهای شبیه‌سازی بله، مگر اینکه آموزش ناهمگام (Async) اجرا کنید

تعداد کارت‌ها را با این فلگ‌ها تنظیم کنید:

  • --actor-num-nodes و --actor-num-gpus-per-node تعداد GPUهای بخش آموزش را تعیین می‌کنند.
  • --rollout-num-gpus تعداد GPUهای بخش شبیه‌سازی را در چیدمان تفکیک‌شده مشخص می‌کند.
  • --rollout-num-gpus-per-engine مشخص می‌کند که هر موتور شبیه‌سازی از چند GPU استفاده کند.

کار را با چینش هم‌مکان شروع کنید. فقط زمانی سراغ ساختار تفکیک‌شده بروید که فاز شبیه‌سازی بخش عمده‌ی گام را بگیرد و GPU کافی هم برای اختصاص دادن به آن داشته باشید. در چینش تفکیک‌شده، GPUهای آموزش در طول شبیه‌سازی بیکار می‌مانند؛ مگر اینکه آموزش ناهمگام را هم اجرا کنید، درست مانند آنچه در بخش 4.1 آمد.

انتخاب نحوه‌ی انتقال وزن‌ها

در چیدمان تفکیک‌شده، وزن‌ها پس از هر به‌روزرسانی از GPUهای آموزش خارج می‌شوند. فلگ --update-weight-transfer-mode این روش را تعیین می‌کند:

روش عملکرد پیش‌نیازها
broadcast (پیش‌فرض) ارسال تک‌تک تنسورها روی NCCL بدون پیش‌نیاز اضافه
broadcast_packed بسته‌بندی هر باکت در قالب یک ارسال یکپارچه بخش آموزش Megatron و چیدمان تفکیک‌شده
p2p انتقال وزن‌ها روی بستر RDMA با استفاده از Mooncake پکیج Mooncake و شبکه‌ی RDMA
disk-delta ذخیره‌ی صرفاً بایت‌های تغییریافته روی پوشه‌ی اشتراکی و بارگذاری آن توسط هر موتور --update-weight-disk-dir

وقتی از --colocate استفاده می‌کنید، Miles در عوض وزن‌ها را درون خود GPU کپی می‌کند و حالت انتقال دیگر اعمال نمی‌شود.

انتخاب بخش آموزش

در این راهنما از بخش آموزش FSDP استفاده می‌کنیم، چون پوشه‌ی مدل Hugging Face را همان‌طور که هست بارگذاری می‌کند. Miles دو بخش آموزش دیگر هم دارد که با فلگ --train-backend انتخاب می‌شوند:

بخش آموزش ورودی مدل توازی مدل (Model Parallel) LoRA
megatron (پیش‌فرض) چک‌پوینت torch_dist مگاترون (یک‌بار از پوشه‌ی Hugging Face تبدیل می‌شود) توازی تنسور، پایپ‌لاین، کانتکست و خبره (Expert) بله
fsdp همان پوشه‌ی Hugging Face خیر. وزن‌ها و وضعیت بهینه‌ساز را بین GPUهای داده‌موازی شارد می‌کند، اما هر GPU همچنان لایه‌های کامل را اجرا می‌کند خیر
torchtitan همان پوشه‌ی Hugging Face، برای مدل‌هایی که torchtitan پیاده‌سازی کرده باشد توازی تنسور، پایپ‌لاین، کانتکست و خبره خیر

برخی از قابلیت‌های این راهنما فقط روی Megatron کار می‌کنند: آموزش کاملاً ناهمگام با --colocate، تاب‌آوری خطا در آموزش، آموزش MTP و اعتبارسنجی‌های گام 0 در --ci-test. مستندات Miles استفاده از Megatron را برای مدل‌های بزرگ و جاب‌های روی چند نود پیشنهاد می‌کند.

torch_dist: فرمت چک‌پوینت‌های Megatron است. این فرمت به ساختار موازی‌سازی وابسته نیست؛ بنابراین می‌توانید بعداً بدون نیاز به تبدیل مجدد، چیدمان موازی‌سازی را تغییر دهید.

پیش از اولین اجرای Megatron، مدل را یک‌بار تبدیل کنید. فلگ‌های مربوط به معماری، از فایل مدل مربوطه در Miles برای آن مدل برداشته می‌شوند که اینجا qwen3-4B است:

cd /root/miles
MODEL_ARGS=$(python3 miles/utils/external_utils/model_args_utils.py qwen3-4B)
PYTHONPATH=/root/Megatron-LM python3 tools/convert_hf_to_torch_dist.py $MODEL_ARGS --hf-checkpoint /root/lab/models/Qwen3-4B --save /root/lab/models/Qwen3-4B_torch_dist

این دستورها را داخل کانتینر اجرا کنید، در حالی که پوشه‌ی آزمایشگاه مانند بخش 1.1 مانت شده باشد. لانچر ما صرفاً یک اجرای FSDP می‌سازد. برای Megatron، کار را با یکی از لانچرهای Miles برای مدلتان شروع کنید که در پوشه‌ی scripts سورس‌کد پروژه قرار دارند. ما بخش آموزش Megatron یا torchtitan را روی سخت‌افزار GB10 اجرا نکرده‌ایم؛ تنها تبدیل به torch_dist را برای مدل Qwen3-0.6B آزمودیم که پوشه‌ی چک‌پوینت را نوشت.

اجرای کار روی بیش از یک نود

پیش از اینکه Miles کار را ارسال کند، همه‌ی نودها باید عضو یک کلاستر Ray باشند. لانچرهای Miles این کار را به یکی از این دو روش انجام می‌دهند:

  • یک دستور اختصاصی برای نقش هر نود: دستور worker به کلاسترِ نود هد (Head) متصل می‌شود و منتظر می‌ماند. دستور train نود هد را راه می‌اندازد، منتظر همه‌ی GPUها می‌ماند و کار را ارسال می‌کند.
  • یک دستور روی نود هد که از طریق ssh به سایر هاست‌ها وصل می‌شود و آن‌ها را به کلاستر اضافه می‌کند.

برای استفاده از کلاستر Ray که خودتان بالا آورده‌اید، MILES_SCRIPT_EXTERNAL_RAY=1 را تنظیم کنید. در این حالت لانچر از ray start خودش صرف‌نظر می‌کند و فقط کار را می‌فرستد. MASTER_ADDR را روی همه‌ی نودها برابر با آدرس نود هد بگذارید تا Ray و بخش آموزش از اینترفیس شبکه‌ی درست استفاده کنند. سپس ابعاد بخش آموزش را با --actor-num-nodes و --actor-num-gpus-per-node مشخص کنید.

در بخش 6.3 یکی از مشکلات شناخته‌شده‌ی برخی لانچرها هنگام کار با کلاستر Ray سفارشی آمده است. ما Miles را روی بیش از یک نود اجرا نکرده‌ایم.

چه معیارهایی را بعد از تفکیک اندازه بگیریم؟

  • perf/update_weights_time در مقایسه با perf/step_time. روی چند ماشین، انتقال داده دیگر یک کپی ساده درون یک GPU نیست.
  • زمان بیکاری در هر دو سمت، بر اساس perf/train_wait_time و تایمرهای بخش شبیه‌سازی.
  • فاصله‌ی بین بخش آموزش و موتور شبیه‌سازی، مانند آنچه در بخش 5.2 آمد، پس از نخستین به‌روزرسانی با روش جدید.

منابع: مخزن اصلی Miles نسخه‌ی 08752a12 فایل‌های docs/user-guide/training-backend.md، docs/user-guide/launch-script.md، miles/utils/external_utils/command_utils/ray_backend/backend.py، miles/utils/lora/arguments.py، tools/convert_hf_to_torch_dist.py، scripts/models/qwen3-4B.py، miles/ray/placement_group.py، miles/utils/arguments.py، miles/backends/training_utils/weight_update/protocol.py، miles/backends/training_utils/weight_update/protocols/broadcast.py، miles/backends/training_utils/weight_update/protocols/delta.py، miles/backends/training_utils/metrics/perf.py، docs/advanced/disaggregated-rollout.md، docs/advanced/p2p-weight-transfer.md؛ فایل capture/gpu/out-gb10/live-check-summary.txt (بررسی زنده، 23-10-2026).

ترجمه‌ی فارسی Split rollout and training across GPUs از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما