وقتی چند GPU در اختیار دارید، مسیر پیشروی شبیهسازیشده (Rollout) و آموزش میتوانند روی دستگاههای مجزا اجرا شوند و یک روش انتقال، وزنها را بین آنها جابهجا کند.
روی یک GPU، بخش آموزش و موتور اجرا نوبتی کار میکنند و بهروزرسانی وزنها صرفاً یک کپی درون همان GPU است. اما روی چند GPU حق انتخاب دارید: یا هر دو بخش را روی همان GPUها نگه دارید و نوبتی اجرا کنید، یا به هر بخش GPUهای اختصاصی خودش را بدهید و وزنها را منتقل کنید.
پس از پایان این بخش، میتوانید چینش دستگاهها (Placement) و روش انتقال وزن مناسب را برای اجرا روی چند GPU انتخاب کنید.
امکان اندازهگیری این موارد روی تککارت GB10 ما وجود نداشت. مطالب این صفحه بر اساس سورسکد و مستندات رسمی Miles گردآوری شده است.
انتخاب نوع چینش
| نوع چینش | فلگ | تعداد GPUهای مصرفی | آیا هر بخش منتظر دیگری میماند؟ |
|---|---|---|---|
| هممکان (Colocated) | --colocate |
مقدار بزرگتر بین GPUهای آموزش و GPUهای شبیهسازی | بله، در هر گام |
| تفکیکشده (Split) | بدون --colocate |
مجموع GPUهای آموزش بهعلاوهی GPUهای شبیهسازی | بله، مگر اینکه آموزش ناهمگام (Async) اجرا کنید |
تعداد کارتها را با این فلگها تنظیم کنید:
--actor-num-nodesو--actor-num-gpus-per-nodeتعداد GPUهای بخش آموزش را تعیین میکنند.--rollout-num-gpusتعداد GPUهای بخش شبیهسازی را در چیدمان تفکیکشده مشخص میکند.--rollout-num-gpus-per-engineمشخص میکند که هر موتور شبیهسازی از چند GPU استفاده کند.
کار را با چینش هممکان شروع کنید. فقط زمانی سراغ ساختار تفکیکشده بروید که فاز شبیهسازی بخش عمدهی گام را بگیرد و GPU کافی هم برای اختصاص دادن به آن داشته باشید. در چینش تفکیکشده، GPUهای آموزش در طول شبیهسازی بیکار میمانند؛ مگر اینکه آموزش ناهمگام را هم اجرا کنید، درست مانند آنچه در بخش 4.1 آمد.
انتخاب نحوهی انتقال وزنها
در چیدمان تفکیکشده، وزنها پس از هر بهروزرسانی از GPUهای آموزش خارج میشوند. فلگ --update-weight-transfer-mode این روش را تعیین میکند:
| روش | عملکرد | پیشنیازها |
|---|---|---|
broadcast (پیشفرض) |
ارسال تکتک تنسورها روی NCCL | بدون پیشنیاز اضافه |
broadcast_packed |
بستهبندی هر باکت در قالب یک ارسال یکپارچه | بخش آموزش Megatron و چیدمان تفکیکشده |
p2p |
انتقال وزنها روی بستر RDMA با استفاده از Mooncake | پکیج Mooncake و شبکهی RDMA |
disk-delta |
ذخیرهی صرفاً بایتهای تغییریافته روی پوشهی اشتراکی و بارگذاری آن توسط هر موتور | --update-weight-disk-dir |
وقتی از --colocate استفاده میکنید، Miles در عوض وزنها را درون خود GPU کپی میکند و حالت انتقال دیگر اعمال نمیشود.
انتخاب بخش آموزش
در این راهنما از بخش آموزش FSDP استفاده میکنیم، چون پوشهی مدل Hugging Face را همانطور که هست بارگذاری میکند. Miles دو بخش آموزش دیگر هم دارد که با فلگ --train-backend انتخاب میشوند:
| بخش آموزش | ورودی مدل | توازی مدل (Model Parallel) | LoRA |
|---|---|---|---|
megatron (پیشفرض) |
چکپوینت torch_dist مگاترون (یکبار از پوشهی Hugging Face تبدیل میشود) |
توازی تنسور، پایپلاین، کانتکست و خبره (Expert) | بله |
fsdp |
همان پوشهی Hugging Face | خیر. وزنها و وضعیت بهینهساز را بین GPUهای دادهموازی شارد میکند، اما هر GPU همچنان لایههای کامل را اجرا میکند | خیر |
torchtitan |
همان پوشهی Hugging Face، برای مدلهایی که torchtitan پیادهسازی کرده باشد | توازی تنسور، پایپلاین، کانتکست و خبره | خیر |
برخی از قابلیتهای این راهنما فقط روی Megatron کار میکنند: آموزش کاملاً ناهمگام با --colocate، تابآوری خطا در آموزش، آموزش MTP و اعتبارسنجیهای گام 0 در --ci-test. مستندات Miles استفاده از Megatron را برای مدلهای بزرگ و جابهای روی چند نود پیشنهاد میکند.
torch_dist: فرمت چکپوینتهای Megatron است. این فرمت به ساختار موازیسازی وابسته نیست؛ بنابراین میتوانید بعداً بدون نیاز به تبدیل مجدد، چیدمان موازیسازی را تغییر دهید.
پیش از اولین اجرای Megatron، مدل را یکبار تبدیل کنید. فلگهای مربوط به معماری، از فایل مدل مربوطه در Miles برای آن مدل برداشته میشوند که اینجا qwen3-4B است:
cd /root/miles
MODEL_ARGS=$(python3 miles/utils/external_utils/model_args_utils.py qwen3-4B)
PYTHONPATH=/root/Megatron-LM python3 tools/convert_hf_to_torch_dist.py $MODEL_ARGS --hf-checkpoint /root/lab/models/Qwen3-4B --save /root/lab/models/Qwen3-4B_torch_dist
این دستورها را داخل کانتینر اجرا کنید، در حالی که پوشهی آزمایشگاه مانند بخش 1.1 مانت شده باشد. لانچر ما صرفاً یک اجرای FSDP میسازد. برای Megatron، کار را با یکی از لانچرهای Miles برای مدلتان شروع کنید که در پوشهی scripts سورسکد پروژه قرار دارند. ما بخش آموزش Megatron یا torchtitan را روی سختافزار GB10 اجرا نکردهایم؛ تنها تبدیل به torch_dist را برای مدل Qwen3-0.6B آزمودیم که پوشهی چکپوینت را نوشت.
اجرای کار روی بیش از یک نود
پیش از اینکه Miles کار را ارسال کند، همهی نودها باید عضو یک کلاستر Ray باشند. لانچرهای Miles این کار را به یکی از این دو روش انجام میدهند:
- یک دستور اختصاصی برای نقش هر نود: دستور
workerبه کلاسترِ نود هد (Head) متصل میشود و منتظر میماند. دستورtrainنود هد را راه میاندازد، منتظر همهی GPUها میماند و کار را ارسال میکند. - یک دستور روی نود هد که از طریق ssh به سایر هاستها وصل میشود و آنها را به کلاستر اضافه میکند.
برای استفاده از کلاستر Ray که خودتان بالا آوردهاید، MILES_SCRIPT_EXTERNAL_RAY=1 را تنظیم کنید. در این حالت لانچر از ray start خودش صرفنظر میکند و فقط کار را میفرستد. MASTER_ADDR را روی همهی نودها برابر با آدرس نود هد بگذارید تا Ray و بخش آموزش از اینترفیس شبکهی درست استفاده کنند. سپس ابعاد بخش آموزش را با --actor-num-nodes و --actor-num-gpus-per-node مشخص کنید.
در بخش 6.3 یکی از مشکلات شناختهشدهی برخی لانچرها هنگام کار با کلاستر Ray سفارشی آمده است. ما Miles را روی بیش از یک نود اجرا نکردهایم.
چه معیارهایی را بعد از تفکیک اندازه بگیریم؟
perf/update_weights_timeدر مقایسه باperf/step_time. روی چند ماشین، انتقال داده دیگر یک کپی ساده درون یک GPU نیست.- زمان بیکاری در هر دو سمت، بر اساس
perf/train_wait_timeو تایمرهای بخش شبیهسازی. - فاصلهی بین بخش آموزش و موتور شبیهسازی، مانند آنچه در بخش 5.2 آمد، پس از نخستین بهروزرسانی با روش جدید.
منابع: مخزن اصلی Miles نسخهی 08752a12 فایلهای docs/user-guide/training-backend.md، docs/user-guide/launch-script.md، miles/utils/external_utils/command_utils/ray_backend/backend.py، miles/utils/lora/arguments.py، tools/convert_hf_to_torch_dist.py، scripts/models/qwen3-4B.py، miles/ray/placement_group.py، miles/utils/arguments.py، miles/backends/training_utils/weight_update/protocol.py، miles/backends/training_utils/weight_update/protocols/broadcast.py، miles/backends/training_utils/weight_update/protocols/delta.py، miles/backends/training_utils/metrics/perf.py، docs/advanced/disaggregated-rollout.md، docs/advanced/p2p-weight-transfer.md؛ فایل capture/gpu/out-gb10/live-check-summary.txt (بررسی زنده، 23-10-2026).