تنها با یک کانتینر، یک مدل کوچک و یک اسکریپت اجراکننده، در حدود 10 دقیقه به نخستین گامِ ثبتشدهی GRPO روی یک GPU میرسید.
کار را از یک پوشهی خالی شروع میکنیم و با یک گامِ پایانیافتهی GRPO که در فایل لاگ ثبت شده، کار را تمام میکنیم. مدل انتخابی Qwen3-0.6B و مجموعهداده GSM8K است؛ بنابراین کل اجرا روی یک GPU جا میشود و هر گام فقط چند دقیقه طول میکشد.
پس از پایان این بخش، میتوانید اجرای GRPO را روی یک GPU آغاز کنید. همچنین میتوانید خطوط لاگی را پیدا کنید که نشان میدهند گام اول به پایان رسیده است.
نتیجهی ما: در یک اجرای 12 گامیِ Qwen3-0.6B روی یک کارت GB10، گام نخست 233 ثانیه و میانهی (median) زمان گامها 167 ثانیه طول کشید.
بررسی پیشنیازها
به یک GPU انویدیا، Docker و ابزار NVIDIA container toolkit نیاز دارید. ابتدا این بررسی را اجرا کنید:
docker run --rm --gpus all radixark/miles:latest nvidia-smi --query-gpu=name,memory.total --format=csv
باید نام GPU خود را ببینید. اگر Docker اعلام کرد که نمیتواند درایور دستگاه را انتخاب کند، NVIDIA container toolkit را نصب و داکر را ریاستارت کنید.
name, memory.total [MiB]
NVIDIA GB10, [N/A]پردازندهٔ GB10 استخر حافظهٔ مشترکی بین CPU و GPU دارد، بنابراین حافظهٔ مجزایی برای GPU گزارش نمیکند.
پردازندهی گرافیکی ما DGX Spark GB10 با 128 گیگابایت حافظهی مشترک بود. ما مدل را روی کارت کوچکتری آزمایش نکردیم. در بخش 2.1 به اندازهی مدل و حافظه میپردازیم.
دریافت ایمیج و ثبت مشخصات دریافتی
تگ latest تغییر میکند. برای اینکه بعداً بتوانید اجراها را مقایسه کنید، پیش از اجرا شناسه (digest) ایمیج و commit مربوط به Miles را ثبت کنید.
docker pull radixark/miles:latest
docker image inspect --format "{{index .RepoDigests 0}} {{.Architecture}}" radixark/miles:latest
docker run --rm --entrypoint git radixark/miles:latest -C /root/miles log -1 --format="%h %cs %s"
docker run --rm --entrypoint /opt/sglang/bin/python3 radixark/miles:latest -c "import sglang;print(sglang.__version__)"
radixark/miles@sha256:c64fa344e3a86715f03c0a1b6a422c474e0035355591a2f6da87bf52a74c52da arm64
08752a1283 2026-10-15 fix(ci): keep host networks out of the builder disk cleanup (#4130)
0.5.22.dev46+g7b6993aشناسهٔ دایجست، معماری CPU، کامیت Miles و نسخهٔ SGLang درون ایمیج.
این ایمیج برای arm64 و amd64 ساخته شده است و ساخت اختصاصی خود را از SGLang به همراه دارد که همان موتور مسیر پیشروی شبیهسازیشده (rollout) است. از همان نسخه استفاده کنید و نگارش دیگری از SGLang درون ایمیج نصب نکنید.
ساخت پوشهی محیط کاربری
کانتینر، اسکریپت اجراکننده، مدل و دادهها را از پوشهای میخواند که روی /root/lab متصل (mount) میکنید. این پوشه را بسازید و اسکریپت اجراکنندهی این راهنما را در آن دانلود کنید:
mkdir -p ~/miles-lab/runs ~/.cache/huggingface
curl -fsSL -o ~/miles-lab/miles_grpo.py https://raw.githubusercontent.com/rohitg00/ai-engineering-from-scratch/main/manuals/miles-101/capture/gpu/miles_grpo.py
اگر نسخهی کلونشدهی این مخزن (repository) را دارید، بهجای دانلود، دستور cp manuals/miles-101/capture/gpu/miles_grpo.py ~/miles-lab/ را از ریشهی مخزن اجرا کنید. پوشهی دوم کش مدلی است که فرایند اجرا آن را مونت میکند. اگر این پوشه از قبل وجود نداشته باشد، Docker آن را با دسترسی root میسازد و دانلودهای بعدی روی سیستم میزبان به مشکل میخورند.
اسکریپت اجراکننده در اولین دور، مدل Qwen/Qwen3-0.6B و مجموعهدادهی zhuzilin/gsm8k را درون همین پوشه دانلود میکند. سپس دستور Miles را میسازد و آن را اجرا میکند.
بررسی تنظیمات اسکریپت اجراکننده
اسکریپت اجراکننده 36 فلگ را به Miles تحویل میدهد. بیشتر آنها مقادیر پیشفرض خود را حفظ میکنند، اما این گزینهها شکل اصلی اجرا را تعیین میکنند:
| فلگ | مقدار | تعیینکنندهی چیست |
|---|---|---|
--colocate |
on | ترینر و موتور رولاوت از یک GPU بهطور مشترک استفاده میکنند و به نوبت پیش میروند |
--train-backend |
fsdp |
بخش آموزش از PyTorch FSDP استفاده میکند. Megatron، ترینر پیشفرض Miles، ابتدا به تبدیل چکپوینت نیاز دارد |
--rollout-batch-size |
32 | تعداد پرامپتها در هر گام |
--n-samples-per-prompt |
8 | پاسخها به ازای هر پرامپت، که یک گروه را تشکیل میدهند |
--global-batch-size |
256 | نمونهها در هر گام بهینهساز؛ یعنی 32 ضرب در 8 |
--rollout-max-response-len |
1024 | طولانیترین پاسخ، برحسب توکن |
--rm-type |
math |
پاداش برای پاسخ نهاییِ درست 1 و در غیر این صورت 0 است |
--sglang-mem-fraction-static |
0.4 | سهمی از حافظهی گرافیکی که موتور رولاوت برای وزنها و کش کلید-مقدار (KV cache) نگه میدارد |
گروه: پاسخهایی که یک پرامپت در یک گام دریافت میکند. الگوریتم GRPO هر پاسخ را در مقایسه با میانگین پاداشِ گروه خودش امتیازدهی میکند.
اندازهی دستهی رولاوت تعداد پرامپتها را میشمارد و اندازهی دستهی سراسری تعداد نمونهها را محاسبه میکند. با 32 پرامپت و 8 پاسخ برای هر کدام، یک رولاوت 256 نمونه به دست میدهد؛ در نتیجه با هر گام، یک بهروزرسانی در بهینهساز انجام میشود.
افزودن فلگها به فرایند اجرا
اسکریپت اجراکننده تنظیمات خود را از متغیرهای محیطی میخواند. هر کدام را با آرگومان -e در دستور docker run مقداردهی کنید:
| متغیر | پیشفرض | مقدار تنظیمی |
|---|---|---|
MILES_NUM_ROLLOUT |
12 | تعداد گامها |
MILES_RUN |
plain |
نام اجرا، که پوشهی رویدادهای گام زیرمسیر runs/ بر اساس آن نامگذاری میشود |
MILES_SEED |
تنظیمنشده | سید ترینر و سید رولاوت |
MILES_MODEL |
Qwen3-0.6B |
مدل Qwen که اسکریپت اجراکننده دانلود میکند |
MILES_EXTRA_ARGS |
خالی | فلگهای بیشتر برای Miles، که بعد از 36 فلگِ اجراکننده اضافه میشوند |
تمام دستورالعملهای این راهنما فلگهای خود را از طریق MILES_EXTRA_ARGS اضافه میکنند. برای مثال، خط زیر تنظیمات top-p و top-k مربوط به بخش 4.4 را اضافه میکند:
-e MILES_EXTRA_ARGS="--rollout-top-p 0.95 --rollout-top-k 64"
وقتی فلگی هم در اسکریپت اجراکننده و هم در MILES_EXTRA_ARGS آمده باشد، مقدار موجود در MILES_EXTRA_ARGS اعمال میشود، چون Miles آخرین مقدار را نگه میدارد. اجراهای ما با کسر حافظهی موتور 0.25 به همین صورت تنظیم شدهاند. یک استثنا وجود دارد: با MILES_TRUE_ON_POLICY=1، اسکریپت اجراکننده پرچمهای سیاست واقعیِ همسیاست (true on-policy) را بعد از MILES_EXTRA_ARGS اضافه میکند؛ بنابراین آن فلگها اولویت پیدا میکنند. بکاندهای اتنشن (attention) این حالت را بهجای آن با MILES_SGLANG_ATTENTION و MILES_FSDP_ATTENTION تنظیم کنید.
آغاز فرایند اجرا
کانتینر را با متصل کردن GPU، پوشهی محیط کاربری و کش مدل خود اجرا کنید:
cd ~/miles-lab
docker run --rm --name miles-plain --gpus all --ipc=host --shm-size 32g --ulimit memlock=-1 \
-v "$HOME/miles-lab:/root/lab" -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
-e MILES_NUM_ROLLOUT=12 -e MILES_RUN=plain \
radixark/miles:latest python /root/lab/miles_grpo.py > runs/plain.log 2>&1
اجرای 12 گامی ما روی GB10 از اولین خط لاگ تا آخرین خط، 35 دقیقه طول کشید. پیش از آنکه فرایند اجرا را به حال خود رها کنید، ناظر (watchdog) را از بخش 1.2 در یک ترمینال دیگر راهاندازی کنید.
برای پایان دادن زودهنگام به یک فرایند، کانتینر آن را از ترمینالی دیگر متوقف کنید:
docker stop miles-plain
برای هر اجرا یک نام کانتینر مجزا، MILES_RUN جداگانه و یک فایل لاگ اختصاصی تعیین کنید تا دو اجرا هرگز در یک لاگ مشترک نباشند.
بررسی لاگهای راهاندازی
لاگ را با دستور tail -f runs/plain.log در ترمینال دیگری باز کنید. فرایند اجرا ابتدا Ray، سپس موتور رولاوت و در پایان ترینر را راه میاندازد. این خطوط نشان میدهند که هر بخش بالا آمده است:
[2026-10-17 15:53:16.726 launcher] common.py:290 - EXEC: export PYTHONUNBUFFERED=1 && ray start --head --node-ip-address 127.0.0.1 --num-gpus 1 …
(CommandActor pid=2546) [2026-10-17 15:54:38] Load weight end. elapsed=5.85 s, type=Qwen3ForCausalLM, avail mem=94.82 GB, mem usage=1.40 GB.
(CommandActor pid=2546) [2026-10-17 15:54:40] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 345645, K size: 18.46 GB, V size: 18.46 GBسه خط از اجرای 12 گامی ما. بخش میانی هر خط طولانی کوتاه شده است.
موتور در اینجا 1.40 گیگابایت وزن لود کرد و برای 345,645 توکن از کش کلید-مقدار فضا نگه داشت. هر گام در بیشترین حالت به 256 پاسخِ 1,024 توکنی به اضافهی پرامپتهای آنها نیاز دارد.
اگر خط KV Cache is allocated ظرف پنج دقیقه ظاهر نشد، موتور رولاوت راه نیفتاده است. خطوط قبل از آن را برای یافتن Error یا AssertionError بررسی کنید و به بخش 7.1 مراجعه فرمایید.
پیدا کردن نخستین گام تکمیلشده
یک گام زمانی پایان مییابد که ترینر خطوط step 0 و perf 0 را در لاگ ثبت کند. آنها را جستجو کنید:
grep -c " - step [0-9]*: {" runs/plain.log
این شمارش، تعداد گامهای پایانیافته است. گام اول اجرای ما این خطوط را ثبت کرد:
(FSDPTrainRayActor pid=2551) [2026-10-17 15:56:48.271 actor_cell00000_rank00000] log_utils.py:125 - rollout 0: {'rollout/response_lengths': 739.92578125, … 'rollout/raw_reward': 0.62890625, …
(FSDPTrainRayActor pid=2551) [2026-10-17 15:58:15.687 actor_cell00000_rank00000] log_utils.py:554 - step 0: { … 'train/train_rollout_logprob_abs_diff': 0.015336457639932632, …
(FSDPTrainRayActor pid=2551) [2026-10-17 15:58:15.688 actor_cell00000_rank00000] perf.py:56 - perf 0: {'perf/sleep_time': 2.1116080284118652, … 'perf/update_weights_time': 0.6647534370422363, … 'perf/step_time': 233.29494333267212, …هر خط خلاصه شده و فقط فیلدهای مورداستفاده در این بخش را نشان میدهد.
در این اجرای 12 گامی، گام اول 233 ثانیه و میانهی زمان گامها 167 ثانیه طول کشید. در یک گام معمولی، رولاوت 57 ثانیه و فاز آموزش 105 ثانیه زمان برد که 25 ثانیه از آن صرف محاسبهی لگاریتم احتمالات شد. بهروزرسانی وزنها از ترینر به موتور رولاوت نیز 0.65 ثانیه طول کشید.
دو نمودار این صفحه از اجرای 48 گامی ما با همین تنظیمات استفاده میکنند. میانهی زمان گامهای آن 152.6 ثانیه و میانهی رولاوت 47.5 ثانیه بود. گامهای بعدی آن پاسخهای کوتاهتری نوشتند؛ به همین دلیل میانههای آن کمتر است.
بخش 1.3 نحوهی خواندن این ارقام را در طول ده گام نخست توضیح میدهد.
منابع: capture/gpu/miles_grpo.py؛ capture/gpu/out-gb10/gpu-check.txt؛ capture/gpu/out-gb10/image-identity.txt؛ capture/gpu/out-gb10/plain-first-step.log؛ capture/gpu/summary/miles-gb10-lab.json (runs.plain)؛ آرگومانهای Miles در main 08752a12.