بخش 1.1 · شروع

اجرای GRPO روی یک GPU با ایمیج radixark/miles

Run GRPO on one GPU with the radixark/miles image

فهرست مطالب
  1. بررسی پیش‌نیازها
  2. دریافت ایمیج و ثبت مشخصات دریافتی
  3. ساخت پوشه‌ی محیط کاربری
  4. بررسی تنظیمات اسکریپت اجراکننده
  5. افزودن فلگ‌ها به فرایند اجرا
  6. آغاز فرایند اجرا
  7. بررسی لاگ‌های راه‌اندازی
  8. پیدا کردن نخستین گام تکمیل‌شده

تنها با یک کانتینر، یک مدل کوچک و یک اسکریپت اجراکننده، در حدود 10 دقیقه به نخستین گامِ ثبت‌شده‌ی GRPO روی یک GPU می‌رسید.

کار را از یک پوشه‌ی خالی شروع می‌کنیم و با یک گامِ پایان‌یافته‌ی GRPO که در فایل لاگ ثبت شده، کار را تمام می‌کنیم. مدل انتخابی Qwen3-0.6B و مجموعه‌داده GSM8K است؛ بنابراین کل اجرا روی یک GPU جا می‌شود و هر گام فقط چند دقیقه طول می‌کشد.

پس از پایان این بخش، می‌توانید اجرای GRPO را روی یک GPU آغاز کنید. همچنین می‌توانید خطوط لاگی را پیدا کنید که نشان می‌دهند گام اول به پایان رسیده است.

نتیجه‌ی ما: در یک اجرای 12 گامیِ Qwen3-0.6B روی یک کارت GB10، گام نخست 233 ثانیه و میانه‌ی (median) زمان گام‌ها 167 ثانیه طول کشید.

یک گام GRPO روی یک GPUهر گام به ترتیب شامل rollout، امتیازدهی، لگاریتم احتمالات، آموزش و به‌روزرسانی وزن‌ها روی یک GPU است.
یک گام GRPO روی یک GPU شش مرحله در هر گام روی یک DGX Spark GB10 با مدل Qwen3-0.6B تکرار می‌شوند. پرامپت‌ها به موتور SGLang می‌روند که 256 پاسخ را در 47.5 ثانیه می‌نویسد. یک پاداش ریاضی به هر پاسخ امتیاز می‌دهد. ترینر FSDP لگاریتم احتمالات را در 23.4 ثانیه محاسبه می‌کند، سپس گام گرادیان را در 77.0 ثانیه برمی‌دارد. این دو بخش با هم مرحلهٔ آموزش 100.3 ثانیه‌ای را تشکیل می‌دهند. به‌روزرسانی وزن 0.64 ثانیه‌ای وزن‌های جدید را در اختیار موتور قرار می‌دهد. میانه‌های 48 گام از اجرایی پیش از افزودن محافظ حرارتی، به گونه‌ای که هیچ توقفی رخ نداد. پرامپت‌های GSM8K 32 پرامپت در هر گام موتور SGLang sglang::scheduler 256 پاسخ، 47.5 ثانیه پاداش ریاضی 1 یا 0 به ازای هر پاسخ لگاریتم احتمالات FSDPTrainRayActor 23.4 s به‌روزرسانی GRPO Adam، یک گام 77.0 s به‌روزرسانی وزن هندل‌های GPU، کپی GPU 0.64 s 1 2 3 4 5 6 یک گام، میانهٔ 48 گام، اجراشده قبل از محافظ حرارتی در کل 152.6 ثانیه. آموزش بیشترین زمان را می‌گیرد و به‌روزرسانی وزن کمترین زمان را. موتور و ترینر به نوبت از حافظهٔ یکسان GPU استفاده می‌کنند.
میانه‌های اجرای 48 گامی ما، پیش از اضافه‌کردن محافظ حرارتی (heat guard)، بنابراین هیچ توقفی رخ نداد. مدل Qwen3-0.6B روی یک GB10. اعداد ترتیب فلش‌ها را دنبال می‌کنند.

بررسی پیش‌نیازها

به یک GPU انویدیا، Docker و ابزار NVIDIA container toolkit نیاز دارید. ابتدا این بررسی را اجرا کنید:

docker run --rm --gpus all radixark/miles:latest nvidia-smi --query-gpu=name,memory.total --format=csv

باید نام GPU خود را ببینید. اگر Docker اعلام کرد که نمی‌تواند درایور دستگاه را انتخاب کند، NVIDIA container toolkit را نصب و داکر را ری‌استارت کنید.

بررسی GPU روی ماشین ما capture/gpu/out-gb10/gpu-check.txt
name, memory.total [MiB]
NVIDIA GB10, [N/A]

پردازندهٔ GB10 استخر حافظهٔ مشترکی بین CPU و GPU دارد، بنابراین حافظهٔ مجزایی برای GPU گزارش نمی‌کند.

پردازنده‌ی گرافیکی ما DGX Spark GB10 با 128 گیگابایت حافظه‌ی مشترک بود. ما مدل را روی کارت کوچک‌تری آزمایش نکردیم. در بخش 2.1 به اندازه‌ی مدل و حافظه می‌پردازیم.

دریافت ایمیج و ثبت مشخصات دریافتی

تگ latest تغییر می‌کند. برای این‌که بعداً بتوانید اجراها را مقایسه کنید، پیش از اجرا شناسه (digest) ایمیج و commit مربوط به Miles را ثبت کنید.

docker pull radixark/miles:latest
docker image inspect --format "{{index .RepoDigests 0}} {{.Architecture}}" radixark/miles:latest
docker run --rm --entrypoint git radixark/miles:latest -C /root/miles log -1 --format="%h %cs %s"
docker run --rm --entrypoint /opt/sglang/bin/python3 radixark/miles:latest -c "import sglang;print(sglang.__version__)"
ایمیجی که اجرا کردیم capture/gpu/out-gb10/image-identity.txt
radixark/miles@sha256:c64fa344e3a86715f03c0a1b6a422c474e0035355591a2f6da87bf52a74c52da arm64
08752a1283 2026-10-15 fix(ci): keep host networks out of the builder disk cleanup (#4130)
0.5.22.dev46+g7b6993a

شناسهٔ دایجست، معماری CPU، کامیت Miles و نسخهٔ SGLang درون ایمیج.

این ایمیج برای arm64 و amd64 ساخته شده است و ساخت اختصاصی خود را از SGLang به همراه دارد که همان موتور مسیر پیش‌روی شبیه‌سازی‌شده (rollout) است. از همان نسخه استفاده کنید و نگارش دیگری از SGLang درون ایمیج نصب نکنید.

ساخت پوشه‌ی محیط کاربری

کانتینر، اسکریپت اجراکننده، مدل و داده‌ها را از پوشه‌ای می‌خواند که روی /root/lab متصل (mount) می‌کنید. این پوشه را بسازید و اسکریپت اجراکننده‌ی این راهنما را در آن دانلود کنید:

mkdir -p ~/miles-lab/runs ~/.cache/huggingface
curl -fsSL -o ~/miles-lab/miles_grpo.py https://raw.githubusercontent.com/rohitg00/ai-engineering-from-scratch/main/manuals/miles-101/capture/gpu/miles_grpo.py

اگر نسخه‌ی کلون‌شده‌ی این مخزن (repository) را دارید، به‌جای دانلود، دستور cp manuals/miles-101/capture/gpu/miles_grpo.py ~/miles-lab/ را از ریشه‌ی مخزن اجرا کنید. پوشه‌ی دوم کش مدلی است که فرایند اجرا آن را مونت می‌کند. اگر این پوشه از قبل وجود نداشته باشد، Docker آن را با دسترسی root می‌سازد و دانلودهای بعدی روی سیستم میزبان به مشکل می‌خورند.

اسکریپت اجراکننده در اولین دور، مدل Qwen/Qwen3-0.6B و مجموعه‌داده‌ی zhuzilin/gsm8k را درون همین پوشه دانلود می‌کند. سپس دستور Miles را می‌سازد و آن را اجرا می‌کند.

بررسی تنظیمات اسکریپت اجراکننده

اسکریپت اجراکننده 36 فلگ را به Miles تحویل می‌دهد. بیشتر آن‌ها مقادیر پیش‌فرض خود را حفظ می‌کنند، اما این گزینه‌ها شکل اصلی اجرا را تعیین می‌کنند:

فلگ مقدار تعیین‌کننده‌ی چیست
--colocate on ترینر و موتور رول‌اوت از یک GPU به‌طور مشترک استفاده می‌کنند و به نوبت پیش می‌روند
--train-backend fsdp بخش آموزش از PyTorch FSDP استفاده می‌کند. Megatron، ترینر پیش‌فرض Miles، ابتدا به تبدیل چک‌پوینت نیاز دارد
--rollout-batch-size 32 تعداد پرامپت‌ها در هر گام
--n-samples-per-prompt 8 پاسخ‌ها به ازای هر پرامپت، که یک گروه را تشکیل می‌دهند
--global-batch-size 256 نمونه‌ها در هر گام بهینه‌ساز؛ یعنی 32 ضرب در 8
--rollout-max-response-len 1024 طولانی‌ترین پاسخ، برحسب توکن
--rm-type math پاداش برای پاسخ نهاییِ درست 1 و در غیر این صورت 0 است
--sglang-mem-fraction-static 0.4 سهمی از حافظه‌ی گرافیکی که موتور رول‌اوت برای وزن‌ها و کش کلید-مقدار (KV cache) نگه می‌دارد

گروه: پاسخ‌هایی که یک پرامپت در یک گام دریافت می‌کند. الگوریتم GRPO هر پاسخ را در مقایسه با میانگین پاداشِ گروه خودش امتیازدهی می‌کند.

اندازه‌ی دسته‌ی رول‌اوت تعداد پرامپت‌ها را می‌شمارد و اندازه‌ی دسته‌ی سراسری تعداد نمونه‌ها را محاسبه می‌کند. با 32 پرامپت و 8 پاسخ برای هر کدام، یک رول‌اوت 256 نمونه به دست می‌دهد؛ در نتیجه با هر گام، یک به‌روزرسانی در بهینه‌ساز انجام می‌شود.

افزودن فلگ‌ها به فرایند اجرا

اسکریپت اجراکننده تنظیمات خود را از متغیرهای محیطی می‌خواند. هر کدام را با آرگومان -e در دستور docker run مقداردهی کنید:

متغیر پیش‌فرض مقدار تنظیمی
MILES_NUM_ROLLOUT 12 تعداد گام‌ها
MILES_RUN plain نام اجرا، که پوشه‌ی رویدادهای گام زیرمسیر runs/ بر اساس آن نام‌گذاری می‌شود
MILES_SEED تنظیم‌نشده سید ترینر و سید رول‌اوت
MILES_MODEL Qwen3-0.6B مدل Qwen که اسکریپت اجراکننده دانلود می‌کند
MILES_EXTRA_ARGS خالی فلگ‌های بیشتر برای Miles، که بعد از 36 فلگِ اجراکننده اضافه می‌شوند

تمام دستورالعمل‌های این راهنما فلگ‌های خود را از طریق MILES_EXTRA_ARGS اضافه می‌کنند. برای مثال، خط زیر تنظیمات top-p و top-k مربوط به بخش 4.4 را اضافه می‌کند:

-e MILES_EXTRA_ARGS="--rollout-top-p 0.95 --rollout-top-k 64"

وقتی فلگی هم در اسکریپت اجراکننده و هم در MILES_EXTRA_ARGS آمده باشد، مقدار موجود در MILES_EXTRA_ARGS اعمال می‌شود، چون Miles آخرین مقدار را نگه می‌دارد. اجراهای ما با کسر حافظه‌ی موتور 0.25 به همین صورت تنظیم شده‌اند. یک استثنا وجود دارد: با MILES_TRUE_ON_POLICY=1، اسکریپت اجراکننده پرچم‌های سیاست واقعیِ هم‌سیاست (true on-policy) را بعد از MILES_EXTRA_ARGS اضافه می‌کند؛ بنابراین آن فلگ‌ها اولویت پیدا می‌کنند. بک‌اندهای اتنشن (attention) این حالت را به‌جای آن با MILES_SGLANG_ATTENTION و MILES_FSDP_ATTENTION تنظیم کنید.

آغاز فرایند اجرا

کانتینر را با متصل کردن GPU، پوشه‌ی محیط کاربری و کش مدل خود اجرا کنید:

cd ~/miles-lab
docker run --rm --name miles-plain --gpus all --ipc=host --shm-size 32g --ulimit memlock=-1 \
  -v "$HOME/miles-lab:/root/lab" -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  -e MILES_NUM_ROLLOUT=12 -e MILES_RUN=plain \
  radixark/miles:latest python /root/lab/miles_grpo.py > runs/plain.log 2>&1

اجرای 12 گامی ما روی GB10 از اولین خط لاگ تا آخرین خط، 35 دقیقه طول کشید. پیش از آن‌که فرایند اجرا را به حال خود رها کنید، ناظر (watchdog) را از بخش 1.2 در یک ترمینال دیگر راه‌اندازی کنید.

برای پایان دادن زودهنگام به یک فرایند، کانتینر آن را از ترمینالی دیگر متوقف کنید:

docker stop miles-plain

برای هر اجرا یک نام کانتینر مجزا، MILES_RUN جداگانه و یک فایل لاگ اختصاصی تعیین کنید تا دو اجرا هرگز در یک لاگ مشترک نباشند.

بررسی لاگ‌های راه‌اندازی

لاگ را با دستور tail -f runs/plain.log در ترمینال دیگری باز کنید. فرایند اجرا ابتدا Ray، سپس موتور رول‌اوت و در پایان ترینر را راه می‌اندازد. این خطوط نشان می‌دهند که هر بخش بالا آمده است:

راه‌اندازی یک اجرای هم‌مکان (colocated) capture/gpu/out-gb10/plain-first-step.log
[2026-10-17 15:53:16.726 launcher] common.py:290 - EXEC: export PYTHONUNBUFFERED=1 && ray start --head --node-ip-address 127.0.0.1 --num-gpus 1 …
(CommandActor pid=2546) [2026-10-17 15:54:38] Load weight end. elapsed=5.85 s, type=Qwen3ForCausalLM, avail mem=94.82 GB, mem usage=1.40 GB.
(CommandActor pid=2546) [2026-10-17 15:54:40] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 345645, K size: 18.46 GB, V size: 18.46 GB

سه خط از اجرای 12 گامی ما. بخش میانی هر خط طولانی کوتاه شده است.

موتور در اینجا 1.40 گیگابایت وزن لود کرد و برای 345,645 توکن از کش کلید-مقدار فضا نگه داشت. هر گام در بیشترین حالت به 256 پاسخِ 1,024 توکنی به اضافه‌ی پرامپت‌های آن‌ها نیاز دارد.

اگر خط KV Cache is allocated ظرف پنج دقیقه ظاهر نشد، موتور رول‌اوت راه نیفتاده است. خطوط قبل از آن را برای یافتن Error یا AssertionError بررسی کنید و به بخش 7.1 مراجعه فرمایید.

پیدا کردن نخستین گام تکمیل‌شده

یک گام زمانی پایان می‌یابد که ترینر خطوط step 0 و perf 0 را در لاگ ثبت کند. آن‌ها را جستجو کنید:

grep -c " - step [0-9]*: {" runs/plain.log

این شمارش، تعداد گام‌های پایان‌یافته است. گام اول اجرای ما این خطوط را ثبت کرد:

گام نخست، از rollout تا زمان‌سنج‌ها capture/gpu/out-gb10/plain-first-step.log
(FSDPTrainRayActor pid=2551) [2026-10-17 15:56:48.271 actor_cell00000_rank00000] log_utils.py:125 - rollout 0: {'rollout/response_lengths': 739.92578125, … 'rollout/raw_reward': 0.62890625, …
(FSDPTrainRayActor pid=2551) [2026-10-17 15:58:15.687 actor_cell00000_rank00000] log_utils.py:554 - step 0: { … 'train/train_rollout_logprob_abs_diff': 0.015336457639932632, …
(FSDPTrainRayActor pid=2551) [2026-10-17 15:58:15.688 actor_cell00000_rank00000] perf.py:56 - perf 0: {'perf/sleep_time': 2.1116080284118652, … 'perf/update_weights_time': 0.6647534370422363, … 'perf/step_time': 233.29494333267212, …

هر خط خلاصه شده و فقط فیلدهای مورداستفاده در این بخش را نشان می‌دهد.

در این اجرای 12 گامی، گام اول 233 ثانیه و میانه‌ی زمان گام‌ها 167 ثانیه طول کشید. در یک گام معمولی، رول‌اوت 57 ثانیه و فاز آموزش 105 ثانیه زمان برد که 25 ثانیه از آن صرف محاسبه‌ی لگاریتم احتمالات شد. به‌روزرسانی وزن‌ها از ترینر به موتور رول‌اوت نیز 0.65 ثانیه طول کشید.

دو نمودار این صفحه از اجرای 48 گامی ما با همین تنظیمات استفاده می‌کنند. میانه‌ی زمان گام‌های آن 152.6 ثانیه و میانه‌ی رول‌اوت 47.5 ثانیه بود. گام‌های بعدی آن پاسخ‌های کوتاه‌تری نوشتند؛ به همین دلیل میانه‌های آن کمتر است.

بخش 1.3 نحوه‌ی خواندن این ارقام را در طول ده گام نخست توضیح می‌دهد.

زمان یک گام کجا صرف می‌شودآموزش و rollout تقریباً تمام زمان یک گام را می‌گیرند، و جابه‌جایی‌ها حدود 2 ثانیه طول می‌کشند.
زمان یک گام کجا صرف می‌شود میانهٔ ثانیه‌ها در هر فاز طی 48 گام از یک اجرا قبل از افزودن محافظ حرارتی، مدل Qwen3-0.6B روی یک GB10: بخش rollout معادل 47.5، لگاریتم احتمالات 23.4، گام گرادیان 77.0 که همراه با لگاریتم احتمالات فاز آموزش 100.3 را تشکیل می‌دهد، تخلیهٔ ترینر (offload) معادل 0.76، بارگذاری ترینر (onload) معادل 0.87 و به‌روزرسانی وزن 0.64. 0 30 60 90 ثانیه در هر گام، میانه 47.5 s rollout 23.4 s log-probs 77.0 s گام گرادیان 0.76 s offload 0.87 s onload 0.64 s update ابتدا آموزش و rollout را بهینه‌سازی کنید. مجموع سه فاز کهربایی حدود 2 ثانیه است.
میانهٔ ثانیه‌ها در هر فاز در اجرای 48 گامی ما، پیش از اضافه‌کردن محافظ حرارتی. گام لگاریتم احتمال و گام گرادیان با یکدیگر فاز آموزش را تشکیل می‌دهند.

منابع: capture/gpu/miles_grpo.py؛ capture/gpu/out-gb10/gpu-check.txt؛ capture/gpu/out-gb10/image-identity.txt؛ capture/gpu/out-gb10/plain-first-step.log؛ capture/gpu/summary/miles-gb10-lab.json (runs.plain)؛ آرگومان‌های Miles در main 08752a12.