راهنمای عملی

Miles 101

یادگیری تقویتی روی مدل‌های زبانی با Miles، از یک GPU تا اجرایی قابل‌اطمینان

  • نسخه‌ی سنجیده‌شده: Miles radixark/miles:latest, Miles main of 2026-10-15
  • ۳۹ بخش

نحوه‌ی اجرای GRPO با Miles روی یک GPU، انتخاب مدلی متناسب با حافظه، و اعتبارسنجی صحت اجرا. تمام اعداد حاصل از اجراهای ثبت‌شده روی یک DGX Spark هستند.

شروع از بخش ۱٫۱

بعد از این راهنما می‌توانید

  • اجرای GRPO روی یک GPU با تصویر radixark/miles و بررسی ده گام نخست.
  • متوقف کردن اجرایی که موتور rollout آن از کار افتاده اما کماکان ادامه می‌یابد.
  • انتخاب اندازه‌ی مدلی که آموزش و rollout آن هم‌زمان روی یک GPU جا شود.
  • بررسی صحت فنی اجرا، نه صرفاً بدون خطا اجرا شدن آن.
  • یافتن علت شکست یک اجرا از روی اولین نشانه‌ی آن.
یک گام GRPO روی یک GB10
One GRPO step on one GB10 One DGX Spark GB10 package drawn in iso: a Grace CPU die with 20 Arm cores and a Blackwell GPU die, both joined to one 128 GB slab of unified LPDDR5X memory at the center. An NVLink-C2C link joins the two dies. On the Grace die run the Ray head, the TrainerController and RolloutExecutor Ray actors, and the math reward. On the Blackwell die the FSDP trainer is active and the SGLang engine waits. Inside the shared slab the trainer state is the active footprint and the engine state is parked. The trainer onloads its state from the slab in 0.87 s, and the weight update from the trainer to the parked engine state takes 0.64 s. Below, one median step of 152.6 s to scale: rollout 47.5 s, log probabilities 23.4 s, GRPO update 77.0 s, weight update 0.64 s, and 4.2 s that the phase medians do not cover. Medians of 48 steps of a run made before we added the heat guard. ONE NVIDIA DGX SPARK · GB10 SUPERCHIP Qwen3-0.6B Ray head TrainerController RolloutExecutor math reward NVLink-C2C FSDP trainer FSDPTrainRayActor, active Blackwell GPU one die, shares the pool SGLang engine waits for new weights Grace CPU 20 Arm cores trainer state active footprint engine state parked in the pool LPDDR5X · 128 GB unified, one pool for both dies onload 0.87 s weight update 0.64 s ONE STEP TO SCALE · 152.6 S, MEDIAN OF 48 1 47.5 s 2 23.4 s 3 77.0 s 4 0.64 s 1 rollout, SGLang engine 2 log probabilities, trainer 3 GRPO update, Adam 4 weight update to the engine dashed end: median step minus the phase medians, 4.2 s. Trainer offload 0.76 s. Medians from the run made before the heat guard.
موتور SGLang و آموزش‌دهنده‌ی FSDP نوبت گفت‌وگو را روی GPUی بلک‌ول تقسیم می‌کنند. فرآیند در حال انتظار در همان مخزن 128 GB پارک می‌ماند. میانه‌ی 48 گام روی یک GB10، برگرفته از اجرایی پیش از افزودن محافظ حرارتی.

این راهنما ابتدا یک فرآیند GRPO را روی یک GPU راه می‌اندازد، سپس نحوه‌ی تعیین اندازه، ارزیابی و رفع اشکال آن را نشان می‌دهد.

آنچه در 30 دقیقه‌ی اول اجرا می‌کنید

پنج دستور، یک فرآیند یادگیری تقویتی (Reinforcement Learning) را روی یک GPU آغاز می‌کنند؛ این‌ها همان دستورهای بخش 1.1 هستند که تک‌تک توضیح داده شده‌اند. مدلی کوچک، ریاضیات دبستان را یاد می‌گیرد و لاگ‌ها نشان می‌دهند که پاداش آن بالا می‌رود. دستور چهارم، ترمینال را تا پایان فرآیند مشغول نگه می‌دارد. در حین اجرا، ناظر (Watchdog) را طبق بخش 1.2 در ترمینال دوم راه بیندازید؛ چون اگر موتور فرآیند از کار بیفتد، خودش خودبه‌خود متوقف نمی‌شود.

docker pull radixark/miles:latest
mkdir -p ~/miles-lab/runs ~/.cache/huggingface && curl -fsSL -o ~/miles-lab/miles_grpo.py https://raw.githubusercontent.com/rohitg00/ai-engineering-from-scratch/main/manuals/miles-101/capture/gpu/miles_grpo.py
cd ~/miles-lab
docker run --rm --name miles-plain --gpus all --ipc=host --shm-size 32g --ulimit memlock=-1 -v "$HOME/miles-lab:/root/lab" -v "$HOME/.cache/huggingface:/root/.cache/huggingface" -e MILES_NUM_ROLLOUT=12 -e MILES_RUN=plain radixark/miles:latest python /root/lab/miles_grpo.py > runs/plain.log 2>&1
grep -o "'rollout/raw_reward': [0-9.]*" runs/plain.log

آنچه پس از این راهنما می‌توانید انجام دهید

شما پیش‌تر با سرو مدل (Model serving) کار کرده‌اید و مفهوم پاداش را می‌دانید. اکنون می‌خواهید مدلی را با یادگیری تقویتی آموزش دهید و می‌خواهید پیش از اجاره‌ی کلاستر، بدانید کدام تنظیمات واقعاً مهم هستند.

پس از خواندن این راهنما، می‌توانید:

  • یک فرآیند GRPO را روی یک GPU اجرا کنید و ده گام اول را بخوانید و تحلیل کنید.
  • فرآیندی را که پس از ازکارافتادن موتور مسیر پیش‌روی شبیه‌سازی‌شده (Rollout) همچنان بیهوده ادامه دارد، متوقف کنید.
  • اندازه‌ی مدلی را انتخاب کنید که هم آموزش و هم مسیر پیش‌روی شبیه‌سازی‌شده‌ی آن در یک GPU جا شود.
  • مطمئن شوید که فرآیند درست کار می‌کند، نه اینکه فقط در حال اجرا باشد.
  • علت شکست فرآیند را از روی اولین نشانه‌اش پیدا کنید.

یافته‌های ما

همه‌ی نتایج این راهنما از اجرا روی یک سیستم به‌دست آمده‌اند؛ بنابراین در هر صفحه مشخص شده است که این نتایج تا چه حد تعمیم‌پذیرند. پنج نتیجه، مسیر کار شما را تغییر می‌دهند:

  • فرآیندی که موتورش از کار می‌افتد، همچنان ادامه می‌یابد و هرگز با خطا متوقف نمی‌شود. روی سیستم ما، در مدت 63 دقیقه 200,533 خطا لاگ شد. هر فرآیندی را حتماً با یک ناظر اجرا کنید (بخش 1.2).
  • روی یک سیستم 128 گیگابایتی، مدلی با اندازه‌ی 1.7B برای گام‌های کوتاه با 256 توکن جا می‌شود، اما مدل 4B جا نمی‌شود (بخش 2.1).
  • به‌روزرسانی وزن‌ها میان ترینر (Trainer) و موتور، کمتر از یک درصد هر گام زمان می‌برد. پس اول آموزش و مسیر پیش‌روی شبیه‌سازی‌شده را تنظیم کنید (بخش 2.4).
  • استنتاج قطعی (Deterministic) باعث تکرار خروجی موتور می‌شود و اختلاف میان ترینر و موتور را هم کم نمی‌کند (بخش 4.5).
  • سیستمی که به دلیل گرما کار را متوقف می‌کند، زمانی اضافه می‌آورد که کار مفیدی در آن انجام نشده است. اجراها را بر اساس شماره‌ی گام‌های یکسان مقایسه کنید و گام‌هایی را که دچار توقف حرارتی شده‌اند کنار بگذارید (بخش 5.3).

نحوه‌ی آزمایش

ما همه‌ی دستورها را روی یک NVIDIA DGX Spark با تراشه‌ی GB10 و 128 گیگابایت حافظه‌ی اشتراکی میان CPU و GPU اجرا کردیم. مدل مورد استفاده Qwen3-0.6B و داده‌ها GSM8K بود. یادداشت‌های آزمایشگاه در بخش مراجع، مشخصات ایمیج، نسخه‌ها، مقادیر دانه‌ی تصادفی (Seed) و جدول‌های کامل را در اختیارتان می‌گذارند.

تراشه‌ی GB10 ما زیر ساعت‌ها بار پردازشی داغ می‌کرد؛ بنابراین اسکریپتی کوچک برای محافظت از آن نوشتیم. سه اصطلاح زیر از همان اسکریپت آمده‌اند و بسیاری از داده‌های زمان‌بندی در این راهنما به آن‌ها وابسته‌اند:

محافظ حرارتی (Heat guard): اسکریپتی که با رسیدن دمای GPU به 84 درجه‌ی سلسیوس، کانتینر Miles را متوقف می‌کند و پس از خنک شدن، دوباره کار آن را از سر می‌گیرد. بخش 1.2 نحوه‌ی اجرای آن را نشان می‌دهد.

توقف (Pause): مدت‌زمانی که محافظ حرارتی کانتینر را معلق نگه می‌دارد. این توقف، زمان واقعی (wall-clock) آن مرحله‌ای را که در آن رخ داده است افزایش می‌دهد.

گام تمیز (Clean step): گامی که بازه‌ی زمانی ثبت‌شده‌اش با هیچ وقفه‌ای همپوشانی (Overlap) نداشته است. ما زمان‌ها را بر اساس گام‌های تمیز، یا از اجراهای پیش از افزودن محافظ حرارتی گزارش می‌کنیم. یادداشت‌های آزمایشگاه فرمول و قاعده‌ی دقیق آن را مشخص کرده‌اند.

کتابخانه‌ی Miles برای اجراهای بزرگ ترکیب متخصصان (MoE) روی چندین GPU ساخته شده است و یک GPU نمی‌تواند همه‌ی ابعاد آن را نشان دهد. در هر صفحه مشخص کرده‌ایم چه مواردی را خودمان اندازه گرفته‌ایم و کدام بخش‌ها را صرفاً از روی سورس‌کد بررسی کرده‌ایم.

بررسی کلی یک گام در Miles در راهنمای Inside Miles آمده و حلقه‌ی هم‌مکان (Colocated) در راهنمای SGLang 101، بخش 7.2 توضیح داده شده است؛ این راهنما آن‌ها را تکرار نمی‌کند.

ترتیب بخش‌ها

منابع: manual.json؛ capture/gpu/heat-guard.sh؛ capture/gpu/out-gb10/image-identity.txt؛ capture/gpu/out-gb10/engine-died-count.txt؛ capture/gpu/out-gb10/ray-oom-4b-lowmem.log؛ capture/gpu/miles_grpo.py؛ capture/gpu/summary/miles-gb10-lab.json.

فهرست راهنما

بخش ۱: شروع

یک گام GRPO روی GPU شخصی‌تان، نگهبانی برای توقف اجرای ازکارافتاده، و ده گامی که سلامت اجرا را نشان می‌دهند.

  1. 1.1اجرای GRPO روی یک GPU با ایمیج radixark/miles
  2. 1.2پیش از تنها گذاشتن اجرا، یک واچ‌داگ اضافه کنید
  3. 1.3خواندن 10 گام اول

بخش ۲: تعیین اندازه

آموزش و rollout یک GPU مشترک دارند؛ بنابراین مدلی قابل آموزش است که دو نسخه‌ی آن با هم در حافظه جا شوند.

  1. 2.1انتخاب اندازه‌ی مدل برای یک کارت گرافیک
  2. 2.2انتخاب موارد تخلیه‌ی حافظه بین فازها
  3. 2.3جلوگیری از متوقف‌شدن تسک توسط Ray در حافظه‌ی یکپارچه
  4. 2.4برآورد زمان به‌روزرسانی وزن‌ها

بخش ۳: دستورالعمل‌ها

هر دستورالعمل، فلگ‌های تنظیم، گزینه‌های دست‌نخورده، و معیاری را که کارکرد درست اجرا را اثبات می‌کند مشخص می‌سازد.

  1. 3.1آموزش استدلال ریاضی روی GSM8K
  2. 3.2آموزش با فیلتر DAPO
  3. 3.3آموزش ایجنت با فراخوانی ابزار و نوبت‌های گفت‌وگوی متعدد
  4. 3.4آموزش مدل ترکیبی از متخصصان با بازپخش مسیریابی
  5. 3.5نوشتن تابع پاداش سفارشی

بخش ۵: بررسی اجرا

یک اجرا ممکن است همه‌ی گام‌ها را کامل کند ولی داده‌ی اشتباهی را یاد بگیرد؛ پس قبل از اعتماد به پاداش، نشانه‌ها را بررسی کنید.

  1. 5.1بررسی وضعیت اجرا از روی سیگنال‌های لاگ
  2. 5.2پیش از اعتماد به اجرای آموزش، گام اول را بررسی کنید
  3. 5.3تکرار اجرا و مقایسه

بخش ۶: گسترش به مقیاس بالا

ابزار Miles برای چند GPU طراحی شده است؛ این بخش تصمیمات مرتبط با آن مقیاس و مواردی را که روی یک GPU قابل اندازه‌گیری نبوده‌اند شرح می‌دهد.

  1. 6.1تفکیک مسیر پیش‌روی شبیه‌سازی‌شده و آموزش بین چند GPU
  2. 6.2اجرای ارزیابی بدون متوقف کردن آموزش
  3. 6.3ادامه‌ی اجرای طولانی پس از بروز خرابی
  4. 6.4انتخاب ایمیج مناسب برای GPU

بخش ۷: اشکال‌زدایی

با مشاهده‌ی نشانه‌ها آغاز کنید؛ هر مدخل، علت، روش بررسی و راه‌حل رفع مشکل را ارائه می‌دهد.

  1. 7.1عیب‌یابی بر اساس نشانه‌ها
  2. 7.2حفظ قابلیت مقایسه‌ی اجراها

مرجع: مرجع

فلگ‌ها، معیارها، یادداشت‌های آزمایشگاهی و منابع استفاده‌شده در این راهنما در یک‌جا.

  1. R.1فلگ‌ها بر اساس کاربرد
  2. R.2سنجه‌ها
  3. R.3یادداشت‌های آزمایشگاه
  4. R.4منابع
  5. R.5فهرست شکل‌ها