این راهنما ابتدا یک فرآیند GRPO را روی یک GPU راه میاندازد، سپس نحوهی تعیین اندازه، ارزیابی و رفع اشکال آن را نشان میدهد.
آنچه در 30 دقیقهی اول اجرا میکنید
پنج دستور، یک فرآیند یادگیری تقویتی (Reinforcement Learning) را روی یک GPU آغاز میکنند؛ اینها همان دستورهای بخش 1.1 هستند که تکتک توضیح داده شدهاند. مدلی کوچک، ریاضیات دبستان را یاد میگیرد و لاگها نشان میدهند که پاداش آن بالا میرود. دستور چهارم، ترمینال را تا پایان فرآیند مشغول نگه میدارد. در حین اجرا، ناظر (Watchdog) را طبق بخش 1.2 در ترمینال دوم راه بیندازید؛ چون اگر موتور فرآیند از کار بیفتد، خودش خودبهخود متوقف نمیشود.
docker pull radixark/miles:latest
mkdir -p ~/miles-lab/runs ~/.cache/huggingface && curl -fsSL -o ~/miles-lab/miles_grpo.py https://raw.githubusercontent.com/rohitg00/ai-engineering-from-scratch/main/manuals/miles-101/capture/gpu/miles_grpo.py
cd ~/miles-lab
docker run --rm --name miles-plain --gpus all --ipc=host --shm-size 32g --ulimit memlock=-1 -v "$HOME/miles-lab:/root/lab" -v "$HOME/.cache/huggingface:/root/.cache/huggingface" -e MILES_NUM_ROLLOUT=12 -e MILES_RUN=plain radixark/miles:latest python /root/lab/miles_grpo.py > runs/plain.log 2>&1
grep -o "'rollout/raw_reward': [0-9.]*" runs/plain.log
آنچه پس از این راهنما میتوانید انجام دهید
شما پیشتر با سرو مدل (Model serving) کار کردهاید و مفهوم پاداش را میدانید. اکنون میخواهید مدلی را با یادگیری تقویتی آموزش دهید و میخواهید پیش از اجارهی کلاستر، بدانید کدام تنظیمات واقعاً مهم هستند.
پس از خواندن این راهنما، میتوانید:
- یک فرآیند GRPO را روی یک GPU اجرا کنید و ده گام اول را بخوانید و تحلیل کنید.
- فرآیندی را که پس از ازکارافتادن موتور مسیر پیشروی شبیهسازیشده (Rollout) همچنان بیهوده ادامه دارد، متوقف کنید.
- اندازهی مدلی را انتخاب کنید که هم آموزش و هم مسیر پیشروی شبیهسازیشدهی آن در یک GPU جا شود.
- مطمئن شوید که فرآیند درست کار میکند، نه اینکه فقط در حال اجرا باشد.
- علت شکست فرآیند را از روی اولین نشانهاش پیدا کنید.
یافتههای ما
همهی نتایج این راهنما از اجرا روی یک سیستم بهدست آمدهاند؛ بنابراین در هر صفحه مشخص شده است که این نتایج تا چه حد تعمیمپذیرند. پنج نتیجه، مسیر کار شما را تغییر میدهند:
- فرآیندی که موتورش از کار میافتد، همچنان ادامه مییابد و هرگز با خطا متوقف نمیشود. روی سیستم ما، در مدت 63 دقیقه 200,533 خطا لاگ شد. هر فرآیندی را حتماً با یک ناظر اجرا کنید (بخش 1.2).
- روی یک سیستم 128 گیگابایتی، مدلی با اندازهی 1.7B برای گامهای کوتاه با 256 توکن جا میشود، اما مدل 4B جا نمیشود (بخش 2.1).
- بهروزرسانی وزنها میان ترینر (Trainer) و موتور، کمتر از یک درصد هر گام زمان میبرد. پس اول آموزش و مسیر پیشروی شبیهسازیشده را تنظیم کنید (بخش 2.4).
- استنتاج قطعی (Deterministic) باعث تکرار خروجی موتور میشود و اختلاف میان ترینر و موتور را هم کم نمیکند (بخش 4.5).
- سیستمی که به دلیل گرما کار را متوقف میکند، زمانی اضافه میآورد که کار مفیدی در آن انجام نشده است. اجراها را بر اساس شمارهی گامهای یکسان مقایسه کنید و گامهایی را که دچار توقف حرارتی شدهاند کنار بگذارید (بخش 5.3).
نحوهی آزمایش
ما همهی دستورها را روی یک NVIDIA DGX Spark با تراشهی GB10 و 128 گیگابایت حافظهی اشتراکی میان CPU و GPU اجرا کردیم. مدل مورد استفاده Qwen3-0.6B و دادهها GSM8K بود. یادداشتهای آزمایشگاه در بخش مراجع، مشخصات ایمیج، نسخهها، مقادیر دانهی تصادفی (Seed) و جدولهای کامل را در اختیارتان میگذارند.
تراشهی GB10 ما زیر ساعتها بار پردازشی داغ میکرد؛ بنابراین اسکریپتی کوچک برای محافظت از آن نوشتیم. سه اصطلاح زیر از همان اسکریپت آمدهاند و بسیاری از دادههای زمانبندی در این راهنما به آنها وابستهاند:
محافظ حرارتی (Heat guard): اسکریپتی که با رسیدن دمای GPU به 84 درجهی سلسیوس، کانتینر Miles را متوقف میکند و پس از خنک شدن، دوباره کار آن را از سر میگیرد. بخش 1.2 نحوهی اجرای آن را نشان میدهد.
توقف (Pause): مدتزمانی که محافظ حرارتی کانتینر را معلق نگه میدارد. این توقف، زمان واقعی (wall-clock) آن مرحلهای را که در آن رخ داده است افزایش میدهد.
گام تمیز (Clean step): گامی که بازهی زمانی ثبتشدهاش با هیچ وقفهای همپوشانی (Overlap) نداشته است. ما زمانها را بر اساس گامهای تمیز، یا از اجراهای پیش از افزودن محافظ حرارتی گزارش میکنیم. یادداشتهای آزمایشگاه فرمول و قاعدهی دقیق آن را مشخص کردهاند.
کتابخانهی Miles برای اجراهای بزرگ ترکیب متخصصان (MoE) روی چندین GPU ساخته شده است و یک GPU نمیتواند همهی ابعاد آن را نشان دهد. در هر صفحه مشخص کردهایم چه مواردی را خودمان اندازه گرفتهایم و کدام بخشها را صرفاً از روی سورسکد بررسی کردهایم.
بررسی کلی یک گام در Miles در راهنمای Inside Miles آمده و حلقهی هممکان (Colocated) در راهنمای SGLang 101، بخش 7.2 توضیح داده شده است؛ این راهنما آنها را تکرار نمیکند.
ترتیب بخشها
منابع: manual.json؛ capture/gpu/heat-guard.sh؛ capture/gpu/out-gb10/image-identity.txt؛ capture/gpu/out-gb10/engine-died-count.txt؛ capture/gpu/out-gb10/ray-oom-4b-lowmem.log؛ capture/gpu/miles_grpo.py؛ capture/gpu/summary/miles-gb10-lab.json.