چیتشیت
پسآموزش RL با Miles
RL Post-Training with Miles
اجرای GRPO روی یک GPU، رصد اجرا، متوقفکردن موتور ازکارافتاده و رفع خطاهای رایج.
فهرست مطالب
ساختار اجرا روی یک GPU
معمارییک گام GRPO
گامبهگام- مسیر پیشروی شبیهسازیشدهموتور برای هر کدام از 32 پرامپت، 8 پاسخ مینویسد.
- پاداش
--rm-type mathبه هر پاسخ امتیاز میدهد. - آموزشیک بهروزرسانی روی 256 نمونه.
- رصدسگ نگهبان هر 30 ثانیه خطاهای 503 را میشمارد.
اولین اجرا، چهار دستور
کدbash
docker pull radixark/miles:latest # تگ تغییر میکند، بنابراین دایجست را ذخیره کنید
mkdir -p ~/miles-lab/runs ~/.cache/huggingface # پوشه آزمایشگاه و حافظه موقت مدل
docker run --rm --name miles-plain --gpus all # شروع کانتینر با GPUها
grep -o "'rollout/raw_reward': [0-9.]*" runs/plain.log # پاداش هر گام
اجرا و بررسی یک گام
کار و کد| وظیفه | کد |
|---|---|
| دریافت ایمیج (Pull) | docker pull radixark/miles:latest |
| ساخت پوشه آزمایشگاه | mkdir -p ~/miles-lab/runs ~/.cache/huggingface |
| شروع یک اجرا | docker run --rm --name miles-plain --gpus all |
| خواندن پاداش | grep -o "'rollout/raw_reward': [0-9.]*" runs/plain.log |
| تنظیم تعداد گامها | -e MILES_NUM_ROLLOUT=<steps> |
| نامگذاری اجرا | -e MILES_RUN=<name> |
| تثبیت seed | -e MILES_SEED=<seed> |
| افزودن فلگهای Miles | -e MILES_EXTRA_ARGS="<flags>" |
توقف و حفاظت
دستورها| دستور | عملکرد |
|---|---|
docker stop "$name" | سگ نگهبان پس از رسیدن تعداد خطاها به حد مجاز، اجرا را متوقف میکند. |
docker pause "$c" | محافظ حرارت کانتینر را در 84 C موقتاً متوقف میکند. |
پیشفرضهای مهم
پیشفرضها| تنظیم | پیشفرض | نکته |
|---|---|---|
MILES_NUM_ROLLOUT | 12 | گامها در یک اجرا |
MILES_MODEL | Qwen3-0.6B | مدلی که راهانداز دانلود میکند |
--rollout-batch-size | 32 | پرامپتها در هر گام |
--n-samples-per-prompt | 8 | پاسخها به ازای هر پرامپت |
--sglang-mem-fraction-static | 0.4 | سهم موتور از حافظه GPU |
--update-weight-buffer-size | 536870912 | اندازه باکت به بایت |
Watchdog limit | 100 | خطاها در 60 ثانیه که یک خطا (strike) شمرده میشوند |
Watchdog checks | 10 | خطاهای متوالی قبل از توقف |
سیگنالها در اسکریپتها
مفهومها- محافظ حرارت
- کانتینر را با رسیدن دمای GPU به 84 C موقتاً متوقف میکند.
- قانون ادامهدادن
- محافظ در دمای 74 C یا کمتر پس از 45 ثانیه، یا نهایتاً پس از 120 ثانیه کار را ادامه میدهد.
- خطا (Strike)
- بررسی واحدی که بیش از 100 خط
503 Service Unavailableثبت کند. - خطاها
- خطوط 503 شمردهشده در 60 ثانیه آخر لاگ کانتینر.
- فایل پایان
- محافظ با وجود فایل
queue2.doneمتوقف میشود.
رفع خطاهای رایج
عیبیابیخروج سگ نگهبان با کد 2
- علت
- خطای Docker ps رخ داد، بنابراین سگ نگهبان اجرا را نمیبیند
- راهحل
- داکر را اجرا کنید، سپس سگ نگهبان را ریاستارت کنید
چاپ خطای docker logs توسط سگ نگهبان
- علت
- یک بررسی موفق به خواندن لاگها نشد
- راهحل
- این بررسی شمرده نمیشود. نام کانتینر را تایید کنید
ادامه اجرای فرایند با خطاهای 503
- علت
- موتور مسیر پیشروی شبیهسازیشده از کار افتاده و ترینر مدام درخواست میفرستد
- راهحل
- سگ نگهبان پس از 10 خطا آن را متوقف میکند. خطوط موتور بالاتر از اولین 503 را بخوانید
محافظ حرارت هیچوقت متوقف نمیشود
- علت
- ایمیج کانتینر radixark/miles:latest نیست
- راهحل
- اجرا را با radixark/miles:latest شروع کنید
محافظ حرارت بلافاصله خارج میشود
- علت
- فایل done از یک نشست قبلی باقی مانده است
- راهحل
- Remove queue2.done if no queue uses it
کانتینر در حالت توقف موقت باقی میماند
- علت
- محافظ در حالی که کانتینر متوقف بود خاموش شده است
- راهحل
- محافظ هنگام خروج کانتینر را ادامه میدهد. محافظ را دوباره اجرا کنید
محافظ حرارت ادامه نمیدهد
- علت
- دمای GPU بالای 74 C باقی مانده است
- راهحل
- نهایتاً پس از 120 ثانیه ادامه میدهد. دمای GPU را بررسی کنید
خطای حافظه در هنگام شروع
- علت
- سهم حافظه موتور برای این GPU خیلی زیاد است
- راهحل
- مقدار
--sglang-mem-fraction-staticرا کم کنید
پرسشها
پرسش و پاسخ- چرا حد مجاز 100 است؟
- این مقدار پیشفرض خطا در 60 ثانیه است. خطاهای بیشتر از آن یک strike شمرده میشوند.
- چرا 10 بررسی؟
- ده خطای متوالی اجرا را متوقف میکند.
- چرا 30 ثانیه؟
- هر بررسی سگ نگهبان 30 ثانیه صبر میکند.
- چرا محافظ قبل از ادامهدادن صبر میکند؟
- در دمای 74 C پس از 45 ثانیه، یا نهایتاً پس از 120 ثانیه ادامه میدهد.
نکات
نکتهها- برای هر اجرا یک نام
MILES_RUNیکتا اختصاص دهید. - حاصلضرب 32 پرامپت در 8 پاسخ را برابر با دستهی کلیِ 256 نگه دارید.
- مقدار
MILES_SEEDرا برای تکرارپذیری اجراها تنظیم کنید. - سگ نگهبان را با همان نام کانتینرِ در حال اجرا فعال کنید.
- قبل از شروع محافظ، در صورتی که هیچ صفی استفاده نمیکند،
queue2.doneرا حذف کنید.