چیت‌شیت

پس‌آموزش RL با Miles

RL Post-Training with Miles

اجرای GRPO روی یک GPU، رصد اجرا، متوقف‌کردن موتور ازکارافتاده و رفع خطاهای رایج.

  • ۱۰ بخش
  • کد و دستورها عیناً از دوره‌ی اصلی
فهرست مطالب
  1. ساختار اجرا روی یک GPU
  2. یک گام GRPO
  3. اولین اجرا، چهار دستور
  4. اجرا و بررسی یک گام
  5. توقف و حفاظت
  6. پیش‌فرض‌های مهم
  7. سیگنال‌ها در اسکریپت‌ها
  8. رفع خطاهای رایج
  9. پرسش‌ها
  10. نکات

ساختار اجرا روی یک GPU

معماری
runمسیر پیش‌روی شبیه‌سازی‌شدهنمونه‌هاخطوطتوقفتوقف موقتشروعHostdocker runContainerradixark/milesموتور مسیر پیش‌روی شبیه‌سازی‌شدهSGLang، حافظه 0.4TrainerFSDP روی یک GPUمحافظ حرارتتوقف موقت در 84 Cسگ نگهبان (Watchdog)10 بررسیراه‌انداز (Launcher)execute_trainلاگ اجراخطوط گام

یک گام GRPO

گام‌به‌گام
  1. مسیر پیش‌روی شبیه‌سازی‌شدهموتور برای هر کدام از 32 پرامپت، 8 پاسخ می‌نویسد.
  2. پاداش--rm-type math به هر پاسخ امتیاز می‌دهد.
  3. آموزشیک به‌روزرسانی روی 256 نمونه.
  4. رصدسگ نگهبان هر 30 ثانیه خطاهای 503 را می‌شمارد.

اولین اجرا، چهار دستور

کد
bash
docker pull radixark/miles:latest                       # تگ تغییر می‌کند، بنابراین دایجست را ذخیره کنید
mkdir -p ~/miles-lab/runs ~/.cache/huggingface          # پوشه آزمایشگاه و حافظه موقت مدل
docker run --rm --name miles-plain --gpus all           # شروع کانتینر با GPUها
grep -o "'rollout/raw_reward': [0-9.]*" runs/plain.log  # پاداش هر گام

اجرا و بررسی یک گام

کار و کد
وظیفهکد
دریافت ایمیج (Pull)docker pull radixark/miles:latest
ساخت پوشه آزمایشگاهmkdir -p ~/miles-lab/runs ~/.cache/huggingface
شروع یک اجراdocker run --rm --name miles-plain --gpus all
خواندن پاداشgrep -o "'rollout/raw_reward': [0-9.]*" runs/plain.log
تنظیم تعداد گام‌ها-e MILES_NUM_ROLLOUT=<steps>
نام‌گذاری اجرا-e MILES_RUN=<name>
تثبیت seed-e MILES_SEED=<seed>
افزودن فلگ‌های Miles-e MILES_EXTRA_ARGS="<flags>"

توقف و حفاظت

دستورها
دستورعملکرد
docker stop "$name"سگ نگهبان پس از رسیدن تعداد خطاها به حد مجاز، اجرا را متوقف می‌کند.
docker pause "$c"محافظ حرارت کانتینر را در 84 C موقتاً متوقف می‌کند.

پیش‌فرض‌های مهم

پیش‌فرض‌ها
تنظیمپیش‌فرضنکته
MILES_NUM_ROLLOUT12گام‌ها در یک اجرا
MILES_MODELQwen3-0.6Bمدلی که راه‌انداز دانلود می‌کند
--rollout-batch-size32پرامپت‌ها در هر گام
--n-samples-per-prompt8پاسخ‌ها به ازای هر پرامپت
--sglang-mem-fraction-static0.4سهم موتور از حافظه GPU
--update-weight-buffer-size536870912اندازه باکت به بایت
Watchdog limit100خطاها در 60 ثانیه که یک خطا (strike) شمرده می‌شوند
Watchdog checks10خطاهای متوالی قبل از توقف

سیگنال‌ها در اسکریپت‌ها

مفهوم‌ها
محافظ حرارت
کانتینر را با رسیدن دمای GPU به 84 C موقتاً متوقف می‌کند.
قانون ادامه‌دادن
محافظ در دمای 74 C یا کمتر پس از 45 ثانیه، یا نهایتاً پس از 120 ثانیه کار را ادامه می‌دهد.
خطا (Strike)
بررسی واحدی که بیش از 100 خط 503 Service Unavailable ثبت کند.
خطاها
خطوط 503 شمرده‌شده در 60 ثانیه آخر لاگ کانتینر.
فایل پایان
محافظ با وجود فایل queue2.done متوقف می‌شود.

رفع خطاهای رایج

عیب‌یابی
  • خروج سگ نگهبان با کد 2

    علت
    خطای Docker ps رخ داد، بنابراین سگ نگهبان اجرا را نمی‌بیند
    راه‌حل
    داکر را اجرا کنید، سپس سگ نگهبان را ری‌استارت کنید
  • چاپ خطای docker logs توسط سگ نگهبان

    علت
    یک بررسی موفق به خواندن لاگ‌ها نشد
    راه‌حل
    این بررسی شمرده نمی‌شود. نام کانتینر را تایید کنید
  • ادامه اجرای فرایند با خطاهای 503

    علت
    موتور مسیر پیش‌روی شبیه‌سازی‌شده از کار افتاده و ترینر مدام درخواست می‌فرستد
    راه‌حل
    سگ نگهبان پس از 10 خطا آن را متوقف می‌کند. خطوط موتور بالاتر از اولین 503 را بخوانید
  • محافظ حرارت هیچ‌وقت متوقف نمی‌شود

    علت
    ایمیج کانتینر radixark/miles:latest نیست
    راه‌حل
    اجرا را با radixark/miles:latest شروع کنید
  • محافظ حرارت بلافاصله خارج می‌شود

    علت
    فایل done از یک نشست قبلی باقی مانده است
    راه‌حل
    Remove queue2.done if no queue uses it
  • کانتینر در حالت توقف موقت باقی می‌ماند

    علت
    محافظ در حالی که کانتینر متوقف بود خاموش شده است
    راه‌حل
    محافظ هنگام خروج کانتینر را ادامه می‌دهد. محافظ را دوباره اجرا کنید
  • محافظ حرارت ادامه نمی‌دهد

    علت
    دمای GPU بالای 74 C باقی مانده است
    راه‌حل
    نهایتاً پس از 120 ثانیه ادامه می‌دهد. دمای GPU را بررسی کنید
  • خطای حافظه در هنگام شروع

    علت
    سهم حافظه موتور برای این GPU خیلی زیاد است
    راه‌حل
    مقدار --sglang-mem-fraction-static را کم کنید

پرسش‌ها

پرسش و پاسخ
چرا حد مجاز 100 است؟
این مقدار پیش‌فرض خطا در 60 ثانیه است. خطاهای بیشتر از آن یک strike شمرده می‌شوند.
چرا 10 بررسی؟
ده خطای متوالی اجرا را متوقف می‌کند.
چرا 30 ثانیه؟
هر بررسی سگ نگهبان 30 ثانیه صبر می‌کند.
چرا محافظ قبل از ادامه‌دادن صبر می‌کند؟
در دمای 74 C پس از 45 ثانیه، یا نهایتاً پس از 120 ثانیه ادامه می‌دهد.

نکات

نکته‌ها
  • برای هر اجرا یک نام MILES_RUN یکتا اختصاص دهید.
  • حاصل‌ضرب 32 پرامپت در 8 پاسخ را برابر با دسته‌ی کلیِ 256 نگه دارید.
  • مقدار MILES_SEED را برای تکرارپذیری اجراها تنظیم کنید.
  • سگ نگهبان را با همان نام کانتینرِ در حال اجرا فعال کنید.
  • قبل از شروع محافظ، در صورتی که هیچ صفی استفاده نمی‌کند، queue2.done را حذف کنید.