سناریوی رخداد

خطای ایمپورت پاداش و اجرایی که هرگز متوقف نشد

A reward import error and a run that never stopped

  • سطح ۲: میانی
  • سناریوی رخداد
  • ۲۰ دقیقه

وضعیت

تیمی یک تابع پاداش اختصاصی را به یک اجرای GRPO اضافه می‌کند. این تابع درون فایلی در پوشه‌ی lab روی سیستم میزبان (host) قرار دارد و در دستور اجرا با --custom-rm-path my_rewards.custom_rm مشخص شده است. صف اجرا (run queue) جاب را شب‌هنگام آغاز می‌کند. صبح روز بعد، صف نشان می‌دهد که مهلت زمانی جاب به پایان رسیده، با کد 124 برگشته و 0 گام را کامل کرده است. کانتینر حدود 2 ساعت بالا بوده است.

سیستم میزبان واچ‌داگی (watchdog) را نیز اجرا می‌کند که از حادثه‌ای قبلی به جا مانده است؛ اسکریپتی که اگر موتور مسیر پیش‌روی شبیه‌سازی‌شده (rollout engine) از کار بیفتد، اجرا را متوقف می‌کند. این واچ‌داگ فعال نشد. یکی از هم‌تیمی‌ها این موضوع را اثبات سلامت موتور می‌داند، کندی GPU را مقصر می‌شناسد و پیشنهاد می‌کند مهلت زمانی دو برابر شود و جاب را دوباره اجرا کنند.

نسخه
Miles main 08752a12 with its own SGLang 0.5.22 build
مدل
Qwen/Qwen3-0.6B
سخت‌افزار
one GB10 with 128 GB of unified memory

شواهد

errors-by-minute.txt
title: every minute of the log that held a 503 line
source: manuals/miles-101/capture/gpu/out-gb10/custom-rm-noenv-hang.txt
lines: 14-16
lang: text
note: Two minutes hold errors. No other minute of the two hours holds one.
---
503 lines by minute (all from the RolloutExecutor):
     40 2026-10-23 00:24
      4 2026-10-23 00:25
kit-summary.txt
title: the summary that the capture kit wrote for this run
source: manuals/miles-101/capture/gpu/out-gb10/custom-rm-noenv-hang.txt
lines: 1-5
lang: text
note: The first line names the setting that this run did not pass.
---
# custom-rm-noenv: --custom-rm-path my_rewards.custom_rm without -e PYTHONPATH=/root/lab
# run started 2026-10-23T00:19:01Z, container stopped by hand 2026-10-23T02:17Z
# lines with 503 Service Unavailable: 44
# lines with rollout N metrics: 0
# step lines: 0
log-span-and-size.txt
title: the first and the last timestamped line, and the size of the log
source: manuals/miles-101/capture/gpu/out-gb10/custom-rm-noenv-hang.txt
lines: 11-13
lang: text
note: Compare the two timestamps with the queue record, then read the line count.
---
first timestamped line: 2026-10-23 00:19:02
last timestamped line: 2026-10-23 02:17:06
total log lines: 183248
queue-record.txt
title: what the run queue recorded for this run
source: manuals/miles-101/capture/gpu/out-gb10/custom-rm-noenv-hang.txt
lines: 17-19
lang: text
note: RC is the exit code that the queue saw when its time limit came, and steps counts the finished steps.
---
queue log:
2026-10-23T00:19:01Z LC684 RUN custom-rm-noenv
2026-10-23T02:17:10Z LC684 RC 124 custom-rm-noenv steps=0
the-exception.txt
title: the exception from the rollout executor
source: manuals/miles-101/capture/gpu/out-gb10/custom-rm-noenv-hang.txt
lines: 6-7
lang: text
note: Read the module name in the error and the time of the line.
---
(RolloutExecutor pid=2515) [2026-10-23 00:21:09.569 rollout_executor] inference_rollout_train.py:143 - [rollout] Task raised exception: ModuleNotFoundError("No module named 'my_rewards'")
(RolloutExecutor pid=2515) ModuleNotFoundError: No module named 'my_rewards'
watchdog-rule.txt
title: the counting rule of the watchdog
source: manuals/miles-101/capture/gpu/watchdog.sh
lines: 21-27
lang: bash
note: The script counts the 503 lines of the last 60 s and adds a strike when the count is above the limit, which defaults to 100.
---
  if logs=$(docker logs --since 60s "$name" 2>&1); then
    errors=$(printf '%s\n' "$logs" | grep -c "503 Service Unavailable")
    if [ "$errors" -gt "$limit" ]; then
      strikes=$((strikes + 1))
    else
      strikes=0
    fi

سؤال‌ها

  1. کد خروج 124 و تعداد گام صفر است. این جفت داده پیش از باز کردن لاگ به شما چه می‌گوید؟
  2. لاگ شامل 183,248 خط است. آیا این یک قفل‌شدگی (hang) است، کرش (crash) است، یا چیزی دیگر؟ کجای لاگ را اول می‌خوانید؟
  3. خطوط 503 در هر دقیقه را بشمارید و قاعده‌ی واچ‌داگ را دستی اعمال کنید. آیا متوقف نکردن این اجرا اشتباه واچ‌داگ بود؟
  4. متن استثنا را بخوانید. کدام فرایند آن را صادر کرده و چرا نبودِ یک متغیر محیطی به آن فرایند می‌رسد؟
  5. فریم‌ورک Miles پس از خطا به کارش ادامه داد. کدام محافظ (guard) دوم می‌توانست جلوی این اجرا را بگیرد و چه چیزی را زیر نظر دارد؟
  6. پیش از تلاش بعدی چه دستوری را اجرا می‌کنید و کدام خط لاگ ثابت می‌کند مشکل برطرف شده است؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام
  1. بررسی رکورد صف. صف، جاب را در ساعت 00:19:01 آغاز کرده و در ساعت 02:17:10 کد خروج RC 124 را با steps=0 ثبت کرده است. کد 124 مقداری است که خود صف هنگام متوقف کردن جاب به‌دلیل محدودیت زمانی می‌نویسد. بنابراین اجرا به خودی خود تمام نشده و در عرض 2 ساعت حتی یک گام را هم به پایان نرسانده است. زمان بیشتر هم این شمارش را تغییر نمی‌داد.
  2. بررسی بازه و حجم فایل. نخستین خط دارای برچسب زمانی در ساعت 00:19:02 و آخرین خط در 02:17:06 ثبت شده و فایل شامل 183,248 خط است. اجرایی که 2 ساعت لاگی با این حجم تولید می‌کند خواب نرفته است؛ بلکه به کاری مشغول است که از جنس آموزش نیست. علت ماجرا نزدیک به ابتدای لاگ است، نه در انتهای آن.
  3. محاسبه‌ی دستی حساب‌وکتاب واچ‌داگ. لاگ شامل 44 خط 503 Service Unavailable است که 40 خط آن در دقیقه‌ی 00:24 و 4 خط در دقیقه‌ی 00:25 رخ داده است. واچ‌داگ هر 30 ثانیه یک‌بار، 60 ثانیه‌ی گذشته را می‌خواند و تنها در صورتی یک خطا (strike) ثبت می‌کند که تعداد خطاها بالای 100 باشد؛ همچنین به 10 خطای پیاپی نیاز دارد. این اجرا هرگز حتی یک خطا هم نگرفت. عملکرد واچ‌داگ درست بود؛ موتور مسیر پیش‌روی شبیه‌سازی‌شده از کار نیفتاده بود و چنین جهش‌های ناگهانی کوتاهی می‌تواند از یک موتور سالم هم سر بزند.
  4. بررسی استثنا. در ساعت 00:21:09 مجری مسیر پیش‌روی شبیه‌سازی‌شده در لاگ نوشت که یک وظیفه‌ی مسیر پیش‌روی شبیه‌سازی‌شده استثنای ModuleNotFoundError: No module named 'my_rewards' داده است. امتیازدهی به پاسخ‌ها در ورکر‌های Ray اجرا می‌شود و ایمپورت دقیقاً همان‌جا شکست خورده است. پس از این خط، دیگر هیچ خطی با عنوان rollout 0 دیده نمی‌شود، چون به هیچ پاسخی نمی‌توان امتیاز داد. رگبار خطاهای 503 که سه دقیقه بعد رخ داد، در مقایسه با این خط صرفاً نوفه (noise) است.
  5. یافتن آنچه به اجرا ارسال نشده است. خلاصه‌ی کیت به‌روشنی می‌گوید: در اجرا آرگومان --custom-rm-path my_rewards.custom_rm ارسال شده اما -e PYTHONPATH=/root/lab داده نشده است. کانتینر، پوشه‌ی lab را به‌صورت /root/lab می‌بیند، اما پایتون تا زمانی که متغیر محیطی نام این پوشه را نبرد، داخل آن را جست‌وجو نمی‌کند. لانچر، این متغیر را به ورکرهای Ray منتقل می‌کند؛ بنابراین همین یک تنظیم، مشکل ایمپورت را در فرایندی که به آن نیاز دارد حل می‌کند.
  6. شناسایی دلیل متوقف نشدن اجرا. راهنما دقیقاً همین آزمون را ثبت کرده است: پس از این خطا، جاب بدون هیچ گام مسیر پیش‌روی شبیه‌سازی‌شده‌ای تا 2 ساعت بالا ماند و واچ‌داگ هم متوقفش نکرد، چون موتور کلاً 44 خط خطا بیشتر ننوشته بود. واچ‌داگ فقط یک الگوی خرابی را پایش می‌کند: مرگ موتور. اما اجرایی که نمی‌تواند به پاسخ‌هایش امتیاز دهد الگوی متفاوتی دارد: تقریباً بدون خطا و بدون هیچ پیشرفتی.
نتیجه

اجرا در نخستین مسیر پیش‌روی شبیه‌سازی‌شده شکست خورد، چون ماژول پاداش در مسیر پایتون (Python path) ورکرهای Ray نبود. کانتینر را متوقف کنید، آرگومان -e PYTHONPATH=/root/lab را در کنار MILES_EXTRA_ARGS قرار دهید و دوباره شروع کنید. پیش از آن، ایمپورت را با دستور تک‌خطی موجود در راهنما درون کانتینر تست کنید؛ این دستور به یک پاسخ امتیاز می‌دهد و باید 1.0 را چاپ کند. همچنین این تابع را روی 10 پاسخی که خودتان دستی امتیاز داده‌اید اجرا کنید، از جمله یک پاسخ خالی و پاسخی که در سقف مجاز طول متن بریده شده است.

خطی که رفع مشکل را اثبات می‌کند، اولین خط rollout 0 است که مقدار rollout/raw_reward محاسبه‌شده توسط تابع شما را نمایش می‌دهد. سپس دو قاعده برای صف تعریف کنید: خروج ناشی از محدودیت زمانی با steps=0 را به‌جای یک اجرای کند، یک خرابی در نظر بگیرد؛ و اجرایی را که تا 10 دقیقه پس از شروع، خط rollout 0 تولید نکرد متوقف کند، که طبق راهنما نشانه‌ی بالا نیامدن موتور یا ترینر است.

مسیرهای اشتباه رایج
  • «واچ‌داگ متوجه مرگ موتور نشده، پس آستانه‌ی آن را پایین بیاورید.» این اجرا در طول 2 ساعت کلاً 44 خط خطا نوشت که همگی درون بازه‌ای 2 دقیقه‌ای بودند. یک اجرای سالم با 16 پاسخ به ازای هر پرامپت، 2,209 خط خطا در یک دقیقه نوشت. آستانه‌ای که آن‌قدر پایین باشد که 44 خطا را بگیرد، با هر جهش ناگهانی در اجرای سالم فعال می‌شود و باز هم این اجرا را نادیده می‌گیرد، چون در ادامه‌ی آن 2 ساعت کاملاً ساکت ماند.
  • «مهلت زمانی را دو برابر کنید و دوباره شروع کنید.» لاگ بدون هیچ گام تکمیل‌شده‌ای به 183,248 خط رسید. زمان بیشتر فقط خطوط بیشتری می‌خرد و همان تعداد گام را تحویل می‌دهد.
  • «ایمیج را با فایل پاداش در داخل آن بازسازی کنید.» این کار تا تغییر بعدی در پاداش جواب می‌دهد. لانچر همین حالا هم PYTHONPATH را به ورکرهای Ray ارسال می‌کند، بنابراین یک متغیر در دستور اجرا همان راه‌حل اصلی است.
  • «پاداش را به‌شکل یک تابع ساده (plain function) بنویسید تا ایمپورت ساده‌تر شود.» شکست در ایمپورت روی نام ماژول رخ داد، پیش از آنکه تابعی اجرا شود. نوشتن یک تابع ساده بعداً و به‌شکلی دیگر شکست می‌خورد، زیرا Miles منتظر نتیجه می‌ماند.
درس کلی

جابی که نمی‌تواند کارش را شروع کند و متوقف هم نمی‌شود، پرهزینه‌ترین خرابی است؛ زیرا کل سقف زمانی مجاز را مصرف می‌کند بدون آنکه نشانه‌ای بفرستد. هر محافظی یک الگوی خرابی خاص را زیر نظر دارد. محافظ مرگ موتور، خطاها را می‌شمارد، درحالی‌که خطای ایمپورت تقریباً هیچ خطایی تولید نمی‌کند. محافظی برای پیشرفت اضافه کنید، مانند ثبت نخستین گام تا یک مهلت زمانی؛ کد خروج صف را مانند داده بخوانید؛ و لاگ را از ابتدای آن بخوانید، جایی که نخستین استثنا قرار دارد.

کجای دوره آموزش داده می‌شود

راهنمای فریم‌ورک Miles دو تنظیم پاداش اختصاصی را ارائه کرده و این قفل‌شدگی را در صفحه‌ی پاداش اختصاصی توضیح داده است؛ این نشانه را در صفحه‌ی عیب‌یابی بر اساس نشانه‌ها فهرست کرده، قاعده‌ی شمارش خطا را در صفحه‌ی افزودن واچ‌داگ پیاده‌سازی کرده و قاعده‌ی 10 دقیقه برای ثبت نشدن گام نخست را در صفحه‌ی بررسی ده گام نخست مطرح کرده است.