وضعیت
یک تیم یادگیری تقویتی (RL) میخواهد حین اجراهای طولانی الگوریتم GRPO، نمرهی دقت مدل را روی یک مجموعهدادهی ریاضی نگهداشتهشده (held-out) بسنجد. پیش از دستزدن به اجرای اصلی و طولانی، دست به اقدام درستی میزنند: فلگهای ارزیابی (eval) را به یک آزمون دود (smoke test) 2گامی اضافه میکنند و بازهی ارزیابی را روی تکتک گامها میگذارند. اما جاب پیش از آنکه گام 0 را تمام کند متوقف میشود؛ آن هم با خطای وظیفهی Ray از سمت تسک ارزیابی، پس از ثبت هزاران خط خطای HTTP 503. فرایند را دوباره اجرا میکنند، ولی جاب دقیقاً به همان شکل متوقف میشود.
در جلسهی بررسی، یکی از مهندسان میگوید موتور مسیر پیشروی شبیهسازیشده (rollout engine) از کار افتاده است، درست مثل ماجرای موتور مرده، و پیشنهاد میدهد تایماوت ناظر (watchdog) تنظیم شود. مهندس دیگری میگوید مجموعهدادهی آزمون برای یک GPU زیادی بزرگ است. مدیر تیم خواهان طرحی است که بدون این ریسک، نمرهی ارزیابی را کنار هر گام از اجرای طولانی بنشاند؛ او همچنین میپرسد این دو تلاش ناموفق چه چیزی را اثبات میکنند و چه چیزی را اثبات نمیکنند.
- نسخه
- Miles main 08752a12 with its own SGLang 0.5.22 build
- مدل
- Qwen/Qwen3-0.6B
- سختافزار
- one GB10 with 128 GB of unified memory
شواهد
- دو تلاش ارزیابی روی موتورهای آموزش، هر دو پیش از گام 0
- دو اجرای 2گامی در همان روز بدون ارزیابی، که به گام 0 و گام 1 رسیدند
- فلگهایی که ارزیابی را روی موتورهای آموزش اجرا میکنند
- نحوهی کارکرد ارزیابی روی موتورهای آموزش، و آنچه روی GB10 رخ داد
- سه جایی که ارزیابی میتواند در آنها اجرا شود، و محدودیتهای ناوگان مجزا
- مسیریاب چیست و خطای 503 از سمت آن چه معنایی دارد
eval-command.txt
title: the flags that run eval on the training engines
source: manuals/miles-101/sections/6-2-run-a-separate-eval-fleet.md
lines: 26-26
lang: text
note: The interval counts steps and the data is the test split that the launcher downloads.
---
-e MILES_EXTRA_ARGS="--eval-interval 10 --eval-prompt-data gsm8k_test /root/lab/datasets/gsm8k/test.parquet"
router-and-503.txt
title: what the router is and what a 503 from it means
source: manuals/miles-101/sections/1-2-add-a-watchdog.md
lines: 40-42
lang: text
note: Two definitions from the watchdog page.
---
**Router:** the small service that forwards each rollout request to an engine. [Section 8.6](#s-which-router-to-use) explains it.
**503 Service Unavailable:** the HTTP status that the router returns when no rollout engine can take the request.
same-day-runs-without-eval.txt
title: two 2-step runs of the same day without eval, which reached step 0 and step 1
source: manuals/miles-101/capture/gpu/out-gb10/tracker-eval-checks.txt
lines: 5-11
lang: text
note: The tracker checks used the same recipe and the same machine, with no eval flags.
---
## wandb with --wandb-group plain (wandb-check.log): step 0: step 1:
W&B offline mode enabled. Data will be saved locally.
debug-internal.log debug.log latest-run offline-run-20261023_034138-mu59u570 offline-run-20261023_034200-mu59u570 offline-run-20261023_034203-mu59u570
## tensorboard (tb-check.log): step 0: step 1:
Saving tensorboard log to /root/lab/runs/plain/tb.
events.out.tfevents.1792727435.c56e30506501.2042.0
events.out.tfevents.1792727457.c56e30506501.2515.0
three-places.txt
title: the three places where eval can run, and the limits of the fleet
source: manuals/miles-101/sections/6-2-run-a-separate-eval-fleet.md
lines: 13-19
lang: text
note: Read the cost column, then the two limits after the table.
---
| Where | How to select it | Cost |
|---|---|---|
| The training engines | the default | rollout production stops while the eval runs |
| A dedicated fleet | `--eval-num-gpus N` | N GPUs of the job go to eval, and training never stops for it |
| Your own service | `--eval-function-path` set to a checkpoint eval function | only the checkpoint export |
You cannot select the fleet together with a checkpoint eval function for your own service. Rollout fault tolerance from [section 6.3](#s-survive-failures) also does not work with a fleet.
two-eval-tries.txt
title: two tries of eval on the training engines, both before step 0
source: manuals/miles-101/capture/gpu/out-gb10/tracker-eval-checks.txt
lines: 12-17
lang: text
note: Read the step count, the count of 503 lines, and the exception that ended each job.
---
## eval-check: --eval-interval 1 --eval-prompt-data gsm8k_test test.parquet, steps 0, 503 lines 5311
ray.exceptions.RayTaskError: ray::RolloutExecutor.eval() (pid=2511, ip=172.17.0.3, actor_id=30ef216341789a5b8b87b1890200
raise HTTPStatusError(message, request=request, response=self)
## eval-check2: --eval-interval 1 --eval-prompt-data gsm8k_test test.parquet, steps 0, 503 lines 4339
ray.exceptions.RayTaskError: ray::RolloutExecutor.eval() (pid=2514, ip=172.17.0.3, actor_id=4372e0e5a72e9357095709160200
raise HTTPStatusError(message, request=request, response=self)
what-the-manual-saw.txt
title: how eval on the training engines works, and what happened on the GB10
source: manuals/miles-101/sections/6-2-run-a-separate-eval-fleet.md
lines: 31-33
lang: text
note: The second paragraph is the manual's own record of this failure.
---
Rollout stops while the eval runs, and requests that are already running finish first. The engines already hold the current weights, so no extra weight transfer happens. Use this mode on one GPU, and for small eval sets.
This command did not work on our GB10. We ran it twice on a 2-step run with `--eval-interval 1`. Both times the first eval sent the 1,319 test questions, the router answered with `503 Service Unavailable`, and the job stopped before step 0. We did not find the cause. Test the eval on a 2-step run before you add it to a long run.
سؤالها
- این خرابی را با اجرایی که موتورش از کار افتاده بود مقایسه کنید. کدام مؤلفه خطا صادر کرد (raise)، کدام مؤلفه تلاش مجدد (retry) انجام داد، و چرا این جاب متوقف شد در حالی که آن یکی یک ساعت معلق (hang) ماند؟
- همان دستورالعمل در همان روز دو بار بدون فلگهای ارزیابی اجرا شد. این دو اجرا چه احتمالاتی را منتفی میکنند؟
- مشخص کنید این دو تلاش ناموفق چه چیزی را دربارهی مسیریاب (router) و کلاینت ارزیابی اثبات میکنند، و آن یک موردی که اثبات نمیکنند چیست.
- در این چینش کدام مؤلفه پاسخ 503 داد، و چرا تعداد این خطوط، علت خرابی را مشخص نمیکند؟
- سه جایی را که ارزیابی میتواند در آنها اجرا شود به همراه هزینه و محدودیتهای هر کدام بنویسید، و یکی را برای اجرای طولانی روی این ماشین انتخاب کنید.
- گیت کیفیتی (gate) را مشخص کنید که هر پیکربندی ارزیابی پیش از پیوستن به اجرای طولانی باید از آن عبور کند، و بگویید چه نشانهای قبولی آن را اثبات میکند.
اول شواهد را بخوانید و به سؤالها جواب بدهید، بعد راهحل را باز کنید.
راهحل گامبهگام
- بررسی دو تلاش ناموفق. هر دو بار، دستورالعمل 2گامی با
--eval-interval 1و فایل آزمون GSM8K اجرا شد. هر دو در گام صفر متوقف شدند. تلاش اول 5311 خط خطای503 Service Unavailableثبت کرد و تلاش دوم 4339 خط، و هر دو با خطایray.exceptions.RayTaskErrorناشی از یکHTTPStatusErrorدرونRolloutExecutor.eval()خاتمه یافتند. کلاینت ارزیابی با دریافت این کد وضعیت، خطا بالا آورد. این جاب معلق نماند، بلکه با خطا روبهرو شد و ایستاد. در اجرایی که موتورش از کار افتاده بود، مسیر rollout آموزش همان کد وضعیت را 63 دقیقه مدام امتحان کرد و هرگز خطایی صادر نکرد. دو مسیر مختلف، با دو رفتار متفاوت در برابر یک کد وضعیت یکسان. - بررسی اجراهای بدون ارزیابی. بررسیهای سیستم رهگیری در همان روز، همان دستورالعمل 2گامی را روی همان ایمیج و ماشین اجرا کرده و لاگهای
step 0وstep 1را ثبت کرده بودند. تفاوت آنها با تلاشهای ناموفق فقط در فلگهای ارزیابی بود. بنابراین خود دستورالعمل، راهاندازی موتور و ترینر در آن روز سالم بودند. همان فلگهای ارزیابی تغییری بودند که جاب را خراب کردند. - بررسی بستههای ارسالی ارزیابی. دستور ثبتشده، بازهی ارزیابی را بر حسب گام تعیین میکند و نام برش آزمونی (test split) را که لانچر دانلود میکند مشخص میسازد. با تنظیم بازه روی 1، اولین ارزیابی بیدرنگ اجرا شد و مستندات نشان میدهد که 1319 سوال آزمون ارسال شده و مسیریاب به آنها پاسخ 503 داده است. کل این حجم ناگهانی ترافیک همین بود: یک دور ارزیابیِ 1319 پرامپت، که به بسیاری از آنها پاسخ رد داده شد و در قالب 5311 و 4339 خط خطا ثبت شد.
- تفکیک موارد اثباتشده از موارد اثباتنشده. مسیریاب سرویس کوچکی است که هر درخواست rollout را به یک موتور میفرستد، و پاسخ 503 همان پاسخی است که وقتی هیچ موتوری نتواند درخواست را بپذیرد، برمیگرداند. بنابراین، شواهد اثبات میکنند که در لحظهی ارزیابی، مسیریاب هیچ موتوری در دسترس نداشته که آن درخواستها را تحویل بگیرد، و کلاینت ارزیابی هم این وضعیت را یک خطای مهلک تلقی میکند. اما این دادهها اثبات نمیکنند که چرا موتور در آن لحظه در دسترس نبوده است. راهنما این فرایند را دو بار اجرا کرده و به علت اصلی نرسیده است. بنابراین طرحی که بر پایهی دانستن این علت چیده شود، در حال حاضر قابل اجرا نیست.
- بررسی سه محل اجرای ارزیابی. روی موتورهای آموزش (حالت پیشفرض): تولید rollout در محیط عملیاتی در حین اجرای ارزیابی متوقف میشود؛ موتورها وزنهای فعلی را در خود دارند، اما این مسیر روی این ماشین دو بار شکست خورد. روی ناوگان اختصاصی (dedicated fleet): دستور
--eval-num-gpus Nتعداد N پردازندهی گرافیکی از جاب را به ارزیابی اختصاص میدهد و فرایند آموزش هرگز به خاطر آن متوقف نمیشود؛ معیارeval/lag_stepsنشان میدهد هر نمره چقدر با تأخیر میرسد، اما این ناوگان را نمیتوان با تابع ارزیابی چکپوینت ترکیب کرد و قابلیت تحمل خطای rollout نیز با آن کار نمیکند. از طریق سرویس اختصاصی خودتان: فلگ--eval-function-pathیک تابع ارزیابی چکپوینت را اجرا میکند و هزینهی آن صرفاً برونریزی چکپوینت (checkpoint export) است. - بررسی دو پیشنهاد ارائهشده. ناظر وظیفهی مراقبت از اجرایی را دارد که هرگز متوقف نمیشود. این جاب خودش متوقف شد، بنابراین ناظر کانتینری پیدا نمیکند و خارج میشود. اندازهی مجموعهدادهی آزمون هم صرفاً یک حدس بدون پشتوانهی سنجش است؛ چون راهنما علت را ایزوله نکرده و تنها راه ارزیابی این حدس، اجرای همان آزمون دود 2گامی با مجموعهای کوچکتر است.
نتیجه
این دو تلاش اثبات میکنند که ارزیابی روی موتورهای آموزش، روی این ماشین در همان ارزیابی اول، بهصورت پر سر و صدا و پیش از گام 0 با شکست مواجه میشود و علتش همچنان نامشخص است. تیم نباید این حالت را به اجرای طولانی ببرد؛ آزمون دود هم با شکست زودهنگام خود دقیقاً رسالتش را انجام داد. برای اجرای طولانی روی یک GB10، ارزیابی را با --eval-function-path از طریق تابع ارزیابی چکپوینت اجرا کنید؛ این روش فقط هزینهی برونریزی چکپوینت را دارد و موتورهای آموزش را از فرایند ارزیابی دور نگه میدارد. هر زمان GPU دوم در دسترس قرار گرفت، از یک ناوگان اختصاصی با --eval-num-gpus 1 استفاده کنید، با --eval-sglang-mem-fraction-static 0.9 سهم حافظهی مستقل به موتورهایش بدهید، مقدار eval/lag_steps را بخوانید و بپذیرید که در این ساختار، قابلیت تحمل خطای rollout غیرفعال خواهد بود.
گیت کیفیت دستنخورده میماند: هر تنظیمات ارزیابی جدید، اول باید روی دستورالعمل 2گامی با بازهی 1 اجرا شود و فقط وقتی قبول میشود که لاگها عبور از step 0 و step 1 و ثبت نمرهی ارزیابی را بدون هیچگونه RayTaskError نشان دهند. ناظر را برای سناریوی مرگ موتور نگه دارید؛ آن یک خرابی کاملاً متفاوت با الگویی دیگر است.
مسیرهای اشتباه رایج
- «موتور از کار افتاده، تایماوت ناظر را دستکاری کنید.» جاب در همان گام اول خطا داد و متوقف شد. ناظر برای حالت معکوس است؛ یعنی وقتی جاب به ارسال درخواست به یک موتور ازدسترفته ادامه میدهد و هیچوقت متوقف نمیشود.
- «مجموعهی آزمون را به چند صد سوال کاهش دهید و اجرای طولانی را کلید بزنید.» علت مشخص نیست؛ بنابراین کوچککردن دیتاست فقط یک حدس است. ابتدا آن را روی دستورالعمل 2گامی آزمایش کنید؛ فقط در صورت قبولی حق ورود به اجرای طولانی را دارد.
- «بازه را روی 10 بگذارید تا ارزیابی با فاصلهی بیشتری اجرا شود.» خرابی در همان اولین ارزیابی رخ داد. بازهی طولانیتر فقط نخستین ارزیابی را به مراحل بعدی اجرای طولانی موکول میکند؛ جایی که توقفی از همین جنس، کار انجامشده در تمام گامهای قبلی را به باد میدهد.
- «ناوگان اختصاصی را همراه با تحمل خطای rollout به کار بگیرید.» تحمل خطای rollout در این نسخه با ناوگان اختصاصی کار نمیکند. باید یکی را انتخاب کنید.
- «ارزیابی روی موتورهای آموزش رایگان است، چون وزنها از قبل روی آنها قرار دارد.» این کار تولید rollout را در تمام مدت ارزیابی متوقف میکند، و روی این ماشین کلاً جاب را متوقف کرد.
درس کلی
آزمون دودی که شکست میخورد خودش یک نتیجه است، نه اتلاف وقت. آنچه را که شکست ثابت میکند و آنچه را که باز و بلاتکلیف میگذارد ثبت کنید، و به جای حدسزدن، معماری را طوری بچینید که این ابهام را دور بزند. وقتی یک وابستگی به دو کلاینت خطای یکسانی میدهد، بررسی کنید هر کلاینت با آن چه رفتاری دارد؛ تلاش مجدد، قطعی را به معلقماندن (hang) تبدیل میکند و بالاآوردن خطا آن را به توقفی سریع بدل میسازد. کاری را که نباید متوقف شود (اینجا آموزش) از کاری که ممکن است خطا بدهد (اینجا ارزیابی) روی موتورهای جداگانه ببرید، و بگذارید هر پیکربندی تازه، اعتبارش را در همان آزمون کوتاه به دست بیاورد.
کجای دوره آموزش داده میشود
راهنمای Miles سه روش اجرای ارزیابی را شرح داده و لاگهای این دو تلاش ناموفق را در صفحهی ناوگان ارزیابی مجزا آورده است، نقش مسیریاب و خطای 503 را در صفحهی ناظر تعریف میکند و محدودیتهای تحمل خطا را در صفحهی خرابیها توضیح میدهد.