سناریوی رخداد

موتور رول‌اوت از کار افتاده و دیده‌بانی که کار را متوقف می‌کند

A dead rollout engine and a watchdog that kills

  • سطح ۳: ارشد
  • سناریوی رخداد
  • ۲۵ دقیقه

وضعیت

تیمی الگوریتم GRPO را روی یک پردازنده‌ی گرافیکی GB10 اجرا می‌کند و برنامه را به مدت یک ساعت به حال خود می‌گذارد. وقتی برمی‌گردند، GPU کاملاً بیکار است، کانتینر همچنان اجرا می‌شود و حجم فایل لاگ به 147 MB رسیده است. در خروجی برنامه هیچ خطایی دیده نمی‌شود. موتور مسیر پیش‌روی شبیه‌سازی‌شده (rollout) با تنظیمی برای اتنشن (attention) راه‌اندازی شده بود که این GPU توان اجرای آن را ندارد؛ بنابراین موتور همان حین بالا آمدن متوقف شد. اما بخش آموزش (trainer) متوقف نشد؛ بلکه مدام به ارسال درخواست به موتورِ ازکارافتاده ادامه داد.

تیم یک دیده‌بان (watchdog) می‌نویسد. این دیده‌بان هر 30 ثانیه یک‌بار، خط‌های خطای 503 Service Unavailable را در 60 ثانیه‌ی گذشته می‌شمارد و اگر در شش بررسی پیاپی بیش از 100 خط از این خطا ببیند، کانتینر را متوقف می‌کند. روز بعد، دیده‌بان در میانه‌ی گام‌ها جلوی اجرای یک برنامه‌ی کاملاً سالم را می‌گیرد که به ازای هر پرامپت (prompt) داشت 16 پاسخ تولید می‌کرد. حالا تیم نه به اجرای برنامه اعتماد دارد و نه به دیده‌بان.

نسخه
Miles main 08752a12 with its own SGLang 0.5.22 build
مدل
Qwen/Qwen3-0.6B
سخت‌افزار
one GB10 with 128 GB of unified memory

شواهد

engine-died.txt
title: the engine failure and the first and last error from the trainer side
source: manuals/miles-101/capture/gpu/out-gb10/engine-died-503.log
lang: text
note: Read the three engine lines first, then compare the timestamps of the last two lines.
---
[2026-10-17 21:03:03] Enable deterministic inference because of legacy rl_on_policy_target.
AssertionError: FlashAttention v3 Backend requires SM>=80 and SM<=90. Please use `--attention-backend flashinfer`.
[2026-10-17 21:03:24] Received sigquit from a child process. It usually means the child failed.
[2026-10-17 21:03:30.637 rollout_executor] http_utils.py:241 - Error: Server error '503 Service Unavailable' for url 'http://172.17.0.3:20035/generate'
[2026-10-17 22:06:46.137 rollout_executor] http_utils.py:241 - Error: Server error '503 Service Unavailable' for url 'http://172.17.0.3:20035/generate'
error-count.txt
title: how many error lines the run wrote
source: manuals/miles-101/capture/gpu/out-gb10/engine-died-count.txt
lines: 1-2
lang: console
note: One grep over the full log of the failed run.
---
$ grep -c "503 Service Unavailable" true-on-policy-fa3.log
200533
errors-per-minute-dead.txt
title: the quietest and the busiest minutes of the dead run
source: manuals/miles-101/capture/gpu/out-gb10/503-bursts.txt
lines: 36-40
lang: console
note: The first two rows are the partial first and last minutes, the last two are full minutes.
---
$ grep "503 Service Unavailable" true-on-policy-fa3.log | grep -o "20[0-9][0-9]-[0-9-]* [0-9][0-9]:[0-9][0-9]" | sort | uniq -c | sort -n | sed -n "1,3p;\$p"
   1838 2026-10-17 21:03
   2281 2026-10-17 22:06
   2669 2026-10-17 21:58
   3719 2026-10-17 21:11
errors-per-minute-healthy.txt
title: the first fifteen minutes of errors in a run that finished every step
source: manuals/miles-101/capture/gpu/out-gb10/503-bursts.txt
lines: 41-56
lang: console
note: Look for the gaps between the minutes, and for the largest count in one minute.
---
$ grep "503 Service Unavailable" e2-n16.log | grep -o "20[0-9][0-9]-[0-9-]* [0-9][0-9]:[0-9][0-9]" | sort | uniq -c
    286 2026-10-22 07:16
    271 2026-10-22 07:17
    686 2026-10-22 07:28
    882 2026-10-22 07:29
     18 2026-10-22 07:30
     61 2026-10-22 07:38
    192 2026-10-22 07:39
     67 2026-10-22 07:40
   1124 2026-10-22 07:51
     84 2026-10-22 07:52
     90 2026-10-22 07:53
   1044 2026-10-22 08:04
    134 2026-10-22 08:14
    572 2026-10-22 08:15
    842 2026-10-22 08:25
replay.txt
title: the watchdog rule replayed on the real error times of the healthy run
source: manuals/miles-101/capture/gpu/out-gb10/503-bursts.txt
lines: 96-101
lang: console
note: Read the second column for each number of checks, then the last column.
---
$ python3 watchdog_replay.py out-gb10/e2-n16-503-per-second.txt
healthy run: 22357 errors from 2026-10-22 07:16:29, checks every 30 s over the last 60 s, limit 100
checks  healthy offsets stopped  most checks in a row  dead engine stopped after
     6  17 of 30                    6                     153 to 182 s
     8   0 of 30                    6                     213 to 242 s
    10   0 of 30                    6                     273 to 302 s
watchdog-test.txt
title: the watchdog against two containers that print the error on purpose
source: manuals/miles-101/capture/gpu/out-gb10/watchdog-test.txt
lang: console
note: The first container never stops printing, the second prints in three bursts of one minute.
---
$ docker run -d --rm --name wd-dead busybox:latest sh -c 'while true; do echo "Error: Server error 503 Service Unavailable for url http://x/generate"; sleep 0.1; done'
$ sh capture/gpu/watchdog.sh wd-dead 100
2026-10-22T15:41:09Z wd-dead: more than 100 errors from the rollout engine in each of 6 checks, last 578 in 60 s, stopping the run
wd-dead
$ echo $?
1
time from start to stop: 183 s

$ docker run -d --rm --name wd-burst busybox:latest sh -c 'for r in 1 2 3; do end=$(( $(date +%s) + 60 )); while [ $(date +%s) -lt $end ]; do echo "Error: Server error 503 Service Unavailable for url http://x/generate"; sleep 0.1; done; sleep 120; done'
$ sh capture/gpu/watchdog.sh wd-burst 100
2026-10-22T15:47:10Z wd-burst: the run ended
$ echo $?
0
time from start to end: 541 s

سؤال‌ها

  1. بخش trainer اصلاً دچار خطا نشد. کدام بخش خطای 503 را برمی‌گرداند و چرا trainer آن را خطایی در نظر گرفت که باید برایش تلاش مجدد کرد؟
  2. صرف شمردن تعداد خطاها نمی‌تواند اجرای خراب را از اجرای سالم جدا کند. کدام ویژگی می‌تواند این کار را انجام دهد و چطور آن را در قالب یک قاعده می‌نویسید؟
  3. قاعده‌ی شش بررسی پیاپی را روی اجرای سالم بازپخش (replay) کنید. چرا این قاعده فعال شد و در چند حالت از 30 نقطه‌ی شروع ممکن، اجرا را متوقف کرد؟
  4. تعداد دفعات بررسی را انتخاب کنید. اگر موتور واقعاً از کار افتاده باشد، هر بررسی اضافه چقدر هزینه دارد؟
  5. اسکریپت با کدهای 0، 1 یا 2 خارج می‌شود. صف اجرای برنامه‌ها با هر کد خروجی باید چه کار کند؟
  6. روی کلاستری با تعداد زیادی GPU چنین اسکریپتی را اجرا نمی‌کنید. چه چیزی جایگزین آن می‌شود و قابلیت تحمل خطای نسخه‌ای که اجرا کردیم چه مواردی را پوشش نمی‌داد؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام

فهرست اول را از بالا بخوانید. موتور، استنتاج قطعی (deterministic) را برای تارگت هم‌سیاست (on-policy) فعال کرد؛ سپس یک assertion مانع ادامه‌ی کار شد: بک‌اند FlashAttention v3 به SM بین 80 و 90 نیاز دارد و GB10 خارج از این محدوده است. فرایند والد یک سیگنال SIGQUIT از فرزند دریافت کرد. از همان لحظه، مجری رول‌اوت در trainer شروع کرد به لاگ کردن خطای 503 Service Unavailable از سمت مسیریاب (router) در آدرس 172.17.0.3:20035. مسیریاب سرویس کوچکی است که هر درخواست رول‌اوت را به یک موتور هدایت می‌کند، و خطای 503 پاسخی است که در صورت در دسترس نبودن هیچ موتوری برمی‌گرداند. کلاینت با دیدن خطای 503 دوباره تلاش می‌کند، چون یک موتور شلوغ هم همین خطا را برمی‌گرداند. فاصله‌ی بین دو خط آخر لاگ 63 دقیقه است (از ساعت 21:03 تا 22:06)، و فهرست دوم نشان می‌دهد که 200,533 خط از این خطا در لاگ ثبت شده است.

فهرست سوم و چهارم این دو اجرا را دقیقه به دقیقه با هم مقایسه می‌کنند. اجرای خراب حتی یک لحظه هم آرام نگرفت. دو دقیقه‌ی ناقص آن شامل 1,838 و 2,281 خطا بود و در هر دقیقه‌ی کامل هم دست‌کم 2,669 تا 3,719 خطا رخ داد. اجرای سالمِ 16 پاسخی در کل 22,357 خطا لاگ کرد، اما به صورت انفجاری: 286 و 271 خطا در دو دقیقه‌ی اول، ده دقیقه بدون هیچ خطایی، سپس 686 و 882، و بعد 18 خطا. در یکی از دقیقه‌ها تعداد خطاها به 2,209 رسید. کلاینت هر درخواست را دوباره ارسال کرد و اجرا تمام گام‌هایش را به پایان رساند. پس تعداد خطا به‌تنهایی معیار تفکیک این دو اجرا نیست؛ زمان است که تفاوت را نشان می‌دهد. موتوری که از کار افتاده در تمام بازه‌ها خطا تولید می‌کند، در حالی که موتور شلوغ خطاها را به صورت انفجاری و همراه با وقفه ثبت می‌کند.

دیده‌بان این رفتار را به یک قاعده تبدیل می‌کند: هر 30 ثانیه خطاهای 60 ثانیه‌ی گذشته را بشمار، و تنها زمانی کار را متوقف کن که تعداد خطاها برای چند بررسی متوالی بالای 100 بماند. فهرست پنجم این سازوکار را روی دو کانتینر بدون GPU آزمایش می‌کند. کانتینری که در هر ثانیه ده خط خطا چاپ می‌کرد، پس از 183 ثانیه و با شش بررسی متوقف شد و اسکریپت با کد 1 پایان یافت. کانتینری که به مدت 60 ثانیه خطا چاپ می‌کرد و سپس دو دقیقه آرام می‌گرفت (و این کار را سه بار تکرار کرد)، بعد از 541 ثانیه کارش به پایان رسید و اسکریپت با کد 0 خارج شد.

فهرست آخر نشان می‌دهد چرا شش بررسی همچنان انتخاب اشتباهی بود. وقتی رفتار دیده‌بان را روی زمان‌های واقعی خطای اجرای سالم و به ازای تک‌تک 30 نقطه‌ی شروع ممکن بازپخش کردیم، مشخص شد که شش بررسی در 17 حالت از 30 حالت، اجرای سالم را متوقف کرده است. دو موج انفجاری خطا با فاصله‌ی 45 ثانیه از هم رخ دادند؛ بنابراین پنجره‌ی 60 ثانیه‌ای برای شش بررسی متوالی پر از خطا ماند. هیچ نقطه‌ی شروعی به بیش از شش بررسی متوالی نرسید. با هشت بررسی، این قاعده در 0 حالت از 30 حالت جلوی اجرای سالم را گرفت، و با ده بررسی هم در 0 حالت از 30 حالت. هزینه‌ی این تغییر، زمانِ تلف‌شده روی موتور ازکارافتاده است: 153 تا 182 ثانیه در حالت شش بررسی، در برابر 273 تا 302 ثانیه در حالت ده بررسی.

نتیجه

موتور به خاطر یک assertion در بک‌اند از کار افتاد، و فرایند اجرا متوجه آن نشد چون خطای 503 از دید کلاینت یعنی موتور درگیر و شلوغ است. راهکار این اجرا این است که خط‌های لاگ موتور را قبل از اولین خطا بخوانید و همان‌طور که پیام assertion گفته، بک‌اند اتنشن را تغییر دهید.

راهکار دیده‌بان، اصلاح تعداد دفعات بررسی است. این عدد را روی 10 بگذارید؛ چون اجرای سالم به بیش از 6 بررسی متوالی نرسید و در 8 یا 10 بررسی، در هیچ‌کدام از 30 بازپخش متوقف نشد؛ از طرفی موتور خراب هم ظرف حدود پنج دقیقه متوقف می‌شود. حد آستانه را روی 100 خطا در بازه‌ی 60 ثانیه‌ای و فاصله‌ی بررسی را روی 30 ثانیه نگه دارید. قبل از اینکه به اسکریپت اعتماد کنید، آن را روی دو کانتینر ساختگی بسنجید و بازپخش لاگ‌های یک اجرای سالم واقعی را هم انجام دهید؛ چرا که کانتینر ساختگیِ انفجاری، وقفه‌های دو دقیقه‌ای داشت که طولانی‌تر از وقفه‌های واقعی 45 ثانیه‌ای بود.

کدهای خروجی را معنادار کنید. کد خروجی 1 یعنی دیده‌بان اجرا را متوقف کرده است؛ بنابراین صف اجرا به سراغ برنامه‌ی بعدی می‌رود و لاگ‌ها را نگه می‌دارد. کد خروجی 0 یعنی اجرا خودش به شکل عادی تمام شده است. کد خروجی 2 یعنی دیده‌بان دسترسی‌اش را به کانتینرها از دست داده، پس اجرا بدون محافظ مانده و نیاز به بررسی انسانی دارد.

مسیرهای اشتباه رایج
  • «اگر تعداد خط‌های 503 در یک دقیقه زیاد شد، هشدار بده.» اجرای سالم در یک دقیقه 2,209 خطا ثبت کرد و تمام گام‌هایش را هم به پایان رساند. تعداد خطا در حالت‌های انفجاری بالا می‌رود؛ سیگنال اصلی فاصله‌ی زمانی بین این موج‌های انفجاری است.
  • «شش بررسی متوالی کافی است، چون تست پاس شد.» کانتینر تستی بین هر موج خطا دو دقیقه مکث داشت. در اجرای واقعی فاصله‌ی موج‌ها 45 ثانیه بود و بازپخش روی زمان‌های واقعی در 17 حالت از 30 حالت هشدار اشتباه داد.
  • «آستانه را آن‌قدر بالا ببرید تا اجرای سالم متوقف نشود.» بیشترین خطای اجرای سالم در یک دقیقه 2,209 بود و آرام‌ترین دقیقه‌ی کامل در اجرای خراب 2,669 خطا داشت. گذاشتن حد آستانه بین این دو عدد فقط برای همین دو اجرا جواب می‌دهد؛ یک موتور خراب کندتر یا یک اجرای سالم شلوغ‌تر این قاعده را به هم می‌زند. قاعده‌ی مبتنی بر زمان به نرخ خطا وابسته نیست.
  • «به جای اسکریپت، تحمل خطا را فعال کنید.» روی یک GPU، وقتی موتور از کار بیفتد کل اجرا از دست رفته است. در نسخه‌ای که ما اجرا کردیم، تحمل خطای رول‌اوت با مجموعه‌ی ارزیابی اختصاصی یا معماری کاملاً ناهمگام هم‌مکان کار نمی‌کرد، و بدون آن trainer مدام به موتوری که مرده درخواست می‌فرستد و هیچ‌وقت متوقف نمی‌شود.
  • «بگذارید دیده‌بان موتور را ری‌استارت کند.» این اسکریپت فقط اجرا را متوقف می‌کند. ریشه‌ی مشکل در خط‌های لاگ موتور قبل از اولین خطا ثبت شده است، و راه‌اندازی دوباره با همان تنظیمات باز هم به همان شکل خراب می‌شود.
درس کلی

بخشی که تلاش مجددِ بی‌نهایت دارد، وابستگی ازکارافتاده را به یک معلق ماندنِ خاموش تبدیل می‌کند؛ در چنین شرایطی تنها سیگنال صادقانه زمان است، نه تعداد خطا. هشدار را بر اساس مدت‌زمان استمرار وضعیت خطا طراحی کنید، قبل از اعتماد به قاعده آن را روی لاگ‌های واقعی اجراهای سالم بازپخش کنید، و به هشدار کد خروجی مشخصی بدهید تا صف اجرای سیستم بتواند بر اساس آن تصمیم بگیرد. در نهایت، همیشه اولین خطا را بخوانید نه آخرین را؛ چون علت اصلی ماجرا بالاتر از همهمه‌ی خطاهای تکراری جا خوش کرده است.

کجای دوره آموزش داده می‌شود

راهنمای Miles ساخت و تست دیده‌بان را در صفحه‌ی دیده‌بان پیاده می‌کند، چک‌پوینت‌ها (checkpoint) و تحمل خطا را در صفحه‌ی مدیریت خرابی‌ها پوشش می‌دهد، دلایل خطای موتور را در صفحه‌ی عیب‌یابی بر اساس نشانه‌ها می‌آورد، خطای 503 را در صفحه‌ی انتخاب مسیریاب توضیح می‌دهد، و درس SRE برای هوش مصنوعی چارچوب طراحی هشدارها را مشخص می‌کند.