وقتی موتور مسیر پیشروی شبیهسازیشده (rollout engine) از کار میافتد، اجرای Miles با خطا متوقف نمیشود؛ بنابراین باید یک اسکریپت کوچک این کار را برایتان انجام دهد.
ما یک اجرا را به مدت یک ساعت به حال خود رها کردیم. وقتی برگشتیم، GPU بیکار مانده بود و حجم فایل لاگ به 147 MB رسیده بود. موتور مسیر پیشروی شبیهسازیشده همان ابتدای راهاندازی از کار افتاده بود و فرایند اجرا در تمام این مدت مدام به آن درخواست میفرستاد.
پس از پایان این بخش، میتوانید اجرایی را که موتورش از کار افتاده تشخیص دهید. همچنین میتوانید یک دیدهبان یا واچداگ (watchdog) راه بیندازید تا چنین اجرایی را ظرف چند دقیقه متوقف کند.
نتیجهی ما: اجرایی که موتورش از کار افتاده بود، در مدت 63 دقیقه تعداد 200,533 خطای HTTP 503 ثبت کرد و هرگز متوقف نشد. واچداگ در آزمایشی با همین خطا، اجرا را ظرف 183 ثانیه متوقف کرد. بازپخش (replay) یک اجرای سالم نشان داد که شش بار بررسی پیاپی کم است؛ بنابراین اسکریپت ده بار بررسی را ملاک قرار میدهد.
نشانههای از کار افتادن موتور
در اجرای زیر تنظیمی به کار رفته بود که این GPU توان اجرای آن را ندارد. موتور مسیر پیشروی شبیهسازیشده در همان زمان راهاندازی متوقف شد. اما فرایند آموزش (trainer) متوقف نشد و به مدت 63 دقیقه به ارسال درخواست به موتور ادامه داد:
[2026-10-17 21:03:03] Enable deterministic inference because of legacy rl_on_policy_target.
AssertionError: FlashAttention v3 Backend requires SM>=80 and SM<=90. Please use `--attention-backend flashinfer`.
[2026-10-17 21:03:24] Received sigquit from a child process. It usually means the child failed.
[2026-10-17 21:03:30.637 rollout_executor] http_utils.py:241 - Error: Server error '503 Service Unavailable' for url 'http://172.17.0.3:20035/generate'
[2026-10-17 22:06:46.137 rollout_executor] http_utils.py:241 - Error: Server error '503 Service Unavailable' for url 'http://172.17.0.3:20035/generate'سه خط اول مربوط به خرابی موتور است. دو خط آخر نخستین و آخرین خطای سمت ترینر با فاصله زمانی 63 دقیقه هستند.
$ grep -c "503 Service Unavailable" true-on-policy-fa3.log
200533یک دستور grep روی کل لاگ آن اجرا.
این اجرا 200,533 خط لاگ خطا ثبت کرد و هرگز گزارشی از شکست یا خطا نداد.
مسیریاب (Router): سرویس کوچکی که هر درخواست مسیر پیشروی شبیهسازیشده را به یک موتور هدایت میکند. در بخش 8.6 آن را توضیح دادهایم.
کد وضعیت 503 Service Unavailable: وضعیت HTTP که مسیریاب در زمان ناتوانی موتورها در تحویل گرفتن درخواست برمیگرداند.
چرا واچداگ ده بار بررسی را ملاک قرار میدهد؟
در 17 اجرای ما که بهصورت عادی تمام شدند، حتی یک خط 503 Service Unavailable در لاگ دیده نشد. اما اجرای 16 پاسخی ما در بخش 3.1، تعداد 22,357 خط از این خطا ثبت کرد. این خطاها بهصورت رگباری در بازههایی تا حدود 60 ثانیه رخ میدادند و تعدادشان در یک دقیقه به 2,209 خطا میرسید. کلاینت هر درخواست را دوباره امتحان میکرد و اجرا همهی گامهای خود را به پایان رساند.
در اجرای ناموفق، خطاها هیچوقت قطع نشدند. در تمام طول 63 دقیقه، در هر دقیقهی کامل دستکم 2,669 خطا ثبت شده بود.
تنها با شمردن تعداد خطاها نمیتوان تفاوت این دو اجرا را فهمید، اما زمان وقوع خطاها این امکان را میدهد. واچداگ هر 30 ثانیه یکبار، خطاهای 60 ثانیهی گذشته را میشمارد. این اسکریپت فقط زمانی اجرا را متوقف میکند که در تعداد مشخصی بررسی پیاپی، این تعداد از 100 بیشتر باشد.
$ python3 watchdog_replay.py out-gb10/e2-n16-503-per-second.txt
healthy run: 22357 errors from 2026-10-22 07:16:29, checks every 30 s over the last 60 s, limit 100
checks healthy offsets stopped most checks in a row dead engine stopped after
6 17 of 30 6 153 to 182 s
8 0 of 30 6 213 to 242 s
10 0 of 30 6 273 to 302 sزمانهای خطای واقعی در اجرای 16پاسخی برای هر 30 زمان شروع بررسیها. ستون آخر مربوط به موتوری ازکارافتاده است که چاپ خطایش هرگز متوقف نمیشود.
ما این قاعده را روی زمان واقعی خطاهای همان اجرای سالم سنجیدیم. با 6 بار بررسی، اسکریپت در 17 حالت از 30 حالت اجرا را متوقف کرد؛ چون دو رگبار خطا تنها 45 ثانیه با هم فاصله داشتند. در هیچ حالتی تعداد بررسیهای پیاپی به بیش از 6 نرسید. با 10 بار بررسی، هیچ موردی اجرای سالم را متوقف نکرد؛ در عین حال، موتور ازکارافتاده هم ظرف حدود پنج دقیقه متوقف میشود.
راهاندازی واچداگ
این اسکریپت هر 30 ثانیه یکبار، لاگهای 60 ثانیهی گذشتهی کانتینر را میخواند. اگر در تعداد مشخصی بررسی پیاپی تعداد خطاها از حد مجاز بگذرد، کانتینر را متوقف میکند.
اگر خود Docker با مشکل مواجه شود، اسکریپت آن را گزارش میدهد. در صورتی که نتواند فهرست کانتینرها را بگیرد، با کد خروج 2 خارج میشود. خواندن ناموفق لاگ بهمنزلهی یک بررسی به حساب نمیآید. اسکریپت برای مقادیر نامعتبرِ حد آستانه یا تعداد بررسی هم با کد 2 خارج میشود: مثلاً مقداری که عدد صحیح نباشد یا 0 بار بررسی.
مقدار سوم تعداد بررسیهای پیاپی است. پیشفرض آن 10 است؛ مقداری که اجرای سالم در بازپخش ما هیچگاه به آن نرسید:
#!/bin/sh
name=${1:-miles-plain}
limit=${2:-100}
checks=${3:-10}
for value in "$limit" "$checks"; do
case $value in
''|*[!0-9]*|??????????*) echo "limit and checks must be whole numbers below one billion"; exit 2;;
esac
done
if [ "$checks" -lt 1 ]; then
echo "checks must be 1 or more"
exit 2
fi
strikes=0
while :; do
if ! running=$(docker ps -q --filter "name=^${name}$"); then
echo "$(date -u +%FT%TZ) $name: docker ps failed, the watchdog cannot see the run and stops"
exit 2
fi
[ -n "$running" ] || break
if logs=$(docker logs --since 60s "$name" 2>&1); then
errors=$(printf '%s\n' "$logs" | grep -c "503 Service Unavailable")
if [ "$errors" -gt "$limit" ]; then
strikes=$((strikes + 1))
else
strikes=0
fi
else
echo "$(date -u +%FT%TZ) $name: docker logs failed, this check does not count"
fi
if [ "$strikes" -ge "$checks" ]; then
echo "$(date -u +%FT%TZ) $name: more than $limit errors from the rollout engine in each of $checks checks, last $errors in 60 s, stopping the run"
docker stop "$name"
exit 1
fi
sleep 30
done
echo "$(date -u +%FT%TZ) $name: the run ended"
آن را در مسیر ~/miles-lab/watchdog.sh ذخیره کنید، یا همین اسکریپت را دانلود کنید:
curl -fsSL -o ~/miles-lab/watchdog.sh https://raw.githubusercontent.com/rohitg00/ai-engineering-from-scratch/main/manuals/miles-101/capture/gpu/watchdog.sh
بلافاصله بعد از شروع اجرا، آن را در یک ترمینال دوم با نام کانتینرِ برگرفته از بخش 1.1 اجرا کنید:
sh ~/miles-lab/watchdog.sh miles-plain 100 10
ابتدا واچداگ را آزمایش کنید
آن را روی دو کانتینر که عمداً این خطا را چاپ میکنند آزمایش کنید. این کار نیازی به GPU ندارد. کانتینر اول درست مثل یک موتور ازکارافتاده، در هر ثانیه ده خط خطا چاپ میکند و متوقف نمیشود:
$ sh capture/gpu/watchdog.sh wd-dead 100
2026-10-22T15:41:09Z wd-dead: more than 100 errors from the rollout engine in each of 6 checks, last 578 in 60 s, stopping the run
wd-dead
$ echo $?
1کانتینر در هر ثانیه ده خط خطا چاپ میکند.
واچداگ 183 ثانیه پس از شروع، کانتینر را متوقف کرد و با کد 1 خارج شد. ما این آزمایش را پیش از افزایش مقدار پیشفرض به 10 انجام دادیم، بنابراین از 6 بار بررسی استفاده کرد. با 10 بار بررسی، همین قاعده به چهار بررسی بیشتر نیاز دارد و حدود دو دقیقه دیرتر متوقف میشود. اسکریپتی که اجراها را پشتسرهم شروع میکند میتواند این کد خروج را بخواند و سراغ اجرای بعدی برود. کد خروج 2 یعنی ارتباط واچداگ با Docker قطع شده و اجرا محافظی ندارد.
کانتینر دوم به مدت 60 ثانیه خطا چاپ میکند و سپس دو دقیقه آرام میگیرد. این کار را سه بار انجام میدهد؛ درست مثل رگبار خطاهای یک موتور شلوغ. واچداگ اجازه داد این کانتینر کارش را پس از 541 ثانیه به پایان برساند و با کد 0 خارج شد. این بازههای آرامش دو دقیقهای طولانیتر از فاصلهی واقعی 45 ثانیهای هستند، بنابراین آزمایش را با بازپخش بالا هم انجام دهید.
محافظت از دمای GPU
پردازندهی گرافیکی GB10 ما زیر بار کاریِ چندساعته بارها به دمای 84 درجهی سانتیگراد رسید. محافظ حرارتیِ معرفیشده در بخش مقدماتی، در طول پنج روز اجراهای ما را 1,005 بار متوقف موقت (pause) کرد. آن را روی GB10 یا هر GPU دیگری که وقتی ساعتها به حال خود رها میشود داغ میکند، راه بیندازید. یک اجرای کوتاه با چند گام نیازی به آن ندارد.
اسکریپتی را که ما اجرا کردیم دانلود کنید و آن را در ترمینال سوم روی سیستم میزبان (نه داخل کانتینر) اجرا کنید. بخش rm فایل توقفی را که ممکن است از نشست (session) قبلی به جا مانده باشد پاک میکند؛ چرا که اسکریپت با دیدن این فایل فوراً بسته میشود. این فایل را فقط زمانی پاک کنید که هیچ صفی برای متوقف کردن محافظ از آن استفاده نمیکند. این دستورها با اولین خطا متوقف میشوند، در نتیجه اگر دانلود ناموفق باشد، نسخهی قدیمی اجرا نخواهد شد:
curl -fsSL -o ~/miles-lab/heat-guard.sh https://raw.githubusercontent.com/rohitg00/ai-engineering-from-scratch/main/manuals/miles-101/capture/gpu/heat-guard.sh \
&& rm -f ~/miles-lab/queue2.done \
&& sh ~/miles-lab/heat-guard.sh
این اسکریپت هر 5 ثانیه دمای GPU را با دستور nvidia-smi میخواند. اگر دما به 84 درجه برسد، اولین کانتینر در حال اجرای ایمیج radixark/miles:latest را موقتاً متوقف میکند. پس از دستکم 45 ثانیه یا حداکثر 120 ثانیه، وقتی دما به 74 درجه یا کمتر رسید، کانتینر را ادامه (resume) میدهد. هر توقف موقت و ادامهای در فایل ~/miles-lab/runs/thermostat.log ثبت میشود.
اسکریپت را با Ctrl+C متوقف کنید. اسکریپت پیش از خروج، کانتینری را که موقتاً متوقف کرده بود به کار میاندازد تا هیچ اجرایی در حالت متوقف نماند. در بررسی ما، فشردن Ctrl+C هنگام توقف موقت، اجرا را ظرف 5 ثانیه ادامه داد. این اسکریپت در صورت وجود فایل ~/miles-lab/queue2.done نیز متوقف میشود؛ صف اجرای ما به همین شیوه آن را متوقف کرد.
وقتی زمانها را مقایسه میکنید لاگ توقفها را بخوانید. گامی که با توقف موقت همپوشانی (overlap) داشته باشد، به دلیلی غیر از بار کاری بیشتر طول کشیده است. بخش 5.3 نشان میدهد که چگونه فقط گامهای بینقص را زمانسنجی کنید.
واچداگ فقط اجرا را متوقف میکند. برای پی بردن به علت از کار افتادن موتور، خطوط مربوط به موتور را پیش از اولین خطا بخوانید. در بخش 7.1 دلایلی را که به آنها برخوردیم فهرست کردهایم.
منابع: capture/gpu/watchdog.sh؛ capture/gpu/heat-guard.sh؛ capture/gpu/out-gb10/thermostat.log؛ capture/gpu/watchdog_replay.py؛ capture/gpu/out-gb10/503-bursts.txt؛ capture/gpu/out-gb10/e2-n16-503-per-second.txt؛ capture/gpu/out-gb10/engine-died-503.log؛ capture/gpu/out-gb10/engine-died-count.txt؛ capture/gpu/out-gb10/watchdog-test.txt؛ capture/gpu/summary/miles-gb10-lab.json (اجراهای کنار گذاشتهشده)؛ کلاینت مسیر پیشروی شبیهسازیشدهی Miles در main 08752a12.