بخش 1.2 · شروع

پیش از تنها گذاشتن اجرا، یک واچ‌داگ اضافه کنید

Add a watchdog before you leave a run alone

فهرست مطالب
  1. نشانه‌های از کار افتادن موتور
  2. چرا واچ‌داگ ده بار بررسی را ملاک قرار می‌دهد؟
  3. راه‌اندازی واچ‌داگ
  4. ابتدا واچ‌داگ را آزمایش کنید
  5. محافظت از دمای GPU

وقتی موتور مسیر پیش‌روی شبیه‌سازی‌شده (rollout engine) از کار می‌افتد، اجرای Miles با خطا متوقف نمی‌شود؛ بنابراین باید یک اسکریپت کوچک این کار را برایتان انجام دهد.

ما یک اجرا را به مدت یک ساعت به حال خود رها کردیم. وقتی برگشتیم، GPU بیکار مانده بود و حجم فایل لاگ به 147 MB رسیده بود. موتور مسیر پیش‌روی شبیه‌سازی‌شده همان ابتدای راه‌اندازی از کار افتاده بود و فرایند اجرا در تمام این مدت مدام به آن درخواست می‌فرستاد.

پس از پایان این بخش، می‌توانید اجرایی را که موتورش از کار افتاده تشخیص دهید. همچنین می‌توانید یک دیده‌بان یا واچ‌داگ (watchdog) راه بیندازید تا چنین اجرایی را ظرف چند دقیقه متوقف کند.

نتیجه‌ی ما: اجرایی که موتورش از کار افتاده بود، در مدت 63 دقیقه تعداد 200,533 خطای HTTP 503 ثبت کرد و هرگز متوقف نشد. واچ‌داگ در آزمایشی با همین خطا، اجرا را ظرف 183 ثانیه متوقف کرد. بازپخش (replay) یک اجرای سالم نشان داد که شش بار بررسی پیاپی کم است؛ بنابراین اسکریپت ده بار بررسی را ملاک قرار می‌دهد.

نشانه‌های از کار افتادن موتور

در اجرای زیر تنظیمی به کار رفته بود که این GPU توان اجرای آن را ندارد. موتور مسیر پیش‌روی شبیه‌سازی‌شده در همان زمان راه‌اندازی متوقف شد. اما فرایند آموزش (trainer) متوقف نشد و به مدت 63 دقیقه به ارسال درخواست به موتور ادامه داد:

موتوری که متوقف شد و اجرایی که متوجه آن نشد capture/gpu/out-gb10/engine-died-503.log
[2026-10-17 21:03:03] Enable deterministic inference because of legacy rl_on_policy_target.
AssertionError: FlashAttention v3 Backend requires SM>=80 and SM<=90. Please use `--attention-backend flashinfer`.
[2026-10-17 21:03:24] Received sigquit from a child process. It usually means the child failed.
[2026-10-17 21:03:30.637 rollout_executor] http_utils.py:241 - Error: Server error '503 Service Unavailable' for url 'http://172.17.0.3:20035/generate'
[2026-10-17 22:06:46.137 rollout_executor] http_utils.py:241 - Error: Server error '503 Service Unavailable' for url 'http://172.17.0.3:20035/generate'

سه خط اول مربوط به خرابی موتور است. دو خط آخر نخستین و آخرین خطای سمت ترینر با فاصله زمانی 63 دقیقه هستند.

تعداد خطاهای ثبت‌شده در طول اجرا capture/gpu/out-gb10/engine-died-count.txt
$ grep -c "503 Service Unavailable" true-on-policy-fa3.log
200533

یک دستور grep روی کل لاگ آن اجرا.

این اجرا 200,533 خط لاگ خطا ثبت کرد و هرگز گزارشی از شکست یا خطا نداد.

مسیریاب (Router): سرویس کوچکی که هر درخواست مسیر پیش‌روی شبیه‌سازی‌شده را به یک موتور هدایت می‌کند. در بخش 8.6 آن را توضیح داده‌ایم.

کد وضعیت 503 Service Unavailable: وضعیت HTTP که مسیریاب در زمان ناتوانی موتورها در تحویل گرفتن درخواست برمی‌گرداند.

موتور ازکارافتاده کار را متوقف نمی‌کندبدون watchdog، از کار افتادن موتور باعث شد جاب با GPU بیکار به مدت 63 دقیقه ادامه یابد.
موتور ازکارافتاده کار را متوقف نمی‌کند دو اجرا روی یک محور زمان. بدون watchdog، موتور در ابتدا متوقف شد و حلقه مسیر پیش‌روی شبیه‌سازی‌شده به مدت 63 دقیقه در حالی که GPU بیکار بود 200٬533 خطای HTTP 503 ثبت کرد، تا اینکه خودمان کانتینر را متوقف کردیم. با watchdog.sh، کانتینر آزمایشی که پیوسته همان خطا را لاگ می‌کرد پس از 183 ثانیه که شش بررسی متوالی بیش از 100 خطا پیدا کردند متوقف شد. یک اجرای سالم 16پاسخی فوران‌هایی از این خطا تا 60 ثانیه ثبت کرد که فاصله دو مورد از آن‌ها 45 ثانیه بود. بازپخش آن اجرا با شش بررسی در بیش از نیمی از موارد متوقف شد و با ده بررسی در هیچ موردی متوقف نشد، بنابراین watchdog را با ده بررسی اجرا می‌کنیم. دقایق پس از توقف موتور 0 15 30 45 60 بدون watchdog کار همچنان ادامه دارد 200٬533 خط خطای HTTP 503 از generate/ GPU بیکار، بدون گزارش خرابی در دقیقه 63 متوقفش کردیم تست watchdog.sh نیاز به 6 بررسی ناموفق watchdog کانتینر را متوقف می‌کند exit 1 پس از 183 ثانیه بیش از 100 خطا در شش بررسی هر اجرای بدون نظارت را با watchdog شروع کنید؛ جاب به‌تنهایی متوقف نمی‌شود. فوران‌های طبیعی با فاصله 45 ثانیه رخ دادند؛ شش بررسی کم است، با ده تا اجرا کنید.
مسیر بالایی اجرای شکست‌خورده ماست. مسیر پایینی آزمون watchdog روی کانتینری است که همان خطا را ثبت می‌کند.

چرا واچ‌داگ ده بار بررسی را ملاک قرار می‌دهد؟

در 17 اجرای ما که به‌صورت عادی تمام شدند، حتی یک خط 503 Service Unavailable در لاگ دیده نشد. اما اجرای 16 پاسخی ما در بخش 3.1، تعداد 22,357 خط از این خطا ثبت کرد. این خطاها به‌صورت رگباری در بازه‌هایی تا حدود 60 ثانیه رخ می‌دادند و تعدادشان در یک دقیقه به 2,209 خطا می‌رسید. کلاینت هر درخواست را دوباره امتحان می‌کرد و اجرا همه‌ی گام‌های خود را به پایان رساند.

در اجرای ناموفق، خطاها هیچ‌وقت قطع نشدند. در تمام طول 63 دقیقه، در هر دقیقه‌ی کامل دست‌کم 2,669 خطا ثبت شده بود.

تنها با شمردن تعداد خطاها نمی‌توان تفاوت این دو اجرا را فهمید، اما زمان وقوع خطاها این امکان را می‌دهد. واچ‌داگ هر 30 ثانیه یک‌بار، خطاهای 60 ثانیه‌ی گذشته را می‌شمارد. این اسکریپت فقط زمانی اجرا را متوقف می‌کند که در تعداد مشخصی بررسی پیاپی، این تعداد از 100 بیشتر باشد.

بازپخش قانون watchdog روی یک اجرای سالم capture/gpu/out-gb10/503-bursts.txt
$ python3 watchdog_replay.py out-gb10/e2-n16-503-per-second.txt
healthy run: 22357 errors from 2026-10-22 07:16:29, checks every 30 s over the last 60 s, limit 100
checks  healthy offsets stopped  most checks in a row  dead engine stopped after
     6  17 of 30                    6                     153 to 182 s
     8   0 of 30                    6                     213 to 242 s
    10   0 of 30                    6                     273 to 302 s

زمان‌های خطای واقعی در اجرای 16پاسخی برای هر 30 زمان شروع بررسی‌ها. ستون آخر مربوط به موتوری ازکارافتاده است که چاپ خطایش هرگز متوقف نمی‌شود.

ما این قاعده را روی زمان واقعی خطاهای همان اجرای سالم سنجیدیم. با 6 بار بررسی، اسکریپت در 17 حالت از 30 حالت اجرا را متوقف کرد؛ چون دو رگبار خطا تنها 45 ثانیه با هم فاصله داشتند. در هیچ حالتی تعداد بررسی‌های پیاپی به بیش از 6 نرسید. با 10 بار بررسی، هیچ موردی اجرای سالم را متوقف نکرد؛ در عین حال، موتور ازکارافتاده هم ظرف حدود پنج دقیقه متوقف می‌شود.

راه‌اندازی واچ‌داگ

این اسکریپت هر 30 ثانیه یک‌بار، لاگ‌های 60 ثانیه‌ی گذشته‌ی کانتینر را می‌خواند. اگر در تعداد مشخصی بررسی پیاپی تعداد خطاها از حد مجاز بگذرد، کانتینر را متوقف می‌کند.

اگر خود Docker با مشکل مواجه شود، اسکریپت آن را گزارش می‌دهد. در صورتی که نتواند فهرست کانتینرها را بگیرد، با کد خروج 2 خارج می‌شود. خواندن ناموفق لاگ به‌منزله‌ی یک بررسی به حساب نمی‌آید. اسکریپت برای مقادیر نامعتبرِ حد آستانه یا تعداد بررسی هم با کد 2 خارج می‌شود: مثلاً مقداری که عدد صحیح نباشد یا 0 بار بررسی.

مقدار سوم تعداد بررسی‌های پیاپی است. پیش‌فرض آن 10 است؛ مقداری که اجرای سالم در بازپخش ما هیچ‌گاه به آن نرسید:

#!/bin/sh
name=${1:-miles-plain}
limit=${2:-100}
checks=${3:-10}
for value in "$limit" "$checks"; do
  case $value in
    ''|*[!0-9]*|??????????*) echo "limit and checks must be whole numbers below one billion"; exit 2;;
  esac
done
if [ "$checks" -lt 1 ]; then
  echo "checks must be 1 or more"
  exit 2
fi
strikes=0
while :; do
  if ! running=$(docker ps -q --filter "name=^${name}$"); then
    echo "$(date -u +%FT%TZ) $name: docker ps failed, the watchdog cannot see the run and stops"
    exit 2
  fi
  [ -n "$running" ] || break
  if logs=$(docker logs --since 60s "$name" 2>&1); then
    errors=$(printf '%s\n' "$logs" | grep -c "503 Service Unavailable")
    if [ "$errors" -gt "$limit" ]; then
      strikes=$((strikes + 1))
    else
      strikes=0
    fi
  else
    echo "$(date -u +%FT%TZ) $name: docker logs failed, this check does not count"
  fi
  if [ "$strikes" -ge "$checks" ]; then
    echo "$(date -u +%FT%TZ) $name: more than $limit errors from the rollout engine in each of $checks checks, last $errors in 60 s, stopping the run"
    docker stop "$name"
    exit 1
  fi
  sleep 30
done
echo "$(date -u +%FT%TZ) $name: the run ended"

آن را در مسیر ~/miles-lab/watchdog.sh ذخیره کنید، یا همین اسکریپت را دانلود کنید:

curl -fsSL -o ~/miles-lab/watchdog.sh https://raw.githubusercontent.com/rohitg00/ai-engineering-from-scratch/main/manuals/miles-101/capture/gpu/watchdog.sh

بلافاصله بعد از شروع اجرا، آن را در یک ترمینال دوم با نام کانتینرِ برگرفته از بخش 1.1 اجرا کنید:

sh ~/miles-lab/watchdog.sh miles-plain 100 10

ابتدا واچ‌داگ را آزمایش کنید

آن را روی دو کانتینر که عمداً این خطا را چاپ می‌کنند آزمایش کنید. این کار نیازی به GPU ندارد. کانتینر اول درست مثل یک موتور ازکارافتاده، در هر ثانیه ده خط خطا چاپ می‌کند و متوقف نمی‌شود:

توقف کانتینری که بی‌وقفه خطا چاپ می‌کند توسط watchdog capture/gpu/out-gb10/watchdog-test.txt
$ sh capture/gpu/watchdog.sh wd-dead 100
2026-10-22T15:41:09Z wd-dead: more than 100 errors from the rollout engine in each of 6 checks, last 578 in 60 s, stopping the run
wd-dead
$ echo $?
1

کانتینر در هر ثانیه ده خط خطا چاپ می‌کند.

واچ‌داگ 183 ثانیه پس از شروع، کانتینر را متوقف کرد و با کد 1 خارج شد. ما این آزمایش را پیش از افزایش مقدار پیش‌فرض به 10 انجام دادیم، بنابراین از 6 بار بررسی استفاده کرد. با 10 بار بررسی، همین قاعده به چهار بررسی بیشتر نیاز دارد و حدود دو دقیقه دیرتر متوقف می‌شود. اسکریپتی که اجراها را پشت‌سرهم شروع می‌کند می‌تواند این کد خروج را بخواند و سراغ اجرای بعدی برود. کد خروج 2 یعنی ارتباط واچ‌داگ با Docker قطع شده و اجرا محافظی ندارد.

کانتینر دوم به مدت 60 ثانیه خطا چاپ می‌کند و سپس دو دقیقه آرام می‌گیرد. این کار را سه بار انجام می‌دهد؛ درست مثل رگبار خطاهای یک موتور شلوغ. واچ‌داگ اجازه داد این کانتینر کارش را پس از 541 ثانیه به پایان برساند و با کد 0 خارج شد. این بازه‌های آرامش دو دقیقه‌ای طولانی‌تر از فاصله‌ی واقعی 45 ثانیه‌ای هستند، بنابراین آزمایش را با بازپخش بالا هم انجام دهید.

محافظت از دمای GPU

پردازنده‌ی گرافیکی GB10 ما زیر بار کاریِ چندساعته بارها به دمای 84 درجه‌ی سانتی‌گراد رسید. محافظ حرارتیِ معرفی‌شده در بخش مقدماتی، در طول پنج روز اجراهای ما را 1,005 بار متوقف موقت (pause) کرد. آن را روی GB10 یا هر GPU دیگری که وقتی ساعت‌ها به حال خود رها می‌شود داغ می‌کند، راه بیندازید. یک اجرای کوتاه با چند گام نیازی به آن ندارد.

اسکریپتی را که ما اجرا کردیم دانلود کنید و آن را در ترمینال سوم روی سیستم میزبان (نه داخل کانتینر) اجرا کنید. بخش rm فایل توقفی را که ممکن است از نشست (session) قبلی به جا مانده باشد پاک می‌کند؛ چرا که اسکریپت با دیدن این فایل فوراً بسته می‌شود. این فایل را فقط زمانی پاک کنید که هیچ صفی برای متوقف کردن محافظ از آن استفاده نمی‌کند. این دستورها با اولین خطا متوقف می‌شوند، در نتیجه اگر دانلود ناموفق باشد، نسخه‌ی قدیمی اجرا نخواهد شد:

curl -fsSL -o ~/miles-lab/heat-guard.sh https://raw.githubusercontent.com/rohitg00/ai-engineering-from-scratch/main/manuals/miles-101/capture/gpu/heat-guard.sh \
  && rm -f ~/miles-lab/queue2.done \
  && sh ~/miles-lab/heat-guard.sh

این اسکریپت هر 5 ثانیه دمای GPU را با دستور nvidia-smi می‌خواند. اگر دما به 84 درجه برسد، اولین کانتینر در حال اجرای ایمیج radixark/miles:latest را موقتاً متوقف می‌کند. پس از دست‌کم 45 ثانیه یا حداکثر 120 ثانیه، وقتی دما به 74 درجه یا کمتر رسید، کانتینر را ادامه (resume) می‌دهد. هر توقف موقت و ادامه‌ای در فایل ~/miles-lab/runs/thermostat.log ثبت می‌شود.

اسکریپت را با Ctrl+C متوقف کنید. اسکریپت پیش از خروج، کانتینری را که موقتاً متوقف کرده بود به کار می‌اندازد تا هیچ اجرایی در حالت متوقف نماند. در بررسی ما، فشردن Ctrl+C هنگام توقف موقت، اجرا را ظرف 5 ثانیه ادامه داد. این اسکریپت در صورت وجود فایل ~/miles-lab/queue2.done نیز متوقف می‌شود؛ صف اجرای ما به همین شیوه آن را متوقف کرد.

وقتی زمان‌ها را مقایسه می‌کنید لاگ توقف‌ها را بخوانید. گامی که با توقف موقت همپوشانی (overlap) داشته باشد، به دلیلی غیر از بار کاری بیشتر طول کشیده است. بخش 5.3 نشان می‌دهد که چگونه فقط گام‌های بی‌نقص را زمان‌سنجی کنید.

واچ‌داگ فقط اجرا را متوقف می‌کند. برای پی بردن به علت از کار افتادن موتور، خطوط مربوط به موتور را پیش از اولین خطا بخوانید. در بخش 7.1 دلایلی را که به آن‌ها برخوردیم فهرست کرده‌ایم.

منابع: capture/gpu/watchdog.sh؛ capture/gpu/heat-guard.sh؛ capture/gpu/out-gb10/thermostat.log؛ capture/gpu/watchdog_replay.py؛ capture/gpu/out-gb10/503-bursts.txt؛ capture/gpu/out-gb10/e2-n16-503-per-second.txt؛ capture/gpu/out-gb10/engine-died-503.log؛ capture/gpu/out-gb10/engine-died-count.txt؛ capture/gpu/out-gb10/watchdog-test.txt؛ capture/gpu/summary/miles-gb10-lab.json (اجراهای کنار گذاشته‌شده)؛ کلاینت مسیر پیش‌روی شبیه‌سازی‌شده‌ی Miles در main 08752a12.

ترجمه‌ی فارسی Add a watchdog before you leave a run alone از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما