سناریوی رخداد

سه بار ریبوت در یک روز زیر بار یادگیری تقویتی (RL)

Three reboots in one day under RL load

  • سطح ۴: استف
  • سناریوی رخداد
  • ۳۰ دقیقه

وضعیت

یک تیم پژوهشی در حال اجرای یک فرایند 48-مرحله‌ای GRPO برای مدل Qwen/Qwen3-0.6B روی یک سیستم دسکتاپ مجهز به یک پردازنده‌ی گرافیکی GB10 است. در تاریخ 2026-10-18، دستگاه سه بار ریبوت می‌شود. با هر بار ریبوت، این اجرا و تمام تسک‌های دیگر روی سیستم متوقف می‌شوند. لیست بوت‌های سیستم نشان می‌دهد که طول عمر این سه بار راه‌اندازی به ترتیب 13، 26 و 74 دقیقه بوده است. در ژورنال سیستم هیچ اثری از پنیک کرنل (Kernel panic)، متوقف شدن پردازه‌ها به دلیل کمبود حافظه (Out-of-memory kill) یا سطر خطایی پیش از پایان این سه اجرا ثبت نشده است. تیم می‌خواهد پیش از اجرای دو سید (Seed) بعدی، علت ماجرا را بداند و راه‌حلی برای آن داشته باشد.

دو پیشنهاد مطرح شده است: اولی می‌گوید حافظه‌ی موتور پردازش پر شده و پیشنهاد می‌دهد سهم حافظه‌ی موتور (Engine memory fraction) کاهش یابد. پیشنهاد دوم معتقد است این دستگاه برای کار RL مناسب نیست و باید سراغ GPUهای ابری رفت. شما به لیست بوت‌های سیستم، اسکریپت گاردریلی که صبح همان روز نوشته شده، لاگ آن و یادداشت‌های آزمایشگاهی کتابچه‌ی راهنما دسترسی دارید.

نسخه
Miles main 08752a12 with its own SGLang 0.5.22 build
مدل
Qwen/Qwen3-0.6B
سخت‌افزار
one GB10 with 128 GB of unified memory, a desktop machine under a 48-step RL run

شواهد

a-later-afternoon.txt
title: the guard four days later
source: manuals/miles-101/capture/gpu/out-gb10/thermostat.log
lines: 2010-2014
lang: text
note: Pause at 84 or 85 C, resume at 72 or 73 C after 45 s, over and over.
---
2026-10-22T15:49:33Z resume at 72C after 45 s
2026-10-22T15:50:14Z pause at 85C
2026-10-22T15:50:59Z resume at 73C after 45 s
2026-10-22T15:51:24Z pause at 84C
2026-10-22T15:52:10Z resume at 72C after 46 s
the-boot-list.txt
title: the boot list of the machine, read four days later
source: manuals/sglang-101/capture/gpu/incidents/gb10-boot-list.txt
lang: text
note: Three boots on 2026-10-18 lasted 13, 26 and 74 minutes, and the journal gives no cause.
---
# journalctl --list-boots on the GB10, read 2026-10-22. Three boots on 2026-10-18 lasted 13, 26 and 74 minutes.
IDX BOOT ID                          FIRST ENTRY                 LAST ENTRY
 -6 37d114f713034658b77dbb219004882d Fri 2026-10-16 12:20:36 UTC Fri 2026-10-16 20:14:58 UTC
 -5 2406b0467522428e859d75cddc5ab54c Sat 2026-10-17 11:58:30 UTC Sun 2026-10-18 00:13:33 UTC
 -4 d460e0a1769440de9b798da3e3595685 Sun 2026-10-18 04:22:25 UTC Sun 2026-10-18 04:35:45 UTC
 -3 2373b2f75dbc48269cbaa62c102008c5 Sun 2026-10-18 04:44:35 UTC Sun 2026-10-18 05:10:40 UTC
 -2 b71237eb24d84d388b9357ddb11fec34 Sun 2026-10-18 07:52:29 UTC Sun 2026-10-18 09:06:59 UTC
 -1 886af3f20eae4d84b10df2a5dece2515 Sun 2026-10-18 10:44:09 UTC Mon 2026-10-19 03:00:28 UTC
  0 d2288065e469494c947249c6a7743714 Wed 2026-10-21 06:14:36 UTC Thu 2026-10-22 07:18:46 UTC
the-first-hour-of-the-guard.txt
title: the first pauses and the rule change
source: manuals/miles-101/capture/gpu/out-gb10/thermostat.log
lines: 1-12
lang: text
note: The limits were 80 C and 68 C first, and changed to 84 C and 74 C that morning.
---
2026-10-18T10:57:59Z pause at 80C
2026-10-18T10:58:14Z resume at 68C
2026-10-18T10:59:05Z pause at 81C
2026-10-18T10:59:38Z pause at 80C
2026-10-18T11:00:38Z resume at 65C after 60 s
2026-10-18T11:01:39Z pause at 80C
2026-10-18T11:25:29Z resume by hand after rule change
2026-10-18T11:25:34Z pause at 81C
2026-10-18T11:26:35Z resume at 70C after 61 s
2026-10-18T11:26:50Z pause at 80C
2026-10-18T11:27:45Z resume by hand after rule change to 84/74
2026-10-18T11:28:16Z pause at 84C
the-guard-loop.txt
title: the loop of the heat guard
source: manuals/miles-101/capture/gpu/heat-guard.sh
lines: 14-28
lang: bash
note: Read the two thresholds, the two timers and which container it pauses.
---
while [ ! -f "$DONE" ]; do
  t=$(nvidia-smi --query-gpu=temperature.gpu --format=csv,noheader,nounits | head -1)
  if [ "$paused" = 1 ]; then
    if found=$(docker ps -q --filter "id=$pc"); then
      if [ -z "$found" ]; then paused=0
      elif { [ "$t" -le 74 ] && [ $(( $(date +%s) - since )) -ge 45 ]; } || [ $(( $(date +%s) - since )) -ge 120 ]; then docker unpause "$pc" >/dev/null && paused=0 && echo "$(date -u +%FT%TZ) resume at ${t}C after $(( $(date +%s) - since )) s" >> "$L"
      fi
    fi
  else
    c=$(docker ps -q --filter ancestor=radixark/miles:latest --filter status=running | head -1)
    if [ -n "$c" ] && [ "$t" -ge 84 ]; then docker pause "$c" >/dev/null && pc=$c && paused=1 && since=$(date +%s) && echo "$(date -u +%FT%TZ) pause at ${t}C" >> "$L"
    fi
  fi
  sleep 5
done
the-pause-count.txt
title: the heat guard and the pause count in the lab notes
source: manuals/miles-101/sections/r-3-lab-notes.md
lines: 53-57
lang: text
note: Read the thresholds and the total number of pauses.
---
## The heat guard

The GB10 runs hot under sustained load, so a script pauses the Miles container when the GPU reaches 84 C. It resumes the container when the GPU is at 74 C or below after at least 45 seconds, or after 120 seconds at most. On its first day the limits were 80 C and 68 C, and they changed to 84 C and 74 C that morning. When the guard stops, it resumes a paused container first, so no run stays paused.

The pause log holds 1,005 pauses, each with its resume, up to 2026-10-22.
what-ran-that-day.txt
title: what the manual records about the load of that day and the guard
source: manuals/sglang-101/sections/7-2-sglang-as-an-rl-rollout-engine.md
lines: 172-174
lang: text
note: Read the share of time the container spent paused, and which numbers the authors still trust.
---
We ran the same 48 steps twice more, with `MILES_SEED=2` and `MILES_SEED=3`. The variable sets the train seed and the rollout seed. The GB10 shut down three times under this load on 2026-10-18, and its boot list shows three short boots that day. So these runs had a guard. A script paused the container when the GPU reached 84 C, or 80 C in the first 30 minutes. It resumed the container after about 45 to 60 seconds, at 72 C or below.

Over the 9.3 hours of seeds 2 and 3, the container was paused for about 58 percent of the time. A pause stops the process and does not change its arithmetic. So we read the reward, the lengths, the cut share, and the log-probability gap as valid. We did not test this with a paused and an unpaused run of the same seed. The rollout times are not, and we do not report them for seeds 2 and 3.

سؤال‌ها

  1. لیست بوت‌های سیستم را بخوانید. این سه بوت کوتاه چه وجه اشتراکی دارند و آخرین بوت آن روز چه چیزی را نشان می‌دهد؟
  2. ژورنال سیستم هیچ دلیلی ثبت نکرده است. دلایل احتمالی خاموش شدن ناگهانی یک سیستم بدون ثبت هیچ خطایی در لاگ را نام ببرید و بگویید شواهد موجود کدام‌یک را رد می‌کنند.
  3. کد حلقه‌ی کنترلی گاردریل را بخوانید. این اسکریپت چه معیاری را بررسی می‌کند، چه واکنشی نشان می‌دهد و هدف از دو تایمر تعریف‌شده در آن چیست؟
  4. گاردریل کانتینر را 1,005 بار متوقف (Pause) کرده است. این مسئله چه تاثیری روی متریک‌ها و اندازه‌گیری‌های این اجراها می‌گذارد و کدام ارقام همچنان معتبر می‌مانند؟
  5. در درس مهندسی آشوب (Chaos Engineering) به یک صفحه‌ی ایمنی با سوییچ قطع اضطراری (Kill switch) و محدودیت‌های شعاع تخریب اشاره شده است. این گاردریل در کجای این طراحی قرار می‌گیرد و چه کمبودهایی دارد؟
  6. شما باید در گزارش تحلیل پس از حادثه (Postmortem) علت قطعی را مشخص کنید. نوشتن چه مواردی مجاز است و چه مواردی را نباید بنویسید؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام
  1. بررسی بوت‌ها. لاگ سیستم در دو روز پیش از حادثه نشان می‌دهد دستگاه در کل ساعات کاری روشن بوده است. در روز حادثه، سیستم در ساعت 04:22 بالا آمده و ظرف یک ربع خاموش شده؛ بار دوم در 04:44 بالا آمده و نیم ساعت دوام آورده؛ و در 07:52 روشن شده و کمی بیش از یک ساعت کار کرده است. بوتی که در ساعت 10:44 آغاز شده تا ساعت 03:00 بامداد روز بعد ادامه داشته و بوت 2026-10-21 نیز تا روز بعد بدون وقفه کار کرده است. در تمامی این دفعات، سیستم بدون ثبت پیام خاموشی (Shutdown) از کار افتاده است. لاگ گاردریل در همان روز از ساعت 10:57، یعنی در نخستین بوت پایدار، ثبت شده است.
  2. رد گزینه‌های ناممکن. چهار عامل می‌توانند کل سیستم را بدون ثبت خطا در ژورنال از کار بیندازند: کرنل پنیک، کشته شدن پردازه‌ها به دلیل کمبود حافظه (OOM)، قطعی یا نوسان برق و خاموشی خودکار ناشی از حرارت بالا (Thermal shutdown). کرنل پنیک حتماً یک ردگیری محاسبات (Trace) در ژورنال به جا می‌گذارد که اینجا اثری از آن نیست. کشته شدن پردازه‌ها بر اثر کمبود حافظه در این سیستم یک رویداد لاگ‌شده است که تنها یک فرایند (Process) را متوقف می‌کند؛ به این صورت که Ray سطر حافظه‌ی نود را در لاگ می‌نویسد و ورکر (Worker) مربوطه را قطع می‌کند، اما خود سیستم روشن می‌ماند؛ درست مثل سناریوی خطای کمبود حافظه در Ray. بنابراین پیشنهاد کم کردن سهم حافظه‌ی موتور رد می‌شود چون نشانه‌ها با آن همخوانی ندارند. در این میان گزینه‌های برق و حرارت باقی می‌مانند که شواهد موجود تفکیک مستقیم آن‌ها را ناممکن می‌کند، چرا که هیچ‌کس دمای GPU را در لحظه‌ی دقیق خاموشی ثبت نکرده است. با این حال، شواهد نشان می‌دهند که بعد از مهار حرارت چه اتفاقی افتاده است.
  3. تحلیل گاردریل. این اسکریپت هر 5 ثانیه یک بار دمای GPU را می‌خواند. اگر کانتینر Miles در حال اجرا باشد و دما به 84 یا بالاتر برسد، کانتینر را متوقف کرده و زمان را ثبت می‌کند. در وضعیت توقف، اگر دما به 74 یا کمتر برسد و حداقل 45 ثانیه گذشته باشد، یا بدون توجه به دما پس از گذشت 120 ثانیه، اجرای کانتینر را از سر می‌گیرد (Resume). اگر کانتینر از بین رفته باشد، پیگیری آن را متوقف می‌کند و در صورت خروج از اسکریپت، هر کانتینر متوقف‌شده‌ای را آزاد می‌کند تا هیچ اجرایی فریز نماند. این دو تایمر در واقع کف و سقف زمان هستند: کف زمان برای این است که به پردازنده‌ی گرافیکی فرصت خنک شدن بدهد و سقف زمان هزینه‌ی طولانی شدن هر بار توقف را مهار می‌کند.
  4. بررسی ساعت اول. قانون اولیه‌ی گاردریل روی دماهای 80 و 68 درجه تنظیم شده بود. لاگ‌ها توقفی در 80 درجه، ادامه‌ی کار در 68 درجه پس از 15 ثانیه، و سپس توقف‌های پیاپی را در بازه‌های زمانی کمتر از یک دقیقه نشان می‌دهند. تیم در همان روز قانون را دو بار به صورت دستی تغییر داد و از ساعت 11:27 به بعد، سیستم با آستانه‌های 84 و 74 درجه کار کرد. چهار روز بعد این الگو کاملاً پایدار بود: توقف در دمای 84 یا 85 درجه، ادامه‌ی کار در 72 یا 73 درجه پس از 45 ثانیه، تقریباً هر یک دقیقه یک بار در وضعیت زیر بار پردازشی. یادداشت‌های آزمایشگاهی تا تاریخ 2026-10-22 تعداد 1,005 مورد توقف را ثبت کرده‌اند.
  5. ارزیابی هزینه‌ی توقف‌ها. در طول 9.3 ساعت اجرای سیدهای 2 و 3، کانتینر در حدود 58 درصد از این زمان در حالت توقف بوده است. از آن‌جا که توقف کانتینر فرایند را متوقف می‌کند و تغییری در محاسبات ریاضی آن ایجاد نمی‌کند، کتابچه‌ی راهنما داده‌های پاداش، طول پاسخ‌ها، نسبت پاسخ‌های قطع‌شده و شکاف احتمال لگاریتمی (Log-probability gap) را معتبر می‌داند؛ هرچند یادآور می‌شود که این فرضیه را با اجرای یک سید یکسان در دو حالت متوقف‌شده و بدون توقف آزمایش نکرده است. با این حال زمان‌های مسیر پیش‌روی شبیه‌سازی‌شده (Rollout) معتبر نیستند و کتابچه‌ی راهنما آن‌ها را برای این دو سید گزارش نمی‌کند. هرگونه اندازه‌گیری مبتنی بر زمان واقعی (Wall-clock) در چنین اجرای محافظت‌شده‌ای باید تابع قانون «گام تمیز» (Clean-step) باشد؛ به این معنی که فقط زمان گام‌هایی ثبت شود که هیچ همپوشانی (Overlap) با زمان‌های توقف ندارند و تنها شماره‌ی گام‌ها مقایسه شوند.
  6. جایگاه گاردریل در سطح ایمنی. در درس مهندسی آشوب، سطح ایمنی شامل سوییچ قطع اضطراری، بازه‌های توقف موقت، محدودیت‌های شعاع تخریب و گیت‌های کنترلی (Gates) بودجه‌ی خطا تعریف می‌شود. این گاردریل در عمل یک محدودکننده‌ی شعاع تخریب برای یک کانتینر خاص است و قابلیت «ادامه کار هنگام خروج» در آن، مثل یک سوییچ قطع اضطراری برای خود گاردریل عمل می‌کند. با این حال، مواردی چون سیستم هشدار، لاگ اختصاصی ثبت مداوم دما (فراتر از ثبت صرف زمان توقف و شروع)، تعیین سقفی برای کل زمان توقف یک اجرا، و آزمایشی برای اثبات بی‌اثر بودن این توقف‌ها بر روی خروجی نهایی در آن تعبیه نشده است. بنابراین این ابزار صرفاً یک راهکار تسکین‌دهنده و کاهنده‌ی آسیب (Mitigation) است، نه یک تشخیص ریشه‌ای.
  7. نگارش تحلیل پس از حادثه. گزارش صادقانه این است: سیستم سه بار زیر بار پیوسته‌ی RL متوقف شده بدون اینکه هیچ دلیلی در ژورنال ثبت شود؛ گاردریلی که دمای پردازنده‌ی گرافیکی را در 84 درجه یا کمتر مهار می‌کرد در تمام بوت‌های بعدی فعال بوده و تحت نظارت آن هیچ توقفی تکرار نشده است. این تنها یک همبستگی معنادار با مکانیسمی منطقی است. جمله‌ی «خاموشی خودکار بر اثر دمای بالا تایید شد» زمانی درست است که داده‌های ثبت دما تا لحظه‌ی خاموشی وجود داشته باشد یا خطایی در لاگ رویدادها (Event Log) سخت‌افزاری ثبت شده باشد، که هیچ‌کدام وجود ندارند.
نتیجه

علت حادثه ثبت نشده و این واقعیت صراحتاً در گزارش پس از حادثه قید می‌شود. راهکار تسکین‌دهنده‌ی مورد استفاده، گاردریلی است که با دمای سیستم مثل یک بودجه رفتار می‌کند: توقف کانتینر در دمای 84 درجه، از سرگیری در 74 درجه پس از حداقل 45 ثانیه، و مهار حداکثر زمان هر توقف روی 120 ثانیه. با فعال بودن این گاردریل، بوتی که در ساعت 10:44 روز 2026-10-18 آغاز شد تا ساعت 03:00 بامداد روز بعد پایدار ماند؛ بوت 2026-10-21 تا روز بعد بدون قطعی پیش رفت در حالی که گاردریل در طول بعدازظهر توقف‌ها را ثبت می‌کرد؛ و دستگاه در طول 1,005 توقف، دیگر خاموش نشد. هزینه‌ی این کار هم محاسبه شده است: 58 درصد از زمان واقعی اجرای سیدهای 2 و 3 صرف توقف شد، به همین دلیل زمان‌های مسیر پیش‌روی شبیه‌سازی‌شده‌ی آن‌ها گزارش نشده و هر داده‌ی زمانی بعدی بر اساس قانون گام تمیز محاسبه می‌شود.

پیشنهاد دستکاری حافظه رد شد، زیرا کشته شدن پردازه به دلیل پر شدن حافظه یک رویداد لاگ‌شده است که فقط یک فرایند را قطع می‌کند و سیستم روشن می‌ماند. پیشنهاد مهاجرت به ابر هم به تعویق افتاد، چون سیستم زیر چتر این گاردریل چهار روز پایداری داشت. اقدام‌های بعدی که می‌توانند این همبستگی را به اثبات علت تبدیل کنند عبارتند از: ذخیره‌ی دمای GPU در هر ثانیه داخل فایلی که پس از ریبوت باقی بماند، خواندن لاگ رویدادهای سخت‌افزاری بعد از هر خاموشی، و اجرای دوباره‌ی همان پردازش بدون گاردریل در روزی که توقف سیستم هزینه‌ای به همراه نداشته باشد.

مسیرهای اشتباه رایج
  • «سهم حافظه‌ی موتور را کم کنید، قطعاً حافظه کم آمده است.» متوقف شدن به دلیل کمبود حافظه در لاگ ثبت می‌شود و فقط یک فرایند را می‌کشد، در حالی که ژورنال خالی است و کل دستگاه خاموش شده است. کم کردن این سهم، ظرفیت در دسترس برای تمام مسیرهای پیش‌روی شبیه‌سازی‌شده را هم کاهش می‌دهد.
  • «چون ژورنال خالی است حتماً برق رفته، به پشتیبانی ساختمان خبر بدهید.» این گزینه کاملاً رد نمی‌شود و ارزش بررسی دارد. اما خاموشی‌ها زیر بار پیوسته‌ی یک روز خاص اتفاق افتاده‌اند و بعد از مهار دمای GPU در 84 درجه یا پایین‌تر تکرار نشدند. باید این همبستگی را ثبت کنید و هر دو گزینه را محتمل بدانید.
  • «برای ایمنی بیشتر گاردریل را روی 80 درجه بگذارید.» قانون اولیه روی 80 و 68 درجه تنظیم شده بود و لاگ نشان می‌دهد دستگاه هر یک دقیقه یک بار متوقف می‌شد. تیم همان روز آستانه را به 84 و 74 رساند. محدودیت سخت‌گیرانه‌تر یعنی توقف‌های بیشتر، و هر توقف مستقیماً بر روی زمان گام‌ها اثر می‌گذارد.
  • «گاردریل را حفظ کنید و به زمان‌های اندازه‌گیری‌شده‌ی گام‌ها اعتماد کنید.» 58 درصد از زمان واقعی اجرای سیدهای 2 و 3 در وضعیت توقف گذشته است. تنها باید زمان گام‌هایی را لحاظ کنید که هیچ همپوشانی با زمان‌های توقف ندارند و مانند یادداشت‌های آزمایشگاهی، شماره‌ی گام‌ها را مقایسه کنید.
  • «در گزارش پس از حادثه، علت را قطعی ناشی از حرارت اعلام کنید.» هیچ دمایی در لحظه‌ی خاموشی دستگاه ثبت نشده است. دقیقاً آن‌چه را مشاهده کرده‌اید بنویسید: سه بار خاموشی بدون دلیل مشخص در سیستم، و عدم تکرار خاموشی پس از نصب گاردریل.
درس کلی

زمانی که سیستمی بدون ثبت هیچ سطری در لاگ متوقف می‌شود، یک گزارش پس از حادثه‌ی صادقانه باید گزینه‌های احتمالی، شواهدی که هر یک را رد می‌کنند، و راهکار کاهنده‌ی آسیب به کار رفته را همراه با هزینه‌هایش شفاف توضیح دهد. گاردریلی که مصرف یک منبع را زیر سقفی مشخص نگه می‌دارد، در واقع سطحی از ایمنی برای یک کانتینر منفرد فراهم می‌کند: این گاردریل پایداری سیستم را به بهای زمان واقعی می‌خرد، بنابراین در روز فعال‌سازی آن، قوانین اندازه‌گیری معیارها تغییر می‌کنند. در پایان، گزارش باید بگوید «مشکل با وجود گاردریل تکرار نشد»، نه این‌که «علت مشکل کشف شد».

کجای دوره آموزش داده می‌شود

طراحی گاردریل و قانون گام تمیز در بخش گاردریل حرارتی از یادداشت‌های آزمایشگاهی Miles آمده است؛ کتابچه‌ی راهنمای SGLang سه مورد خاموشی و سهم زمان توقف را در بخش مربوط به دو سید دیگر در صفحه‌ی موتور مسیر پیش‌روی شبیه‌سازی‌شده توضیح می‌دهد؛ و ساختار سطح ایمنی و شیوه‌ی تدوین ران‌بوک (Runbook) در درس مهندسی آشوب و درس مهندسی قابلیت اطمینان (SRE) برای هوش مصنوعی ارائه شده‌اند.