سناریوی رخداد

هشداری روی یک خط لاگ درایور که 9 بار زنگ زد

An alert on a driver line that paged nine times

  • سطح ۳: ارشد
  • سناریوی رخداد
  • ۲۵ دقیقه

وضعیت

یک تیم پلتفرم، SGLang را روی ماشین‌های دسکتاپ با حافظه‌ی یکپارچه (Unified Memory) اجرا می‌کند که بین چند تیم به اشتراک گذاشته شده‌اند. پس از یک حادثه‌ی حافظه در بخشی دیگر، آن‌ها یک قانون هشدار به لاگ کرنل (Kernel) اضافه می‌کنند: هر زمان که درایور GPU پیام NV_ERR_NO_MEMORY را لاگ کرد، برای فرد حاضر در نوبت پاسخگویی (آنکال) پیج ارسال شود. در اولین بعدازظهر، این قانون 9 بار بین ساعت‌های 13:52 و 16:46 پیج می‌فرستد. هر پیج شامل رگباری از 3 تا 13 خط کاملاً یکسان در طول یک دقیقه است و سپس همه‌چیز آرام می‌شود.

فرد آنکال هیچ شکایتی از سوی کاربران پیدا نمی‌کند، هیچ درخواستی ناموفق نبوده و وضعیت همه‌ی سرورها کاملاً سالم است. تیم پیشنهاد می‌کند که این قانون پابرجا بماند اما آستانه‌ی (Threshold) آن را بالا ببرند تا فقط رگبارهای طولانی پیج بفرستند. شما پیش از هفته‌ی آنکال بعدی، طراحی این هشدار را با بررسی جدول رگبارها، لاگ سرورِ یکی از مراحل راه‌اندازی روی آن ماشین و مستندات راهنما بازبینی می‌کنید.

نسخه
SGLang 0.5.22
مدل
Qwen/Qwen3-30B-A3B-Instruct-2507
سخت‌افزار
one GB10 with 121.7 GiB of unified memory, shared with other users

شواهد

a-server-that-became-healthy.txt
title: a server start on the same machine: the probe before and after the ready line
source: manuals/sglang-101/capture/gpu/out-gb10/server-default.log
lines: 38-45
lang: text
note: The first health check returns 503 during startup, and the probe after the ready line returns 200.
---
[2026-10-17 14:19:12] INFO:     127.0.0.1:38426 - "GET /health HTTP/1.1" 503 Service Unavailable
[2026-10-17 14:19:13] INFO:     127.0.0.1:38432 - "GET /model_info HTTP/1.1" 200 OK
[2026-10-17 14:19:13] Prefill batch, #new-seq: 1, #new-token: 6, #cached-token: 0, token usage: 0.00, #running-req: 0, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 3.82
[2026-10-17 14:19:13] INFO:     127.0.0.1:38444 - "POST /generate HTTP/1.1" 200 OK
[2026-10-17 14:19:14] INFO:     127.0.0.1:38452 - "POST /freeze_gc HTTP/1.1" 200 OK
[2026-10-17 14:19:14] The server is fired up and ready to roll!
[2026-10-17 14:19:14] Prefill batch, #new-seq: 1, #new-token: 1, #cached-token: 0, token usage: 0.00, #running-req: 0, #queue-req: 0, #pending-token: 0, cuda graph: False, input throughput (token/s): 0.88
[2026-10-17 14:19:15] INFO:     127.0.0.1:38462 - "GET /health HTTP/1.1" 200 OK
the-alert-feed.txt
title: the kernel log bursts that the alert rule matched, by minute
source: manuals/sglang-101/capture/gpu/incidents/gb10-driver-no-memory.txt
lang: text
note: Nine bursts in one afternoon. The last line is the message that each burst repeats.
---
count  minute (UTC)  kernel message, NVIDIA driver on the GB10
      3 2026-10-16T13:52
      9 2026-10-16T14:36
     13 2026-10-16T14:55
     10 2026-10-16T15:04
      7 2026-10-16T15:30
      7 2026-10-16T15:47
     12 2026-10-16T15:58
      9 2026-10-16T16:11
      7 2026-10-16T16:46
NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1359
the-incident-index-row.txt
title: the row of the incident index for this line
source: manuals/sglang-101/sections/r-3-incident-index.md
lines: 15-15
lang: text
note: Symptom, cause, status and section, in that order.
---
| Driver `NV_ERR_NO_MEMORY` on a GB10 ([record](manuals/sglang-101/capture/gpu/incidents/gb10-driver-no-memory.txt)) | Bursts of driver out-of-memory lines in the kernel log | The bursts fall on 2026-10-16, the day of our first starts. We did not keep the server logs of that day, so we cannot match each burst to one start | Every server in our later captures became healthy. Alert on health, not on this line | [3.2](#s-mem-fraction-static-and-startup-sizing) |
the-startup-memory-moves.txt
title: the weights and the pool of one start on unified memory
source: manuals/sglang-101/capture/gpu/out-gb10/server-default.log
lines: 18-20
lang: text
note: The pool takes tens of GB in about three seconds, and every other program on the machine sees that memory go.
---
[2026-10-17 14:18:29] Load weight end. elapsed=323.61 s, type=Qwen3MoeForCausalLM, avail mem=54.84 GB, mem usage=57.75 GB.
[2026-10-17 14:18:32] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 227243, K size: 10.40 GB, V size: 10.40 GB
[2026-10-17 14:18:32] Memory pool end. avail mem=31.22 GB
what-the-manual-could-match.txt
title: what the manual says about the driver line and what it could not match
source: manuals/sglang-101/sections/3-2-mem-fraction-static-and-startup-sizing.md
lines: 125-138
lang: text
note: Read the paragraph after the listing, then the position at the end.
---
The NVIDIA driver also reports memory errors at startup. The kernel log of the GB10 holds bursts of this line:

```listing
title: the driver line at server startup
source: capture/gpu/incidents/gb10-driver-no-memory.txt
lang: text
note: The last line of the file. The lines above it count the bursts per minute.
---
NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1359
```

The bursts are dated 2026-10-16, the day of our first test and sweep starts on the GB10. We did not keep the server logs of that day, so we cannot match each burst to one start. Every server in our later captures became healthy and finished its benchmarks.

**Our position:** on unified memory, the KV pool is memory that the whole machine gives up. Pass `--mem-fraction-static` on purpose, and tell the other users of the machine before you start. Do not alert on the driver line alone. Alert when a server does not become healthy.

سؤال‌ها

  1. جدول رگبارها را بخوانید. برچسب‌های زمانی و تعداد تکرارها چه الگویی را نشان می‌دهند و سرور در آن لحظات چه کاری انجام می‌دهد؟
  2. لاگ سرور ابتدا یک کد 503 و سپس کد 200 را روی مسیر سلامت نشان می‌دهد. فرد آنکال به کدام سیگنال نیاز داشت و آیا این قانون آن سیگنال را منتقل می‌کرد؟
  3. مستندات راهنما نتوانست هر رگبار لاگ را به یک بار راه‌اندازی سرور تطبیق دهد. چرا، و این نکته چه درسی درباره‌ی شواهدی (Evidence) که نگه می‌دارید به همراه دارد؟
  4. هشدار را طراحی کنید: کدام سیگنال به یک انسان پیج می‌فرستد، کدام سیگنال جنبه‌ی تشخیصی دارد و خط لاگ درایور کجا قرار می‌گیرد؟
  5. کدام ران‌بوک (Runbook) این پیج را به‌جای یک فرایند طولانی بررسی، به یک بررسی 5 دقیقه‌ای تبدیل می‌کند؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام
  1. الگوی رگبارها را بررسی کنید. در حدود 3 ساعت از روز 2026-10-16، فقط در 9 دقیقه‌ی مشخص این خطوط لاگ ثبت شده‌اند و هر رگبار لاگ درون یک دقیقه‌ی مجزا قرار دارد. راهنما تاریخ آن‌ها را مشخص می‌کند: آن روز، زمان اولین تست‌ها و راه‌اندازی‌های ارزیابی جامع (Sweep) روی آن ماشین بوده است. راه‌اندازی سرور روی حافظه‌ی یکپارچه همراه با رگباری از تخصیص حافظه است. در فهرست مراحل راه‌اندازی، وزن‌ها روی 57.75 GB تثبیت می‌شوند و 3 ثانیه بعد، استخر حافظه 10.40 GB برای کلیدها و 10.40 GB برای مقادیر برمی‌دارد. دیدگاه راهنما این است که هر برنامه‌ی دیگری روی ماشین، از دست رفتن این حافظه را می‌بیند. این خط درایور چیزی است که ماشین در حوالی زمان راه‌اندازی چاپ می‌کند؛ بنابراین قانون هشدار در واقع با هر بار راه‌اندازی پیج می‌فرستاده است.
  2. سیگنالی را که واقعاً اهمیت دارد بخوانید. در لاگ سرور، اولین آزمون ارزیابی (Probe) سلامت در ساعت 14:19:12 کد 503 برمی‌گرداند؛ زیرا سرور هنوز در حال راه‌اندازی است. 2 ثانیه بعد، خط آماده‌به‌کار چاپ می‌شود و آزمون ارزیابی در ساعت 14:19:15 کد 200 می‌دهد. این تغییر وضعیت، پاسخ پرسش فرد آنکال را می‌دهد: آیا سرور بالا آمد و به درخواست‌ها پاسخ داد؟ خط درایور هیچ پاسخی برای این پرسش ندارد. این خط روی یک تخصیص حافظه فعال می‌شود؛ چه راه‌اندازی موفق شود و چه شکست بخورد. بنابراین اصلاً هیچ اطلاعاتی درباره‌ی سلامت به همراه ندارد.
  3. آنچه تطبیق نیافت را تحلیل کنید. راهنما می‌گوید لاگ‌های سرورِ آن روز نگه داشته نشده بودند؛ به همین دلیل هیچ رگبار لاگی را نمی‌توان به یک راه‌اندازی مشخص ربط داد. با این حال، تمام سرورها در داده‌های ثبت‌شده‌ی بعدی به وضعیت سالم رسیدند و بنچمارک‌های خود را تمام کردند. ایندکس حوادث نیز همین وضعیت و همین قانون را ثبت کرده است: هشدار را روی وضعیت سلامت بگذارید، نه روی این خط لاگ. درس مربوط به شواهد درون همین جمله نهفته است: یک خط لاگ کرنل بدون لاگ سرورِ همان دقیقه، سرنخی است بدون مظنون! هر دو لاگ را همراه با برچسب‌های زمانی نگه دارید، وگرنه نمی‌توانید بگویید کدام فرایند (Process) باعث ایجاد کدام خط لاگ شده است.
  4. هشدار را طراحی کنید. زمانی به افراد پیج بفرستید که یک سرور در بودجه‌ی زمانی راه‌اندازیِ خود به خط آماده‌به‌کار نرسد، یا سروری که قبلاً آماده بوده دیگر به آزمون ارزیابی آمادگی پاسخ ندهد. همچنین زمانی پیج بفرستید که یک صف برای مدتی طولانی‌تر از آستانه‌ی تحمل کاربران رشد کند. خط درایور را به یک شمارنده در داشبورد تبدیل کنید که به‌عنوان اطلاعات تکمیلی به پیج پیوست می‌شود، اما هرگز به‌خودی‌خود باعث ارسال پیج نشود. روی چنین ماشین اشتراکی، راهنما دو اقدام دیگر را نیز اضافه می‌کند: اجرای سرور در کانتینری با محدودیت حافظه، و لاگ کردن حافظه‌ی آزاد ماشین ثانیه‌ای یک بار در طول راه‌اندازی؛ تا رگبار بعدی همراه با عددی ثبت شود که دلیل آن را توضیح می‌دهد.
  5. ران‌بوک را بنویسید. درس SRE ساختار کار را مشخص می‌کند: نشانه، فرضیه (Hypothesis)، راستی‌آزمایی و اقدام. نشانه: رگباری از خطوط درایور. فرضیه: سروری در آن دقیقه استخر حافظه‌ی خود را تخصیص داده است. راستی‌آزمایی: یک راه‌اندازی در لاگ سرور در همان دقیقه پیدا کنید و تغییر وضعیت سلامت را پس از خط آماده‌به‌کار بخوانید. اقدام: اگر سرور به وضعیت سالم رسید، کاری نکنید؛ اگر راه‌اندازی ناموفق بود، ران‌بوک راه‌اندازیِ موجود در راهنما مدیریت کار را در دست می‌گیرد. با نگه‌داری لاگ‌ها، این بررسی فقط 5 دقیقه زمان می‌برد.
نتیجه

این قانون، تخصیص‌های حافظه را می‌سنجید نه خرابی‌ها را. قانون برای هر بار راه‌اندازیِ یک سرور کاملاً سالم، در طول یک بعدازظهر 9 بار پیج فرستاد و هیچ موردی هم برای اقدام در اختیار فرد آنکال نگذاشت. این قانون از سامانه‌ی ارسال پیج بازنشسته شد و به‌عنوان یک شمارنده‌ی تشخیصی باقی ماند. پیج‌هایی که جایگزین آن شدند، تغییرات وضعیت سلامت هستند: راه‌اندازی‌ای که در بودجه‌ی زمانی خود به خط آماده‌به‌کار نرسد، و سرور آماده‌ای که آزمون ارزیابی آن با خطا مواجه شود. در روزهایی که لاگ‌های سرور ثبت شده بودند، تمام راه‌اندازی‌های روی آن ماشین به خط آماده‌به‌کار رسیدند؛ بنابراین قانون مبتنی بر سلامت 0 بار پیج فرستاد، در حالی که قانون خط درایور روی هر راه‌اندازی زنگ می‌زد.

در کنار این موضوع، دو تغییر در شواهد اعمال شد. لاگ کرنل و لاگ سرورِ هر ماشین در کنار هم نگه‌داری می‌شوند تا رگبارهای آینده را بتوان به یک فرایند مشخص پیوند داد. در حین راه‌اندازی، حافظه‌ی آزاد ماشین هر ثانیه یک بار لاگ می‌شود؛ این کار تخصیص حافظه‌ای را که درایور گزارش می‌دهد، دقیقاً در کنار اندازه‌ی استخری که سرور چاپ می‌کند قرار می‌دهد. پیشنهاد افزایش آستانه نیز کنار گذاشته شد؛ زیرا افزایش آستانه تنها قانونی را ساکت می‌کند که از همان ابتدا هم هیچ ارزش سیگنالی نداشت.

مسیرهای اشتباه رایج
  • «آستانه را بالا ببرید تا فقط رگبارهای طولانی پیج بفرستند.» رگبارها بین 3 تا 13 خط بودند. آستانه‌ای بالاتر از آن‌ها، در روزی شبیه به این، هشدار را بی‌صدا می‌کند و در روزهای بدتر نیز باز هم هیچ اطلاعی از سرویس‌دهی واقعی سرور به شما نمی‌دهد.
  • «سهم حافظه (Memory Fraction) را آن‌قدر کم کنید تا درایور دست از شکایت بردارد.» هیچ‌کس رگبار لاگ را به یک راه‌اندازی مشخص تطبیق نداد؛ بنابراین کسی نمی‌داند که آیا کوچک‌تر کردن استخر، این خط لاگ را حذف می‌کند یا خیر؛ ضمن اینکه استخر کوچک‌تر در تمام بارهای کاری به ضرر کاربران تمام می‌شود. سهم حافظه را هدفمند و متناسب با شرایط ماشین اشتراکی تنظیم کنید.
  • «پیج را نگه دارید؛ خطای درایور همیشه جدی است.» تمام سرورها در ثبت‌های بعدی به وضعیت سالم رسیدند. ارسال پیج بدون نیاز به اقدام عملی، به نیروهای آنکال یاد می‌دهد که هشدارها را نادیده بگیرند.
  • «این خط را از پایپ‌لاین (Pipeline) لاگ به‌کل حذف کنید.» آن را به‌عنوان یک ابزار تشخیصی در کنار سیگنال سلامت نگه دارید. این خط زمان دقیق یک تخصیص حافظه را مشخص می‌کند و با نگه‌داری لاگ‌های سرور، نام فرایند مربوطه را معلوم می‌سازد.
درس کلی

همیشه روی نشانه‌ای هشدار بگذارید که کاربر آن را حس می‌کند و خطوط مربوط به سازوکارها را به‌عنوان ابزار تشخیصی حفظ کنید. خطی که در جریان کار عادی فعال می‌شود، با هر بار موفقیت سیستم به شما زنگ می‌زند. پیش از آنکه قانونی برای یک انسان پیج بفرستد، آن را روی یک روزِ بدون مشکل بازپخش (Replay) کنید و لاگ‌هایی را نگه دارید که امکان تطبیق هر فعال‌سازی را با دلیل آن فراهم می‌کنند.

کجای دوره آموزش داده می‌شود

مستندات راهنمای SGLang این رگبارها را ثبت کرده و قانون را در بخش استخر مشترک در صفحه‌ی حافظه تنظیم می‌کند، وضعیت را در ایندکس حوادث فهرست می‌کند، اندپوینت‌های (Endpoint) سلامت را در صفحه‌ی عملیاتی نام می‌برد، و درس SRE برای هوش مصنوعی ساختار ران‌بوک را ارائه می‌دهد.