سناریوی رخداد

متوقف شدن موقت اسکژولر در حین راه‌اندازی توسط محافظ حافظه

A memory guard paused the scheduler mid-start

  • سطح ۴: استف
  • سناریوی رخداد
  • ۳۰ دقیقه

وضعیت

تیمی روی یک سیستم دسکتاپ GB10 که چند نفر به‌صورت اشتراکی از آن استفاده می‌کنند زمان می‌گیرد و سرور SGLang را برای مدل Qwen/Qwen3-30B-A3B-Instruct-2507 راه‌اندازی می‌کند. در طول یک بعدازظهر، سه بار راه‌اندازی سرور دقیقاً پس از بارگذاری وزن‌ها متوقف می‌شود. لاگ سرور متوقف می‌ماند، فرایند اسکژولر (Scheduler) زنده است اما مدتی هیچ کاری انجام نمی‌دهد؛ سپس لاگ طوری ادامه پیدا می‌کند که انگار هیچ اتفاقی نیفتاده است. هیچ‌کس خطایی مشاهده نمی‌کند.

همان بعدازظهر، یک هشدار از لاگ کرنل (Kernel) باعث ارسال پیج به کانال نوبت پاسخگویی (آنکال) می‌شود. بین ساعت‌های 13:52 و 16:46، نُه موج از خطاهای درایور NVIDIA با پیام Out of memory ثبت می‌شود که گاهی به 13 خط در یک دقیقه می‌رسد. تیم این دو موضوع را کنار هم می‌گذارد و نتیجه می‌گیرد: درایور ایراد دارد و سرور آن‌قدر نشتی حافظه می‌دهد تا درایور از کار بیفتد. آن‌ها درخواست می‌کنند مدل به یک کارت گرافیک کوچک‌تر و اختصاصی منتقل شود. مالک سیستم دسکتاپ از شما می‌خواهد پیش از تغییر سخت‌افزار، ماجرا را بررسی کنید.

نسخه
SGLang 0.5.22
مدل
Qwen/Qwen3-30B-A3B-Instruct-2507
سخت‌افزار
one GB10 with unified memory, a desktop that other users share

شواهد

alert-on-health.txt
title: the driver bursts and the position of the manual
source: manuals/sglang-101/sections/3-2-mem-fraction-static-and-startup-sizing.md
lines: 136-138
lang: text
note: Read the last sentence of the position.
---
The bursts are dated 2026-10-16, the day of our first test and sweep starts on the GB10. We did not keep the server logs of that day, so we cannot match each burst to one start. Every server in our later captures became healthy and finished its benchmarks.

**Our position:** on unified memory, the KV pool is memory that the whole machine gives up. Pass `--mem-fraction-static` on purpose, and tell the other users of the machine before you start. Do not alert on the driver line alone. Alert when a server does not become healthy.
driver-bursts.txt
title: the driver line in the kernel log, counted by minute
source: manuals/sglang-101/capture/gpu/incidents/gb10-driver-no-memory.txt
lang: text
note: The bursts are all on one day. The last line is the message itself.
---
count  minute (UTC)  kernel message, NVIDIA driver on the GB10
      3 2026-10-16T13:52
      9 2026-10-16T14:36
     13 2026-10-16T14:55
     10 2026-10-16T15:04
      7 2026-10-16T15:30
      7 2026-10-16T15:47
     12 2026-10-16T15:58
      9 2026-10-16T16:11
      7 2026-10-16T16:46
NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1359
first-pause.txt
title: the guard log around the first pause
source: manuals/sglang-101/capture/gpu/incidents/gb10-memory-guard-pauses.txt
lines: 1-5
lang: text
note: Read the process name, the growth in five seconds, and the time until the guard reported normal.
---
2026-10-16T12:53:16+00:00 2026/10/16 12:53:16 guardian level: Critical: 34.2 GiB left before the freeze zone.
2026-10-16T12:53:16+00:00 2026/10/16 12:53:16 guardian pause: Paused sglang::schedul (pid 2983880, rohit): it grew 36.7 GiB in 5s with 34.2 GiB left. Resume or stop it from the app.
2026-10-16T12:53:24+00:00 2026/10/16 12:53:24 guardian level: Back to normal: 28.9 GiB available.
2026-10-16T12:53:28+00:00 2026/10/16 12:53:28 guardian level: Critical: 30.2 GiB left before the freeze zone.
2026-10-16T12:53:48+00:00 2026/10/16 12:53:48 guardian level: Back to normal: 31.9 GiB available.
the-container-rule.txt
title: how to start on a shared machine with unified memory
source: manuals/sglang-101/sections/3-2-mem-fraction-static-and-startup-sizing.md
lines: 146-146
lang: text
note: Four steps in one paragraph.
---
On a GB10 that other programs share, start SGLang in a container with a memory limit. Start below the fraction of 0.7 that our kit used. Log the free memory of the machine once a second during startup. Raise the fraction only after you saw the peak.
the-pool-size.txt
title: the weights and the pool of a default start that was kept
source: manuals/sglang-101/capture/gpu/out-gb10/server-default.log
lines: 18-20
lang: text
note: Add the K and the V sizes, and compare them with the growth in the guard log.
---
[2026-10-17 14:18:29] Load weight end. elapsed=323.61 s, type=Qwen3MoeForCausalLM, avail mem=54.84 GB, mem usage=57.75 GB.
[2026-10-17 14:18:32] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 227243, K size: 10.40 GB, V size: 10.40 GB
[2026-10-17 14:18:32] Memory pool end. avail mem=31.22 GB
two-more-pauses.txt
title: two more pauses in the next hour
source: manuals/sglang-101/capture/gpu/incidents/gb10-memory-guard-pauses.txt
lines: 6-11
lang: text
note: Compare the growth of the scheduler in each pause.
---
2026-10-16T13:22:18+00:00 2026/10/16 13:22:18 guardian level: Critical: 46.8 GiB left before the freeze zone.
2026-10-16T13:22:18+00:00 2026/10/16 13:22:18 guardian pause: Paused sglang::schedul (pid 3034142, rohit): it grew 9.4 GiB in 5s with 46.8 GiB left. Resume or stop it from the app.
2026-10-16T13:22:27+00:00 2026/10/16 13:22:27 guardian level: Back to normal: 43.1 GiB available.
2026-10-16T13:52:10+00:00 2026/10/16 13:52:10 guardian level: Critical: 50.1 GiB left before the freeze zone.
2026-10-16T13:52:10+00:00 2026/10/16 13:52:10 guardian pause: Paused sglang::schedul (pid 3094220, rohit): it grew 28.1 GiB in 5s with 50.1 GiB left. Resume or stop it from the app.
2026-10-16T13:52:30+00:00 2026/10/16 13:52:30 guardian level: Back to normal: 44.6 GiB available.
what-is-not-proven.txt
title: what the manual can and cannot say about the three pauses
source: manuals/sglang-101/sections/3-2-mem-fraction-static-and-startup-sizing.md
lines: 123-123
lang: text
note: One paragraph. Read which logs were not kept.
---
We did not keep the server logs of those three starts. The guard log shows the scheduler growing by 36.7 GiB in 5 seconds, which is the size of a KV pool allocation. The guard was correct by its own rule: the scheduler was the fastest-growing process. Seconds later the guard logged "Back to normal", because the pool was complete. We agreed with the owner of the machine to stop the guard for the time of our runs.

سؤال‌ها

  1. اسکژولر متوقف شد و بعدتر ادامه داد، و لاگ سرور هیچ خطایی نشان نمی‌دهد. کدام فرایند جلوی آن را گرفت و بر اساس چه قاعده‌ای؟
  2. محافظ حافظه متوجه شد یک فرایند در پنج ثانیه ده‌ها گیبی‌بایت (GiB) رشد کرده است. این تخصیص احتمالاً مربوط به چیست و چطور آن را با راه‌اندازی‌ای که لاگش ذخیره شده بررسی می‌کنید؟
  3. سه توقف مقادیر رشد متفاوتی را گزارش کرده‌اند. صرفاً از لاگ محافظ حافظه چه نتیجه‌ای می‌توان گرفت و چه چیزی را نمی‌توان اثبات کرد؟
  4. نُه موج از پیام‌های درایور در یک روز رخ داد. ادعای مستندات درباره‌ی آن‌ها چیست، و برای متصل کردن یک موج به یک راه‌اندازی مشخص به چه چیزی نیاز است؟
  5. کدام هشدار را نگه می‌دارید و کدام را حذف می‌کنید، و از این به بعد شیوه‌نامه‌ی راه‌اندازی روی این ماشین چیست؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام
  1. ابتدا لاگ محافظ را بخوانید. روی این سیستم دسکتاپ، یک دیمن (Daemon) محافظ حافظه برای مراقبت از سایر کاربران در حال اجراست. وقتی حافظه‌ی آزاد کم می‌شود، این دیمن فرایندی را که سریع‌ترین رشد را دارد متوقف می‌کند. اولین ورودی آن چنین است: Critical: 34.2 GiB left before the freeze zone، و در همان ثانیه فرایند sglang::schedul را متوقف کرده چون ظرف 5 ثانیه 36.7 گیبی‌بایت رشد داشته است. هشت ثانیه بعد، محافظ لاگ زده: Back to normal: 28.9 GiB available. اسکژولر سریع‌ترین رشد را میان فرایندهای ماشین داشت، بنابراین محافظ طبق قاعده‌ی خودش درست عمل کرده است. این همان وقفه‌ای است که تیم دید، و هیچ لاگی از سرور آن را ثبت نکرده، زیرا چیزی به سرور اطلاع داده نشده بود.
  2. رشد را با یک راه‌اندازی ذخیره‌شده تطبیق دهید. راه‌اندازی پیش‌فرضی که در مستندات ذخیره شده نشان می‌دهد اسکژولر دقیقاً بعد از وزن‌ها چه چیزی تخصیص می‌دهد: یک استخر KV که 227,243 توکن نگه می‌دارد، با 10.40 گیگابایت برای K و 10.40 گیگابایت برای V، که در عرض چند ثانیه تخصیص یافته است؛ با 54.84 گیگابایت حافظه‌ی آزاد قبل از آن و 31.22 گیگابایت بعد از آن. مستندات مقدار 36.7 گیبی‌بایت را معادل تخصیص استخر KV در نظر می‌گیرد. همچنین به گزارش میدانیِ 25 تا 40 گیگابایت تخصیص‌های کوتاه‌مدتِ خارج از کسر مشخص‌شده اشاره می‌کند که مربوط به تیونر خودکار (Autotuner) و ضبط گراف (Graph capture) هستند، و صراحتاً می‌گوید لاگ محافظ نمی‌تواند استخر را از این موارد تفکیک کند. بنابراین این رشد، همان تخصیص اولیه‌ی سرور روی حافظه‌ی یکپارچه (Unified Memory) است و سهم دقیق هر بخش از نظر شواهد اثبات نشده است.
  3. دو توقف دیگر را هم با همان دقت بخوانید. آن‌ها 9.4 و 28.1 گیبی‌بایت رشد گزارش کرده‌اند، و در هر دو مورد محافظ ظرف چند ثانیه وضعیت را عادی گزارش داد. لاگ سرور آن سه بار راه‌اندازی ذخیره نشده بود، بنابراین کسی نمی‌تواند با قطعیت بگوید هر توقف مربوط به کدام بخش از تخصیص بوده است. جدول مستندات از شش راه‌اندازی ذخیره‌شده نشان می‌دهد چرا اکتفا به یک عدد گمراه‌کننده است: وزن‌های یکسان بین 54.78 و 57.92 گیگابایت اندازه‌گیری شدند و ظرفیت استخرها بین 216,775 تا 258,017 توکن متغیر بود، زیرا کش فایل کرنل در طول هر بارگذاری تغییر می‌کرد. آنچه لاگ محافظ اثبات می‌کند این است که فرایندی در عرض چند ثانیه ده‌ها گیبی‌بایت رشد می‌کند و سپس رشدش متوقف می‌شود. اگر نشتی در کار بود، محافظ بعد از ایجاد استخر هم همچنان فعال می‌شد، در حالی که هیچ لاگی چنین چیزی را نشان نمی‌دهد.
  4. پیام‌های درایور را صرفاً به‌صورت تعداد وقوع بخوانید، نه حکم ارزیابی (Verdict). لاگ کرنل پیام NV_ERR_NO_MEMORY را از تخصیص‌دهنده‌ی درایور نشان می‌دهد. این موج‌ها در تاریخ 2026-10-16 رخ داده‌اند، یعنی همان روز تست اولیه و راه‌اندازی‌های ارزیابی جامع پارامترها (Sweep)، با 3 تا 13 خط در هر دقیقه. مستندات هیچ لاگ سروری از آن روز نگه نداشته، بنابراین نمی‌تواند موجی را به یک راه‌اندازی مشخص ربط دهد و از این کار خودداری می‌کند. چیزی که می‌تواند بگوید این است که بعداً تک‌تک سرورها در داده‌های ثبت‌شده سالم شدند و بنچ‌مارک‌های خود را تمام کردند. برای متصل کردن یک موج به یک راه‌اندازی، به لاگ سرور همراه با برچسب زمانی و لاگ حافظه‌ی آزاد ماشین در همان دقیقه نیاز دارید.
  5. یافته‌ها را به یک شیوه‌نامه‌ی عملی تبدیل کنید. موضع مستندات برای کار روی یک دسکتاپ GB10 اشتراکی چهار مرحله دارد: راه‌اندازی SGLang درون کانتینر با سقف حافظه، شروع با مقداری کمتر از کسر 0.7 که بسته‌اش استفاده می‌کرد، ثبت لاگ حافظه‌ی آزاد ماشین ثانیه‌ای یک‌بار در طول راه‌اندازی، و افزایش این کسر تنها پس از مشاهده‌ی نقطه‌ی اوج مصرف. دو مورد دیگر را هم از همان صفحه اضافه کنید: پاس دادن عامدانه‌ی آرگومان --mem-fraction-static، و اطلاع‌رسانی به سایر کاربران ماشین پیش از راه‌اندازی. در مورد محافظ، مستندات با مالک به توافق رسید که محافظ را در مدت اجرای این فرایندها موقتاً متوقف کنند. درباره‌ی هشدار هم موضع در یک جمله خلاصه می‌شود: فقط روی خطای درایور هشدار نفرستید؛ هشدار را زمانی فعال کنید که سرور به وضعیت سالم نرسد.
نتیجه

بر اساس شواهد موجود، سرور نشتی حافظه نداشت و درایور هم معیوب نبود. محافظی که کل سیستم را پایش می‌کرد، فرایند اسکژولر را موقع تخصیص استخر حافظه‌اش سه بار به‌طور موقت متوقف کرد و هر بار ظرف چند ثانیه آن را از تعلیق خارج کرد. پیام‌های درایور هم در همان روز ثبت شده بودند، اما داده‌های ثبت‌شده هیچ ارتباطی بین پیام‌ها با یک راه‌اندازی ناموفق یا خطایی که کاربری دیده باشد نشان نمی‌دهد.

تیم مدل را روی همان GB10 نگه داشت و شیوه‌ی راه‌اندازی را اصلاح کرد: کسر حافظه‌ی مشخص، کانتینر با سقف حافظه، لاگ حافظه‌ی آزاد هنگام راه‌اندازی، و توافق با مالک دستگاه درباره‌ی توقف محافظ حین اجرای سرور. هشدارِ مربوط به لاگ کرنل نیز با هشدار وضعیت سلامت روی خط اعلام آمادگی (Ready line) سرور و اندپوینت (Endpoint) سلامت آن جایگزین شد؛ جایی که در راه‌اندازیِ ذخیره‌شده، قبل از اعلام آمادگی کد 503 و بعد از آن کد 200 برمی‌گرداند. معیاری که درستی این تغییر را تایید می‌کند، مجموعه‌ی راه‌اندازی‌های بعدی است که همگی بدون وقفه و بدون ارسال پیج، به مرحله‌ی ایجاد استخر رسیدند و بنچ‌مارک‌هایشان را کامل کردند.

دو موضوع همچنان بی‌پاسخ مانده و گزارش هم صریحاً به آن اشاره دارد: هیچ داده‌ای پیام‌های درایور را به یک راه‌اندازی مشخص متصل نمی‌کند، و گزارش میدانی درباره‌ی تخصیص‌های خارج از سهم معین، مربوط به نسخه‌های قبلی بوده و در اینجا اندازه‌گیری نشده است.

مسیرهای اشتباه رایج
  • «سرور نشتی حافظه دارد تا جایی که درایور از کار می‌افتد.» محافظ ظرف چند ثانیه بعد از هر توقف، وضعیت را عادی گزارش داد و هیچ رکوردی رشد حافظه را پس از ایجاد استخر نشان نمی‌دهد. تخصیص استخری با ده‌ها گیگابایت ظرف چند ثانیه رفتار پیش‌بینی‌شده‌ی سیستم است، نه نشانه‌ی نشتی.
  • «درایور را تعویض کنید.» پیام‌های درایور هیچ خطای قابل مشاهده‌ای برای کاربر ایجاد نکردند و تمام سرورهای بعدی سالم بالا آمدند. ثبت یک خط در لاگ کرنل رخداد (Incident) محسوب نمی‌شود، مگر اینکه کاربر یا یک آزمون ارزیابی (Probe) مشکلی را مشاهده کند.
  • «کسر حافظه را بالا ببرید تا استخر یک‌باره تخصیص یابد و محافظ شکایت نکند.» کسر حافظه اندازه‌ی استخر را مشخص می‌کند. استخر بزرگ‌تر سریع‌تر رشد می‌کند و حافظه‌ی کمتری برای سایر کاربران باقی می‌گذارد. مقدار را کم کنید، برای کانتینر سقف بگذارید و نقطه‌ی اوج را رصد کنید.
  • «تک‌تک پیام‌ها را با استفاده از برچسب زمانی به راه‌اندازی‌ها متصل کنید.» بدون لاگ‌های سرور مربوط به آن روز، این تطبیق صرفاً حدس و گمان است و مستندات هم زیر بار چنین ادعایی نرفت. قبل از اینکه بخواهید همبستگی برقرار کنید، لاگ‌هایی را که به شما امکان تطبیق می‌دهند نگه دارید.
  • «مدل را به یک کارت اختصاصی کوچک‌تر ببرید.» این کار تعویض یک ماشین اشتراکی با یک استخر کوچک‌تر است و موفقیتی را که GB10 در تمام اجراهای بعدی داشت نادیده می‌گیرد. اول شیوه‌نامه‌ی راه‌اندازی را اصلاح کنید، بعد تصمیم بگیرید.
درس کلی

در حافظه‌ی یکپارچه، استخر KV حافظه‌ای است که کل سیستم ظرف چند ثانیه واگذار می‌کند؛ و تمام محافظ‌ها، دیمن‌ها و کاربران حاضر روی آن سیستم متوجه این کاهش می‌شوند. راه‌اندازی سرور را رویدادی در نظر بگیرید که باید از قبل اعلام شود، سقف حافظه داشته باشد و لاگ آن ثبت شود، نه چیزی که صرفاً داخل یک فرایند رخ می‌دهد. وقتی هشداری فعال می‌شود، بپرسید چه چیزی را اندازه گرفته و چه کسی آسیب دیده است. لاگ‌هایی را نگه دارید که امکان اتصال علت به معلول را به شما می‌دهند؛ و اگر این لاگ‌ها در دسترس نیستند، به جای ادعای قطعی، صریح بنویسید که این ارتباط هنوز اثبات نشده است.

کجای دوره آموزش داده می‌شود

صفحه‌ی حافظه‌ی SGLang 101 وقفه‌ها و پیام‌های درایور را در استخری که سایر برنامه‌ها می‌بینند ثبت کرده و شیوه‌نامه‌ی راه‌اندازی را در حافظه‌ی خارج از کسر ارائه می‌دهد؛ همچنین فهرست رخدادها هر دو را با وضعیت فعلی‌شان فهرست کرده است.