سناریوی رخداد

ترشینگ LRU در استخر کوچک، و سپس کرش

LRU thrash in a small pool, then a crash

  • سطح ۳: ارشد
  • سناریوی رخداد
  • ۲۵ دقیقه

وضعیت

یک دستیار کدنویسی برای هر کاربر یک نشست (Session) نگه می‌دارد و در هر نوبت گفت‌وگو (Turn)، کل تاریخچه را دوباره می‌فرستد. تیم مربوطه یک مدل کوچک را با SGLang روی GPU مشترکی اجرا می‌کند که تیم دیگری هم از آن سهم دارد؛ بنابراین پارامتر --max-total-tokens 8192 را تنظیم کرده‌اند تا برای همسایه جا بماند. در یک تست بار با 24 نشستِ 6 نوبتی و همزمانیِ 8 کاربر، نوبت‌های اول سریع پاسخ داده می‌شوند. از نوبت چهارم به بعد، زمان رسیدن به اولین توکن (Time to First Token یا TTFT) تا 716 میلی‌ثانیه بالا می‌رود و اندپوینت متریک‌ها نشان می‌دهد نرخ اصابت (Hit Rate) کش رو به صفر می‌رود.

سپس سر و کله‌ی دو نوع خرابی پیدا می‌شود. در بعضی اجراها سرور با خطای CUDA error: an illegal memory access was encountered متوقف می‌شود. در اجراهای دیگر، لاگ‌ها بدون هیچ خطایی متوقف می‌شوند، مصرف GPU روی 100 درصد قفل می‌کند و همه‌ی کلاینت‌ها معطل می‌مانند. تیم به سیاست تخلیه (Eviction policy) کش شک دارد و می‌پرسد آیا باید از lru به lfu مهاجرت کنند یا نه.

نسخه
SGLang 0.5.22
مدل
Qwen/Qwen3-0.6B
سخت‌افزار
the shared second L4 of a two-GPU node, with no clock lock

شواهد

aborts-and-hangs.txt
title: the server command, the trace, and the tally of aborts and hangs by variant
source: manuals/sglang-101/capture/gpu/out-l4/small-pool-crash.txt
lines: 5-14
lang: text
note: Read the clean column against the runs column for each variant.
---
Server: sglang serve --model-path Qwen/Qwen3-0.6B --mem-fraction-static 0.55 --context-length 4096 --enable-cache-report --max-total-tokens 8192 --radix-eviction-policy lru
Trace: 24 sessions x 6 turns, round robin at concurrency 8, greedy, 64-token answers. The context grows each turn, so the 8,192-token pool evicts heavily from turn 4 on.
Hang rule: no new log line for 5 minutes, or 15 minutes in total. The scheduler stack was saved with py-spy before the server was stopped.

variant                                          runs   aborts   hangs   clean
lru, CUDA graph and overlap on (default)         6      1        3       2
lru, CUDA_LAUNCH_BLOCKING=1                      3      0        0       3
lru, --disable-cuda-graph                        4      0        0       4
lru, --enable-hierarchical-cache                 3      1        0       2
lru, HiCache, CUDA_LAUNCH_BLOCKING=1             2      0        0       2
hit-rate-by-turn.txt
title: the hit rate over the whole trace and per turn, by pool size and policy
source: manuals/sglang-101/capture/gpu/out-l4/eviction-multiturn.txt
lines: 9-16
lang: text
note: Follow the per-turn column of the first row from turn 4 to turn 6, then compare the rows below it.
---
pool, policy                 whole trace   hit rate per turn 1 to 6                        median SM clock
8,192 tokens, lru            0.19, 0.19    0.11, 0.31, 0.58, 0.39, 0.016, 0.013            615 MHz
8,192 tokens, lru, no graph  0.19          the same shape                                  1,905 MHz
8,192 tokens, lfu            0.375         0.11, 0.31, 0.58, 0.53, 0.34, 0.25              1,140 MHz
8,192 tokens, slru           0.367         0.11, 0.31, 0.58, 0.53, 0.31, 0.26              960 MHz
16,384 tokens, lru           0.685         rises to 0.83 at turn 6                         810 MHz
16,384 tokens, lfu           0.687         rises to 0.84 at turn 6                         945 MHz
default pool, lru            0.687         rises to 0.835 at turn 6                        960 MHz
trace-and-pool.txt
title: the engine, the model and the multi-turn trace
source: manuals/sglang-101/capture/gpu/out-l4/eviction-multiturn.txt
lines: 4-7
lang: text
note: Count the sessions and the turns, and note that each turn resends the whole history.
---
Engine: SGLang 0.5.22. Model: Qwen/Qwen3-0.6B.
Trace: 24 sessions, each with its own system prompt, 6 turns of ShareGPT questions, 64-token answers, thinking off. Sessions run round robin at concurrency 8. Each turn resends the whole history.
Hit rate = cached prompt tokens / prompt tokens, from the cache report.
The 8,192-token lru row holds two clean runs of the same config: run 1 and run 2 gave 0.19 each over the whole trace. The summary keeps one set of per-turn rates and one clock for the pair.
ttft-at-late-turns.txt
title: the median time to first token at turns 5 and 6
source: manuals/sglang-101/capture/gpu/out-l4/eviction-multiturn.txt
lines: 18-21
lang: text
note: Compare the three lines, which come from one GPU with no clock lock.
---
Median TTFT at turns 5 and 6:
8,192 lru: run 1 gave 699 and 449 ms, run 2 gave 716 and 355 ms
8,192 lfu or slru: 143 to 214 ms
16,384 or default pool: 56 to 160 ms
where-it-stopped.txt
title: the abort, the hang, and what hid the fault
source: manuals/sglang-101/capture/gpu/out-l4/small-pool-crash.txt
lines: 18-26
lang: text
note: Both failures stop in the same call, and the last three lines say what made the fault disappear.
---
The abort:
torch.AcceleratorError: CUDA error: an illegal memory access was encountered
Last Python frames: scheduler.py process_batch_result, then batch_result_processor.py process_batch_result_decode, then torch/cuda/streams.py synchronize (copy_done.synchronize() on the decode result).

The hang: the py-spy stack sits in the same synchronize call, under process_batch_result_decode, under event_loop_overlap. The GPU stays at 100 percent and the log stops.

The fault did not appear with kernel launches serialized (0 of 5) or with CUDA graphs off (0 of 4).
With launch blocking on, the fault did not occur, so no traceback names the faulting kernel.
Nothing was filed upstream.

سؤال‌ها

  1. فرآیند تخلیه چه چیزهایی را حذف می‌کند، هرگز دست به چه چیزهایی نمی‌زند و lru چگونه قربانی را برمی‌گزیند؟
  2. نرخ اصابت هر نوبت را در سطر اول بخوانید. الگو را با کلمات توصیف کنید و سازوکار پشت آن را نام ببرید.
  3. در همان اندازه‌ی استخر، سیاست‌های lfu و slru نوبت‌های پایانی را زنده نگه داشتند. این موضوع چه نکته‌ای را درباره‌ی مجموعه‌ی کاری (Working set) نشان می‌دهد و چه راهکار دیگری آن را درست می‌کند؟
  4. هر دو خرابی در یک فراخوانی مشخص از اسکژولر (Scheduler) متوقف می‌شوند. کدام دو تغییر باعث ناپدید شدن خطا شدند و هر کدام چه هزینه‌ای دارند؟
  5. راهکارها را مرتب کنید: استخر بزرگ‌تر، سیاست متفاوت، خاموش کردن گراف‌ها، مسدودسازی همگام اجرا (Launch blocking). کدام را به محیط عملیاتی (Production) می‌برید، کدام را فقط تست می‌کنید و کدام نباید هرگز به محیط عملیاتی برسد؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام

تخلیه، توکن‌های کش‌شده‌ای را که در اختیار هیچ درخواستِ در حال اجرایی نیستند، از برگ‌های درخت مبنا (Radix Tree) پاک می‌کند. این سازوکار هرگز کش کلید-مقدار (KV cache) یک درخواست در حال اجرا را حذف نمی‌کند. در سیاست پیش‌فرض، برگی که قدیمی‌ترین زمان آخرین دسترسی را دارد اول حذف می‌شود؛ با این فرض که درخواست بعدی شبیه درخواست‌های اخیر خواهد بود.

ردگیری محاسبات (Trace) در لیست اول این فرض را باطل می‌کند. بیست و چهار نشست با همزمانی 8 کاربر به نوبت اجرا می‌شوند و در هر نوبت، تاریخچه‌ای که مدام طولانی‌تر می‌شود از نو ارسال می‌گردد. لیست دوم نشان می‌دهد استخر چه بلایی سر این ترافیک آورده است. با 8,192 توکن و سیاست lru، نرخ اصابت به ازای هر نوبت برای سه نوبت اول 0.11، 0.31 و 0.58 بود، اما بعد به 0.39، 0.016 و 0.013 سقوط کرد. تا نوبت 5، چرخه‌ی 24 تاریخچه‌ی رو به رشد از کل ظرفیت استخر بزرگ‌تر شد. این سیاست، پیشوند هر نشست را درست قبل از بازگشت دوباره‌ی همان نشست تخلیه می‌کرد؛ در نتیجه تقریباً تمام نوبت‌های پایانی تاوان یک پیش‌پرکنی (Prefill) کامل را دادند. در کل ردگیری، نرخ اصابت در هر دو اجرای بدون نقص تنها 0.19 بود.

همین استخر با سیاست lfu در کل این ردگیری به نرخ 0.375 رسید و در نوبت‌های 5 و 6 اعداد 0.34 و 0.25 را حفظ کرد. با slru به 0.367 رسید و در نوبت‌های پایانی 0.31 و 0.26 را ثبت کرد. بنابراین سیاست‌های مبتنی بر فرکانس، دقیقاً در جایی به داد رسیدند که استخر برای نشست‌های در حال بازگشت بیش از حد کوچک بود. سطرهای پایین‌تر راه‌حل واقعی را نشان می‌دهند: در 16,384 توکن، lru به 0.685 رسید و نرخ اصابت در نوبت 6 تا 0.83 بالا رفت. استخر با اندازه‌ی پیش‌فرض هم نرخ 0.687 را ثبت کرد. در استخرهای بزرگ‌تر، همه‌ی سیاست‌هایی که اجرا کردیم عددی نزدیک به 0.69 دادند. لیست سوم این نتایج را برحسب زمان نشان می‌دهد. در نوبت‌های 5 و 6، میانه‌ی زمان رسیدن به اولین توکن در یک اجرای lru برابر با 699 و 449 میلی‌ثانیه و در اجرای دیگر 716 و 355 میلی‌ثانیه بود؛ در حالی که با lfu یا slru به 143 تا 214 میلی‌ثانیه و با استخرهای بزرگ‌تر به 56 تا 160 میلی‌ثانیه کاهش یافت. کلاک کارت گرافیک قفل نشده بود، بنابراین این ارقام را فقط با یکدیگر مقایسه کنید.

لیست چهارم آمار خرابی‌ها را نشان می‌دهد. با تنظیمات پیش‌فرض، یعنی روشن بودن CUDA graphs و فعال بودن اسکژولر همپوشانی (Overlap scheduler)، از 6 اجرا 1 مورد خطای سقط (Abort)، 3 مورد هنگ کردن و 2 اجرای بدون مشکل به دست آمد. با CUDA_LAUNCH_BLOCKING=1، هر 3 اجرا کاملاً تمیز بودند. با --disable-cuda-graph نیز هر 4 اجرا بدون خطا تمام شدند. وقتی کش‌گذاری سلسله‌مراتبی (Hierarchical caching) روشن بود، باز هم از 3 اجرا 1 مورد سقط شد. لیست پنجم نشان می‌دهد که خطای سقط و همه‌ی هنگ‌ها دقیقاً در یک نقطه متوقف شده‌اند: فراخوانی synchronize که زیر حلقه‌ی رویداد همپوشانی، منتظر کپی نتیجه‌ی یک رمزگشایی (Decode) می‌ماند. از آنجا که این خطا در حالت اجرای ترتیبی کرنل‌ها یا در حالت خاموش بودن گراف‌ها بروز نکرد، هیچ رد خطایی (Traceback) نام کرنل مقصر را مشخص نمی‌کند. هیچ گزارشی هم در مخزن اصلی ابزار ثبت نشد.

نتیجه

دو مشکل روی هم سوار شده بودند. اندازه‌ی استخر از مجموعه‌ی کاری نشست‌هایی که برمی‌گشتند کوچک‌تر بود؛ بنابراین lru از نوبت 4 به بعد دچار دست‌وپا زدن و کوبش مفرط (Thrashing) شد. تحت این بار سنگین تخلیه، مسیر اجرای پیش‌فرض با CUDA graphs و اسکژولر همپوشانی، در 4 مورد از 6 اجرا به خطای حافظه برخورد کرد یا دچار هنگ شد.

ابتدا استخر را بزرگ‌تر کنید. در 16,384 توکن، همان ردگیری محاسبات با سیاست پیش‌فرض به نرخ اصابت 0.685 رسید و زمان اولین توکن در نوبت‌های پایانی در بازه‌ی 56 تا 160 میلی‌ثانیه باقی ماند. اگر ظرفیت استخر با سقفی مثل --max-total-tokens تعیین شده، سقف را بالاتر ببرید. اگر حافظه محدودکننده است، روی یک کارت اشتراکی راه‌حل افزایش --mem-fraction-static یا استفاده از کش کلید-مقدار با فرمت FP8 است، نه تغییر سیاست تخلیه. سپس مقدار max_total_num_tokens را در لاگ راه‌اندازی بخوانید تا از اندازه‌ی جدید مطمئن شوید. پس از آن، دوباره بازدهی سیاست تخلیه را اندازه بگیرید. در این ردگیری، تغییر سیاست فقط در اندازه‌ای سودمند بود که استخر بیش از حد کوچک انتخاب شده بود.

برای حل مشکل کرش، تا زمانی که استخر کوچک است، از --disable-cuda-graph به عنوان راه‌حل موقت در محیط عملیاتی استفاده کنید. روی کارت L4 با یک مدل 8B، گراف‌ها حدود 1 درصد در هر گام رمزگشایی صرفه‌جویی می‌کردند؛ بنابراین هزینه‌ی خاموش کردن آن را روی مدل خودتان اندازه بگیرید. استخر بزرگ‌تر جلوی ترشینگ کش را گرفت، اما ما آمار کرش‌ها را در استخرهای بزرگ‌تر ثبت نکردیم؛ پس رفع این باگ از طریق افزایش استخر را حل‌نشده و تست‌نشده فرض کنید. متغیر CUDA_LAUNCH_BLOCKING=1 را هم فقط برای اشکال‌زدایی نگه دارید.

مسیرهای اشتباه رایج
  • «سیاست را روی lfu بگذارید و به محیط عملیاتی بفرستید.» سیاست بسامدی، پرامپت محبوب دیروز را در حافظه نگه می‌دارد و تاوانش را از پرامپت امروز می‌گیرد. این راهکار فقط به این دلیل جواب داد که استخر بیش از حد کوچک بود؛ در استخر مناسب، همه‌ی سیاست‌ها یکسان عمل کردند.
  • «در محیط عملیاتی متغیر CUDA_LAUNCH_BLOCKING=1 را تنظیم کنید.» این کار در هر 5 اجرا خطا را پنهان کرد، اما در عوض اجرای هر کرنل را معطل کرنل قبلی می‌کند. از آن فقط برای اشکال‌زدایی استفاده کنید، نه برای سرویس‌دهی.
  • «برای جلوگیری از کرش، کش سلسله‌مراتبی را فعال کنید.» با روشن بودن لایه‌ی حافظه‌ی میزبان (Host tier)، باز هم از 3 اجرا 1 مورد خطا داد و متوقف شد. حافظه‌ی میزبان فقط پیشوندهای حذف‌شده را نگه می‌دارد و مسیر کدی را که دچار خطا شده تغییر نمی‌دهد.
  • «سقف درخواست‌های همزمان را بالا ببرید تا نشست‌ها منتظر نمانند.» با افزایش درخواست‌های در حال اجرا، بخش بیشتری از استخر اشغال می‌شود؛ در نتیجه تخلیه سنگین‌تر شده و نرخ اصابت کش حتی پایین‌تر می‌آید.
درس کلی

وقتی نوبت‌های اول خوب کار می‌کنند اما در نوبت‌های بعدی نرخ اصابت ناگهان افت می‌کند، نشان می‌دهد مجموعه‌ی کاری از ظرفیت کش فراتر رفته است. پیش از دستکاری سیاست تخلیه، اندازه‌ی کش را درست کنید؛ چرا که سیاست فقط تعیین می‌کند کدام بخش از یک مجموعه‌ی ناکافی حذف شود. علاوه بر این، اگر خطایی فقط در یک الگوی بار خاص ظاهر می‌شود، مسیر اجرای کد را سوئیچ‌به‌سوئیچ تغییر دهید؛ و همیشه سوئیچی را که کارها را پشت سر هم و مسدودکننده می‌کند برای دیباگر بگذارید، نه برای کاربران واقعی.

کجای دوره آموزش داده می‌شود

راهنمای SGLang این ردگیری محاسبات و سیاست‌ها را در صفحه‌ی سیاست‌های تخلیه و HiCache بررسی می‌کند، جزئیات کرش را در صفحه‌ی مدیریت اجرایی SGLang ثبت کرده، ابعاد استخر را در صفحه‌ی سهم حافظه‌ی استاتیک اندازه می‌زند و عملکرد گراف‌ها را در صفحه‌ی CUDA graphs می‌سنجد. همچنین در درس توجه رادیکس (RadixAttention)، درختی که این سیاست‌ها روی آن حرکت می‌کنند بررسی شده است.