سناریوی رخداد

زانوی بار کاری و سقفی که اوضاع را بدتر کرد

The load knee and the cap that made it worse

  • سطح ۳: ارشد
  • سناریوی رخداد
  • ۲۵ دقیقه

وضعیت

یک سرویس چت، پاسخ‌ها را با مدل Qwen/Qwen3-8B روی یک کارت L4 به‌کمک vLLM استریم می‌کند. هدف سرویس این است: تولید اولین توکن زیر یک ثانیه و فاصله‌ی بین توکن‌ها 100 میلی‌ثانیه یا کمتر باشد. در ساعت‌های اوج مصرف، 64 کاربر هم‌زمان به سرویس وصل می‌شوند و استریم دچار مکث‌های طولانی می‌شود؛ کاربران ابتدا یک توکن می‌بینند، سپس وقفه‌ای بیش از یک ثانیه رخ می‌دهد و بعد دسته‌ای از توکن‌ها یک‌جا ارسال می‌شوند. با این حال، نرخ پردازش (throughput) در داشبورد همچنان خوب به نظر می‌رسد: 241.39 توکن در ثانیه.

یکی از مهندسان با این فرض که پرچم --max-num-seqs تعداد درخواست‌های هم‌زمان را محدود می‌کند، مقدار آن را از پیش‌فرض 256 به 16 کاهش می‌دهد تا استریم هر کاربر یکنواخت‌تر شود. صبح روز بعد، مکث‌ها همچنان پابرجا هستند و میانه‌ی زمان انتظار برای اولین توکن به حدود یک دقیقه رسیده است. مهندس دیگری پیشنهاد می‌کند موتور اجرا را عوض کنند؛ چون در جدولی منتشرشده، یک موتور رقیب با همین کارت توانسته بود وقفه‌ها را نزدیک 150 میلی‌ثانیه نگه دارد.

نسخه
vLLM 0.31.0 against SGLang 0.5.22
مدل
Qwen/Qwen3-8B
سخت‌افزار
one L4 with 24 GB of memory; the first sweep ran at the full clock, and the reruns locked the SM clock at 900 MHz

شواهد

cap-of-16-at-32-users.txt
title: a cap of 16 sequences against the default at 32 users
source: manuals/vllm-101/sections/3-1-tune-chat-for-many-users.md
lines: 63-66
lang: text
note: Compare the median TTFT, the P99 ITL and the output of the two rows.
---
| Users, L4 full-clock session | Config | Output tok/s | Median TTFT | Median ITL | P99 ITL | Median SM clock |
|---|---|---|---|---|---|---|
| 32 | default | 275.1 | 1.8 s | 80.5 ms | 613 ms | 1,275 MHz |
| 32 | `--max-num-seqs 16` | 171.8 | 12.3 s | 69.8 ms | 595 ms | 1,365 MHz |
caps-at-64-users.txt
title: every admission cap that we tried at 64 users
source: manuals/vllm-101/capture/gpu/out-l4/admission-cap-64-users.txt
lines: 7-19
lang: text
note: Read only the rows whose clock is 900 MHz, and follow the TTFT column as the cap falls.
---
config                        median SM clock (s1/s2)   median TTFT       P99 ITL               output tok/s
SGLang default                900 / 900                 19.4 s            143 to 153 ms         225 to 231
vLLM default                  405 / 405                 13.5 to 14.2 s    1,647 to 1,778 ms     174
vLLM default, earlier run     900                       11.8 s            1,359 ms              220
--max-num-seqs 48             435 / 375                 13.8 to 15.2 s    1,656 to 1,749 ms     171 to 195
--max-num-seqs 32             900 / 795                 17.2 to 20.6 s    1,163 to 1,399 ms     196 to 230
--max-num-seqs 16             255 / 255                 61.7 to 64.7 s    1,548 to 1,692 ms     108 to 110
--max-num-active-seqs 48      900 / 900                 11.8 s            1,329 to 1,373 ms     215 to 218
--max-num-active-seqs 32      435 / 810                 21.8 to 22.7 s    1,380 to 1,658 ms     187 to 202
--max-num-active-seqs 16      795 / 683                 44.8 to 48.8 s    1,133 to 1,139 ms     129 to 136

The earlier vLLM default run at 900 MHz was in the same session without a flush. It ran at a different clock from the flushed default run, so the two default rows are not a flush comparison.
No cap we tried brought the vLLM P99 ITL near the SGLang value. Lower caps moved the wait to the first token.
chat-target-by-users.txt
title: the chat sweep with the share of requests that met the target
source: manuals/vllm-101/sections/3-1-tune-chat-for-many-users.md
lines: 19-24
lang: text
note: Read the output column and the share column together, row by row.
---
| Users, L4 full-clock session | Output tok/s | Median TTFT | P99 ITL | Share of requests that met the target | Median SM clock |
|---|---|---|---|---|---|
| 8 | 112.8 | 0.25 s | 67 ms | 75% | 1,485 MHz |
| 16 | 201.3 | 0.29 s | 85 ms | 64% | 1,455 MHz |
| 32 | 275.1 | 1.80 s | 613 ms | 0% | 1,275 MHz |
| 64 | 242.3 | 11.18 s | 1,233 ms | 0% | 1,005 MHz |
flushed-against-unflushed.txt
title: the share that met the target and the P99 ITL, with and without a cache reset before each run
source: manuals/vllm-101/capture/gpu/out-l4/load-flushed-vs-unflushed.txt
lines: 15-26
lang: text
note: The number before the slash is the run with a reset. Find the user count where the share falls below half.
---
share of requests with TTFT <= 1 s and a mean ITL <= 100 ms, flushed against unflushed
users   vLLM                  SGLang
4       100% / 100%           100% / 100%
8       50% / 75 to 81%       31% / 69 to 75%
16      25% / 64 to 66%       16 to 17% / 61 to 64%
32      0% / 6 to 9%          0% / 0%

P99 ITL, flushed: vLLM 69 to 72 ms at 8 users, 522 to 523 ms at 16, 668 to 964 ms at 32.
SGLang 72 to 73 ms at 8 users, 82 ms at 16, 105 to 106 ms at 32.
P99 ITL, unflushed at 900 MHz in the same session: vLLM 69 ms at 8 users, 82 to 84 ms at 16, 741 to 1,422 ms at 32.
SGLang 71 to 72 ms at 8 users, 81 to 82 ms at 16, 102 to 106 ms at 32.
The time per token and the throughput changed by about 5 to 10 percent between the two sweeps. The cache moved the first token, not the decode.
sglang-stats-at-64.txt
title: the SGLang pool and one decode line at a cap of 64
source: manuals/sglang-101/capture/gpu/out-l4/server-h2h-sglang.log
lang: text
note: Count the running requests and the queued requests in the second line.
---
[2026-10-17 18:27:40] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-17 20:12:04] Decode batch, #running-req: 37, #token: 22162, token usage: 0.92, cuda graph: True, gen throughput (token/s): 432.55, #queue-req: 27
two-engines-at-a-full-pool.txt
title: two engines with the same pool, from 1 to 64 users
source: manuals/sglang-101/sections/5-3-reading-other-peoples-benchmarks.md
lines: 115-121
lang: text
note: At 64 users, read the median TTFT and the P99 ITL of each engine.
---
| Concurrency | Output tok/s, SGLang / vLLM | Median TTFT, SGLang / vLLM | P99 ITL, SGLang / vLLM | Median SM clock, SGLang / vLLM |
|---|---|---|---|---|
| 1 | 13.84 / 13.51 | 185 / 192 ms | 104 / 105 ms | 1,290 / 1,290 MHz |
| 8 | 112.46 / 112.79 | 170 / 253 ms | 71 / 68 ms | 1,485 / 1,470 MHz |
| 16 | 201.13 / 200.90 | 212 / 289 ms | 81 / 80 ms | 1,470 / 1,425 MHz |
| 32 | 271.28 / 273.93 | 2,871 / 1,813 ms | 102 / 619 ms | 1,320 / 1,275 MHz |
| 64 | 256.62 / 241.39 | 18,356 / 10,953 ms | 114 / 1,363 ms | 1,215 / 1,013 MHz |
vllm-stats-at-64.txt
title: the vLLM pool and one stats line at a cap of 64
source: manuals/sglang-101/capture/gpu/out-l4/server-h2h-vllm.log
lang: text
note: Count the running and waiting requests, and read the KV cache usage and the prompt throughput.
---
INFO 10-17 20:13:17 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x
INFO 10-17 22:35:43 [loggers.py:320] Engine 000: Avg prompt throughput: 460.3 tokens/s, Avg generation throughput: 323.6 tokens/s, Running: 40 reqs, Waiting: 11 reqs, GPU KV cache usage: 99.5%, Prefix cache hit rate: 8.7%

سؤال‌ها

  1. کاربر چت کدام دو عدد را حس می‌کند و چرا نرخ پردازش معیار اشتباهی برای پایش در اینجا است؟
  2. با توجه به گزارش اول، سرویس از چه تعداد کاربر به بعد دیگر به هدف تعیین‌شده نمی‌رسد؟ کدام سنجه زودتر بالا می‌رود: زمان اولین توکن یا فاصله‌ی بین توکن‌ها؟
  3. تعیین سقف برای توالی‌های در حال اجرا، چه چیزی را درون یک گام اسکژولر (scheduler) تغییر می‌دهد و چه چیزی را دست‌نخورده باقی می‌گذارد؟
  4. هر دو موتور در بار 64 کاربر، تعداد توکن بر ثانیه‌ی یکسانی تولید می‌کنند. با استناد به دو خط لاگ، توضیح دهید چرا یکی توکن اول را سریع‌تر تحویل می‌دهد و دیگری استریم را یکنواخت نگه می‌دارد؟
  5. گزارش آخر شش سقف مختلف را بررسی کرده است. نتیجه را در یک جمله بگویید و سپس بنویسید چه راهکاری واقعاً وقفه‌ها را روی این کارت برطرف می‌کند.
  6. فرض کنید حتماً باید از vLLM استفاده کنید. کدام پرچم، چه تعداد نسخه (replica) و کدام سنجه را تنظیم می‌کنید و چگونه درستی راه‌حل را اثبات خواهید کرد؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام

کاربر چت دو چیز را حس می‌کند: زمان رسیدن اولین توکن و فاصله‌ی زمانی بین توکن‌ها یا همان تاخیر بین‌توکنی (inter-token latency یا ITL). نرخ پردازش هزینه‌ی قبض شما را نشان می‌دهد، نه کیفیت تجربه را. یک مکث طولانی در میان استریم، خیلی بدتر از استریمی با سرعتی کمی پایین‌تر حس می‌شود؛ بنابراین سنجه‌ی اصلی برای بررسی، صدک نودونهم تاخیر بین‌توکنی (P99 ITL) یعنی بدترین وقفه میان هر 100 توکن است.

گزارش اول نتیجه‌ی آزمون گام‌به‌گام در نشست با فرکانس کاری کامل پردازنده (clock) است. در 8 کاربر، 75 درصد از درخواست‌ها به هدف رسیدند و P99 ITL برابر با 67 میلی‌ثانیه بود. در 16 کاربر، این سهم به 64 درصد با تاخیر 85 میلی‌ثانیه رسید. در 32 کاربر، خروجی همچنان افزایش یافت و به 275.1 توکن در ثانیه رسید، اما P99 ITL تا 613 میلی‌ثانیه بالا رفت و هیچ درخواستی به هدف نرسید. در 64 کاربر، تولید اولین توکن 11.18 ثانیه طول کشید و P99 ITL به 1,233 میلی‌ثانیه رسید. بنابراین، پیش از آن‌که رشد خروجی متوقف شود، فاصله‌ها از کنترل خارج می‌شوند. در این آزمون حافظه‌ی پیشوند (prefix cache) بین تعداد کاربران مختلف ریست نشده بود، به همین دلیل ردیف‌های پایین‌تر زمان اولین توکن را بیش‌ازحد سریع ثبت کردند. گزارش دوم تکرار همین آزمون است، با این تفاوت که حافظه‌ی موقت قبل از هر اجرا پاکسازی شده و فرکانس کارت روی 900 مگاهرتز قفل شده است. در 8 کاربر، 50 درصد به هدف رسیدند (در مقایسه با 75 تا 81 درصد بدون پاکسازی). در 16 کاربر، این عدد 25 درصد بود (در مقایسه با 64 تا 66 درصد)، و P99 ITL با پاکسازی حافظه بین 522 تا 523 میلی‌ثانیه ثبت شد (در برابر 82 تا 84 میلی‌ثانیه بدون پاکسازی). در نتیجه، روانی استریم روی این کارت، جایی بین 8 تا 16 کاربر از دست می‌رود.

گزارش سوم نشان می‌دهد اعمال سقف چه اثری داشته است. با تنظیم --max-num-seqs 16 در بار 32 کاربر، میانه‌ی ITL از 80.5 به 69.8 میلی‌ثانیه و P99 ITL از 613 به 595 میلی‌ثانیه کاهش یافت. اما زمان رسیدن اولین توکن از 1.8 ثانیه به 12.3 ثانیه رسید و نرخ خروجی از 275.1 به 171.8 توکن بر ثانیه افت کرد که معادل 38 درصد کاهش است. اجرای همراه با سقف حتی فرکانس بالاتری داشت، بنابراین فرکانس پردازنده دلیل این افت خروجی نیست. تعیین سقف، فضا برای کاربران بیشتر باز نمی‌کند؛ فقط تعیین می‌کند چه کسی منتظر بماند و عملاً زمان انتظار را از میانه‌ی استریم به صف منتقل می‌کند.

گزارش چهارم دو موتور را روی یک استخر یکسان با ظرفیت 24,096 توکن مقایسه می‌کند. تا 32 کاربر، نرخ خروجی هر دو برابر است. در 64 کاربر، SGLang توانست 256.62 توکن بر ثانیه و vLLM توانست 241.39 توکن بر ثانیه تحویل دهد. میانه‌ی زمان توکن اول به‌ترتیب 18,356 میلی‌ثانیه در برابر 10,953 میلی‌ثانیه بود، و P99 ITL به‌ترتیب 114 میلی‌ثانیه در برابر 1,363 میلی‌ثانیه ثبت شد. دو خط لاگ دلیل این تفاوت را نشان می‌دهند: SGLang تعداد 37 درخواست را هم‌زمان اجرا کرد و 27 درخواست را در صف نگه داشت، در حالی که استخر حافظه‌اش 92 درصد پر بود. در مقابل، vLLM تعداد 40 درخواست را اجرا کرد و 11 درخواست را در صف انتظار گذاشت؛ این موتور 99.5 درصد استخرش را پر کرد و هم‌زمان با رمزگشایی (decode) توالی‌های قبلی، پیش‌پرکنی (prefill) پرامپت‌های جدید را با سرعت 460.3 توکن در ثانیه انجام داد. از آنجا که هر پیش‌پرکنی جدید، گام پردازشی را با استریم‌های در حال اجرا شریک می‌شود، استریم‌ها دچار وقفه می‌شوند. vLLM توکن اول سریع‌تر را انتخاب کرد و SGLang استریم روان را برگزید.

گزارش آخر تلاش می‌کند با سقف‌ها روانی استریم را برگرداند. فرکانس هسته در همه‌ی اجراها روی 900 مگاهرتز نماند، بنابراین باید ستون فرکانس را پیش از ستون سقف بخوانید. سه ردیف روی 900 مگاهرتز اجرا شدند. تنظیمات پیش‌فرض SGLang به P99 ITL بین 143 تا 153 میلی‌ثانیه با اولین توکن در 19.4 ثانیه رسید. پیش‌فرض vLLM تاخیر 1,359 میلی‌ثانیه‌ای در 11.8 ثانیه ثبت کرد. تنظیم --max-num-active-seqs 48 تاخیر 1,329 تا 1,373 میلی‌ثانیه در همان 11.8 ثانیه داد؛ یعنی این سقف چیزی را عوض نکرد. تنظیم --max-num-seqs 32 در فرکانس‌های 900 و 795 مگاهرتز اجرا شد، تاخیر 1,163 تا 1,399 میلی‌ثانیه داد و زمان توکن اول را به 17.2 تا 20.6 ثانیه push کرد. مقدار --max-num-active-seqs 16 در فرکانس‌های 795 و 683 مگاهرتز اجرا شد؛ پس شرایط سنجش برابری ندارد، اما تاخیر 1,133 تا 1,139 میلی‌ثانیه‌ای با توکن اول در 44.8 تا 48.8 ثانیه داد و خروجی را به 129 تا 136 کاهش داد. هیچ سقفی نتوانست P99 ITL را به زیر 1.1 ثانیه برساند و سقف‌هایی هم که تغییری ایجاد کردند، فقط زمان انتظار را به اولین توکن منتقل کردند.

نتیجه

دو جای کار ایراد داشت: سرویس فراتر از نقطه‌ی زانویی (knee) بار کاری خود کار می‌کرد، و با اعمال سقف، با مشکل ظرفیت مثل یک مشکل زمان‌بندی برخورد شد. زانوی بار روی این کارت، طبق سنجش با پاکسازی حافظه‌ی موقت، بین 8 تا 16 کاربر قرار دارد. در بار 64 کاربر، استخر فقط گنجایش حدود 37 تا 40 درخواست 640 توکنی را دارد؛ در نتیجه بقیه منتظر می‌مانند و هر پیش‌پرکنی جدیدی که وارد یک گام می‌شود، استریم‌های در حال اجرا را متوقف می‌کند.

راهکار درست، کاهش تعداد کاربر به ازای هر نسخه است. روی این کارت، به ازای هر نسخه، 8 کاربر برای نیمی از درخواست‌ها و 16 کاربر برای یک‌چهارم آن‌ها به هدف رسیدند؛ بنابراین تعداد نسخه‌ها باید بر اساس این هدف تعیین شود، نه بر اساس نقطه‌ی اوج نرخ پردازش. تنظیم --max-num-seqs 16 را بردارید؛ زیرا در 32 کاربر، خروجی را 38 درصد کاهش داد و میانه‌ی زمان اولین توکن را از 1.8 به 12.3 ثانیه رساند، در حالی که P99 ITL همچنان نزدیک 600 میلی‌ثانیه باقی ماند. سیاست پذیرش را روی حالت پیش‌فرض بگذارید و آن‌قدر نسخه اضافه کنید تا در شلوغ‌ترین ساعت، هم P99 ITL و هم زمان اولین توکن به هدف برسند.

تغییر موتور یک گزینه‌ی واقعی است، نه یک درمان. در استخر یکسان با 64 کاربر، SGLang توانست P99 ITL را در 114 میلی‌ثانیه نگه دارد اما کاربران را 18,356 میلی‌ثانیه منتظر اولین توکن گذاشت. vLLM دقیقاً برعکس عمل کرد. موتور را بر اساس این انتخاب کنید که کاربران شما با کدام‌یک از این دو عدد راحت‌تر کنار می‌آیند، و این دو شاخص را حتماً روی کارت خودتان اندازه بگیرید.

مسیرهای اشتباه رایج
  • «اندازه‌ی دسته (batch) را کم کنیم تا هر گام سریع‌تر شود.» سقف گذاشتن روی توالی‌ها فضا اضافه نمی‌کند؛ فقط تعیین می‌کند چه کسی معطل شود، و توکن اول پشت در صف منتظر می‌ماند. در 32 کاربر، این سقف 38 درصد از خروجی را تلف کرد.
  • «نرخ پردازش خوب است، پس سرور مشکلی ندارد.» در 32 کاربر خروجی هنوز بالا می‌رفت، در حالی که هیچ درخواستی به هدف نرسید. نرخ پردازش صورت‌حساب را اندازه می‌گیرد، P99 ITL حس کاربر را می‌سنجد.
  • «حداکثر طول مدل را کم کنیم تا کاربران بیشتری جا شوند.» استخر حافظه همان اندازه می‌ماند، پس همان تعداد درخواست 640 توکنی جا می‌شوند. فقط استخر بزرگ‌تر یا کاربر کمتر این معادله را عوض می‌کند.
  • «آن یکی موتور سریع‌تر است.» هر دو موتور در تمام تعداد کاربران تقریباً تعداد توکن بر ثانیه‌ی یکسانی نوشتند. تفاوت آن‌ها در این بود که هنگام پر بودن استخر کدام انتظار را انتخاب کنند، نه در سرعت.
  • «سقف را روی 48 بگذاریم تا استخر هیچ‌وقت پر نشود.» سقف 48 توالی فعال، P99 ITL را روی 1,329 تا 1,373 میلی‌ثانیه نگه داشت که مانند حالت پیش‌فرض بود. این فاصله‌ها از پیش‌پرکنی‌هایی می‌آیند که در هر گام شریک می‌شوند، نه صرفاً از تعداد توالی‌های در حال اجرا.
درس کلی

وقتی سرویسی فراتر از نقطه‌ی زانویی خود کار می‌کند، هر پیچ تنظیم پذیرشی تنها یک تاخیر را با تاخیری دیگر معاوضه می‌کند و هیچ‌کدام ظرفیتی به سیستم اضافه نمی‌کنند. دو عدد ملموس برای کاربر را در کنار نرخ پردازش اندازه بگیرید، آخرین تعداد کاربری را پیدا کنید که هر دو را برآورده می‌کند، و ظرفیت نسخه‌ها را بر اساس همان تعداد بسنجید. وقتی دو سیستم از نظر نرخ پردازش با هم برابرند، تفاوت آن‌ها در تصمیمی است که هنگام اشباع (saturation) می‌گیرند؛ بنابراین پیش از تغییر موتور، رفتار انتهای توزیع تاخیر اولین توکن و انتهای توزیع تاخیر استریم را کنار هم بررسی کنید.

کجای دوره آموزش داده می‌شود

در راهنمای vLLM، تحلیل آزمون گام‌به‌گام و سقف‌ها در بخش تنظیم چت برای کاربران پرشمار آمده و مفهوم گام مشترک در بخش سهمیه‌ی توکن توضیح داده شده است؛ راهنمای SGLang مدیریت صف را در صفحه‌ی پذیرش و لغو و مقایسه‌ی دو موتور کنار هم را در راهنمای خواندن بنچمارک‌ها پوشش می‌دهد؛ و درس سنجه‌های استنتاج و نرخ پردازش موثر (goodput) این اعداد را تعریف می‌کند.