سناریوی رخداد

آزمون پایش نرخی که هرگز به حالت پایدار نرسید

A rate sweep that never reached steady state

  • سطح ۴: استف
  • سناریوی رخداد
  • ۳۰ دقیقه

وضعیت

تیم پلتفرم باید تعداد کارت‌های L4 موردنیاز را برای یک API چت جدید برآورد کند. آن‌ها آزمون پایش نرخ (rate sweep) را روی یک کارت با مدل Qwen/Qwen3-8B اجرا می‌کنند: درخواست‌ها با نرخ ثابتی از 0.5 تا 16 درخواست بر ثانیه ارسال می‌شوند و هر درخواست شامل یک پرامپت 512 توکنی و پاسخی 128 توکنی است. تمام اجراها کامل می‌شوند و هیچ درخواستی خطا نمی‌دهد. نرخ خروجی در 4 درخواست بر ثانیه به 286.6 توکن بر ثانیه می‌رسد و در نرخ 16 هنوز 205.8 است. گزارش ظرفیت‌سنجی نتیجه می‌گیرد که یک کارت می‌تواند 16 درخواست در هر ثانیه بپذیرد، بنابراین در برنامه‌ریزی تعداد کارت‌ها، اوج بار مورد انتظار بر 16 تقسیم می‌شود.

این گزارش، عصرِ روزِ قبل از ارسال سفارش خرید به دست شما می‌رسد. گزارش، نرخ پردازش (throughput) به ازای هر نرخ ورودی و میانه‌ی زمان انتظار تا دریافت اولین توکن در هر نرخ را نشان می‌دهد و روی این ستون عنوان «تاخیر تحت بار، مورد انتظار» خورده است. در هیچ کجای گزارش نیامده است که هر اجرا چقدر طول کشیده یا کلاک GPU چه رفتاری داشته است.

نسخه
vLLM 0.31.0 and SGLang 0.5.22
مدل
Qwen/Qwen3-8B
سخت‌افزار
one L4 with 24 GB of memory

شواهد

closed-loop-against-fixed-rate.txt
title: what a fixed request rate does that a closed loop cannot
source: manuals/vllm-101/sections/5-1-benchmark-your-server-in-15-minutes.md
lines: 115-119
lang: text
note: Read the second paragraph: past the rate the server can serve, the queue grows with every request.
---
## Choose a closed loop or a fixed rate

`--max-concurrency` keeps a fixed number of users busy. When the server slows down, the users send their next request later, so the load drops by itself. This closed loop never falls behind.

`--request-rate` sends requests at a fixed rate, whether the server keeps up or not. Past the rate the server can serve, the queue grows, and the first token takes longer with every request. Real traffic behaves more like a fixed rate. Run both before you set a capacity limit.
goodput-by-rate.txt
title: which rates kept up, which met the target, and which row the manual refuses to compare
source: manuals/sglang-101/sections/5-3-reading-other-peoples-benchmarks.md
lines: 240-248
lang: text
note: Find the rate from which no request met the target, then the reason the row at 16 is not compared.
---
**We measured** a tie up to 2 requests per second. Both engines kept up with the arrivals, so throughput was within 1 percent. SGLang gave the first token sooner at 0.5 and 1 per second, outside the seed spread. The medians were 284 against 317 ms and 166 against 180 ms. vLLM had the shorter time per token. It was 68 against 74 ms at 1 per second, outside the spread, and 89 against 100 ms at 2.

Goodput shows what that means for a target. We set the target at 1 s to the first token and 100 ms per token. At 2 requests per second, vLLM served a median of 1.36 requests per second within the target, and SGLang 0.88. The seed ranges overlapped, 1.09 to 1.44 against 0.54 to 1.18. The SGLang median time per token was 99.9 ms, on the line of the target.

From 4 requests per second, both engines fell behind the arrivals, and no request met the target. The stats lines show the same admission choice as in the closed loop. SGLang ran 37 requests with the pool 93 percent full. The vLLM server ran 43 requests and filled 99.7 percent of its pool.

At 4 per second, vLLM gave 286.6 against 257.5 tok/s, 11 percent more and outside the seed spread. Its median first token came at 8.3 against 9.6 s, but those seed ranges overlapped. The cost was the stream: its P99 time per token was 187 against 127 ms, outside the spread.

The clock does not explain the gap at 4. The vLLM runs had the lower median clock, 1,245 against 1,350 MHz. At 8 per second the throughput ranges overlapped. At 16 per second, every run of both engines stayed under 1,000 MHz after three tries, so we do not compare that row.
how-long-each-run-lasted.txt
title: the run length of the rate sweep
source: manuals/sglang-101/sections/5-3-reading-other-peoples-benchmarks.md
lines: 199-201
lang: text
note: The last sentence gives the run length: at least 32 prompts, or 30 seconds of arrivals.
---
### The same pair at a fixed arrival rate

A closed loop sends a new request only when one comes back, so the engine sets the pace. Production traffic does not wait for the engine. We ran the rate sweep of [section 5.1](#s-sglang-benchmark-serving) on the same pair, with the same pools and the same rules for heat and clock. Requests arrived at a Poisson rate from 0.5 to 16 per second, with 512 input and 128 output tokens. Each run sent at least 32 prompts, or 30 seconds of arrivals.
overload-cost-throughput.txt
title: completed requests per second as the offered rate rose past the peak
source: manuals/sglang-101/sections/5-1-sglang-benchmark-serving.md
lines: 325-327
lang: text
note: Read the completed rate at 4, 8 and 16 offered, then the clock and the thermal share.
---
**We measured** a different shape on the smaller card. Both servers met the target for every request up to 1 per second. BF16 held 0.88 within the target at 2 offered and none from 4. FP8 held 3.18 within the target at 4 offered, three times the best BF16 point. The FP8 server also had a pool of 142,369 tokens against 24,094 for BF16. From 4 offered, the BF16 pool was the limit.

Past its peak, BF16 completed fewer requests as we offered more: 2.01 per second at 4 offered, 1.91 at 8, and 1.62 at 16. The telemetry shows why. The median SM clock fell from 1,320 MHz at 4 offered to 465 MHz at 16. At 16, 70 percent of the samples showed thermal slowdown. On our passively cooled L4, overload cost throughput as well as latency.
rate-sweep-table.txt
title: the L4 rate sweep from 0.5 to 16 requests per second
source: manuals/vllm-101/sections/r-7-lab-notes.md
lines: 81-96
lang: text
note: Follow the median TTFT column down the table, then read the output and the clock columns.
---
### L4, rate: requests each second, 512 prompt and 128 output tokens

| Rate | Config | Output tok/s (min to max) | Median TTFT | Median TPOT | P99 ITL (min to max) | Median SM clock |
|---|---|---|---|---|---|---|
| 0.5 | `vllm` | 70.6 (67.2 to 92.3) | 317 ms | 72.7 ms | 214 (208 to 215) ms | 1,485 MHz |
| 0.5 | `sglang` | 70.6 (67.2 to 92.3) | 284 ms | 74.7 ms | 235 (234 to 235) ms | 1,485 MHz |
| 1 | `vllm` | 123.6 (118.4 to 154.5) | 180 ms | 68.2 ms | 77 (77 to 79) ms | 1,485 MHz |
| 1 | `sglang` | 123.3 (118.4 to 153.6) | 166 ms | 74.0 ms | 114 (113 to 166) ms | 1,500 MHz |
| 2 | `vllm` | 227.8 (216.5 to 231.8) | 233 ms | 88.7 ms | 355 (351 to 358) ms | 1,418 MHz |
| 2 | `sglang` | 226.3 (215.5 to 230.1) | 221 ms | 99.9 ms | 387 (384 to 429) ms | 1,433 MHz |
| 4 | `vllm` | 286.6 (283.7 to 291.7) | 8,304 ms | 126.9 ms | 621 (620 to 627) ms | 1,245 MHz |
| 4 | `sglang` | 257.5 (254.9 to 259.7) | 9,575 ms | 115.1 ms | 680 (383 to 811) ms | 1,350 MHz |
| 8 | `vllm` | 261.8 (259.4 to 264.3) | 27,510 ms | 126.0 ms | 1,184 (1,089 to 1,361) ms | 1,035 MHz |
| 8 | `sglang` | 253.9 (250.7 to 260.7) | 37,211 ms | 105.2 ms | 277 (259 to 317) ms | 1,215 MHz |
| 16 | `vllm` | 205.8 (204.8 to 208.4) | 94,322 ms | 185.2 ms | 1,448 (1,448 to 1,483) ms | 450 MHz |
| 16 | `sglang` | 218.2 (215.6 to 229.0) | 97,542 ms | 115.2 ms | 137 (120 to 163) ms | 600 MHz |
sglang-under-the-rate.txt
title: the SGLang pool and one decode line with requests waiting
source: manuals/sglang-101/capture/gpu/out-l4/server-h2h-rate-sglang.log
lang: text
note: Count the running requests, the queued requests and the token usage in the second line.
---
[2026-10-18 00:43:57] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-18 03:13:55] Decode batch, #running-req: 37, #token: 22424, token usage: 0.93, cuda graph: True, gen throughput (token/s): 370.33, #queue-req: 71
vllm-under-the-rate.txt
title: the vLLM pool and one stats line with requests waiting
source: manuals/sglang-101/capture/gpu/out-l4/server-h2h-rate-vllm.log
lang: text
note: Count the running and the waiting requests, and read the KV cache usage.
---
INFO 10-18 03:15:35 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x
INFO 10-18 06:10:22 [loggers.py:320] Engine 000: Avg prompt throughput: 1326.7 tokens/s, Avg generation throughput: 158.4 tokens/s, Running: 43 reqs, Waiting: 30 reqs, GPU KV cache usage: 99.7%, Prefix cache hit rate: 0.6%

سؤال‌ها

  1. کدام ستون گزارش اثبات می‌کند که کارت با نرخ ورود درخواست‌ها همگام مانده است، و این اثبات در چه نرخی متوقف می‌شود؟
  2. یک حلقه‌ی بسته (closed loop) با 64 کاربر و یک حلقه‌ی باز (open loop) با نرخ 16 درخواست بر ثانیه هر دو کامل می‌شوند. تفاوت صف در این دو حالت چیست؟
  3. میانه‌ی زمان تا اولین توکن در نرخ 16 درخواست بر ثانیه، برابر با 94,322 میلی‌ثانیه بود. اگر مدت اجرای آزمون دو برابر می‌شد، این عدد چقدر می‌بود و چرا؟
  4. دو خط لاگ را بخوانید. روی هر موتور چه تعداد درخواست اجرا شد و چه تعداد در صف منتظر ماند، و چه عاملی این محدودیت را تعیین کرد؟
  5. با توجه به شواهد، ظرفیت این کارت را برای هدف یک ثانیه تا اولین توکن و 100 میلی‌ثانیه به ازای هر توکن مشخص کنید.
  6. آزمون نرخی را بنویسید که باید به جای این تست اجرا می‌کردید، به همراه قاعده‌ی توقفی که نشان دهد یک نقطه بالاتر از ظرفیت است.

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام
  1. جدول را به صورت یک سری زمانی بخوانید، نه مجموعه‌ای از نقاط مجزا. تا نرخ 2 درخواست بر ثانیه، خروجی متناسب با نرخ ورودی رشد می‌کند: برای vLLM، خروجی 70.6 در نرخ 0.5، 123.6 در نرخ 1 و 227.8 در نرخ 2 است و میانه‌ی TTFT بین 180 تا 317 میلی‌ثانیه باقی می‌ماند. سرور کارها را با همان سرعتی که وارد می‌شوند تمام می‌کند. در نرخ 4 درخواست بر ثانیه، خروجی 286.6 و میانه‌ی TTFT برابر 8,304 میلی‌ثانیه است. در نرخ 8، این دو عدد 261.8 و 27,510 میلی‌ثانیه هستند، و در نرخ 16 به 205.8 و 94,322 میلی‌ثانیه می‌رسند. خروجی در نرخ 4 به اوج رسید و سپس افت کرد، در حالی که با هر بار دو برابر شدن نرخ، زمان اولین توکن بیش از سه برابر شد. ستون کلاک پردازنده از 1,245 مگاهرتز در نرخ 4 به 450 مگاهرتز در نرخ 16 سقوط می‌کند.
  2. نوع حلقه را مشخص کنید. فهرست دوم دو نوع آزمون بار را تفکیک می‌کند. حلقه‌ی بسته با تعداد کاربران ثابت هرگز عقب نمی‌افتد؛ چون کاربر درخواست بعدی را تنها پس از دریافت پاسخ قبلی می‌فرستد. اما نرخ ثابت بدون توجه به این‌که سرور توان پاسخگویی دارد یا خیر، به ارسال ادامه می‌دهد. فراتر از نرخی که سرور می‌تواند سرویس دهد، صف بزرگ‌تر می‌شود و زمان اولین توکن با هر درخواست بالا می‌رود. از نرخ 4 بر ثانیه به بعد، ستون اولین توکن در گزارش عملاً زمان انتظار در صف را اندازه می‌گیرد.
  3. بپرسید اجرای آزمون چقدر طول کشیده است. فهرست سوم مدت اجرای آزمون را نشان می‌دهد: حداقل 32 پرامپت یا 30 ثانیه پنجره‌ی ورود درخواست‌ها. میانه‌ی TTFT معادل 94,322 میلی‌ثانیه در آزمونی با 30 ثانیه پنجره‌ی ورود یعنی یک درخواست معمولی، بیشتر از کل بازه‌ی ورود منتظر مانده است. وقتی آخرین درخواست رسید، صف هنوز در حال رشد بود. اگر همین نرخ را برای مدتی دو برابر اجرا کنید، این میانه بزرگ‌تر می‌شود؛ زیرا هر ثانیه‌ی اضافی از ورود درخواست‌ها، کاری به سیستم اضافه می‌کند که سرور توان تخلیه‌ی آن را ندارد. این عدد ناشی از مدت‌زمان اجرای تست است، نه ویژگی خود کارت. نقطه‌ای که بالاتر از ظرفیت است دقیقاً همین رفتار را دارد: تاخیر هرگز تثبیت نمی‌شود.
  4. ببینید چه تعداد اجرا شدند و چه تعداد منتظر ماندند. موتور SGLang تعداد 37 درخواست را اجرا می‌کرد، در حالی که 71 درخواست در صف داشت و استخر حافظه‌ی آن 93 درصد پر بود. موتور vLLM تعداد 43 درخواست را اجرا می‌کرد، 30 درخواست منتظر بودند و 99.7 درصد استخر حافظه‌ی آن مصرف شده بود. استخرهای حافظه 24,094 و 24,096 توکن ظرفیت دارند؛ بنابراین حدود چهل درخواست 512 به علاوه‌ی 128 توکنی به طور هم‌زمان در آن‌ها جا می‌گیرند. هر درخواستی که سریع‌تر از آزاد شدن این جایگاه‌ها (slots) وارد شود، معطل می‌ماند. تفاوت این دو موتور صرفاً در این است که پیش از فرستادن درخواست‌ها به صف، چه تعداد را پذیرش می‌کنند.
  5. ظرفیت را بر اساس نرخ پردازش موثر (goodput) تعیین کنید. راهنما دو حد تعیین کرده است: 1 ثانیه تا اولین توکن و 100 میلی‌ثانیه به ازای هر توکن. در نرخ 2 درخواست بر ثانیه، vLLM میانه‌ی 1.36 درخواست بر ثانیه و SGLang معادل 0.88 درخواست را درون این محدوده‌ها با بازه‌های سید (seed) دارای همپوشانی پوشش دادند. از نرخ 4 به بعد، هیچ درخواستی روی هیچ‌یک از موتورها به این حدود نرسید. بنابراین ظرفیتی که کارت می‌تواند با این هدف حفظ کند، جایی بین 2 تا 4 درخواست بر ثانیه است و عددی که باید مبنای برنامه‌ریزی قرار گیرد 2 است. ردیف مربوط به نرخ 16 حتی قابل مقایسه هم نیست: تمام اجراهای هر دو موتور پس از سه بار تلاش زیر 1,000 مگاهرتز ماندند، به همین دلیل راهنما از مقایسه‌ی آن خودداری می‌کند.
  6. هزینه‌ی بار اضافی (overload) را بررسی کنید. فهرست آخر همان کارت را در حلقه‌ی بازِ راهنمای SGLang نشان می‌دهد. بعد از نقطه‌ی اوج، سرور BF16 با افزایش بار ورودی، درخواست‌های کمتری را تکمیل کرد: 2.01 درخواست بر ثانیه در نرخ ورودی 4، 1.91 در نرخ 8 و 1.62 در نرخ 16. میانه‌ی کلاک هسته‌های پردازشی (SM) از 1,320 مگاهرتز در نرخ ورودی 4 به 465 مگاهرتز در نرخ 16 سقوط کرد و 70 درصد نمونه‌ها افت فرکانس حرارتی (thermal slowdown) را نشان دادند. در این کارت که به صورت غیرفعال خنک می‌شود (passively cooled)، بار اضافی بدون هزینه نیست؛ پردازنده را داغ می‌کند، کلاک افت می‌کند و سرور نسبت به نرخ‌های پایین‌تر خروجی کمتری تحویل می‌دهد.
نتیجه

گزارش، کامل شدن اجراها را با ظرفیت اشتباه گرفته بود. تست مبتنی بر نرخ ثابت همیشه کامل می‌شود؛ چون کلاینت در پایان پنجره‌ی ورود ارسال را قطع می‌کند و سرور در ادامه صف را تخلیه می‌کند. ستون اولین توکن از نرخ 4 بر ثانیه به بالا صرفاً طول همان صف است و در نرخ 16 بعد از 30 ثانیه ورود درخواست، به 94,322 میلی‌ثانیه رسید. این کارت هرگز 16 درخواست بر ثانیه را تحت هیچ هدف تاخیری پاسخ نداده است. این کارت در چارچوب هدف 1 ثانیه و 100 میلی‌ثانیه، حدود 2 درخواست بر ثانیه را پردازش کرد؛ یعنی با نرخ ورودی 2، نرخ پردازش موثر vLLM برابر 1.36 و SGLang برابر 0.88 درخواست بر ثانیه بود.

پیش از هرگونه حاشیه‌ی اطمینان (headroom)، نقطه‌ی اوج باید بر 2 تقسیم شود، نه 16. آزمون باید به چهار روش تغییر کند: هر نرخ را آن‌قدر طولانی اجرا کنید تا ببینید آیا زمان اولین توکن تثبیت می‌شود یا نه؛ اگر با طولانی‌تر کردن تست میانه‌ی TTFT بالا رفت، نرخ فراتر از ظرفیت است و آن عدد معنایی ندارد. نرخ پردازش موثر را به ازای هر نرخ ورودی در برابر هدف latency خودتان، در کنار نرخ پردازش گزارش کنید. فرکانس کلاک SM و دما را ثبت کنید، و هر نقطه‌ای را که زیر حداقل فرکانس مجاز کلاک افتاد دوباره اجرا کرده یا حذف کنید؛ درست مانند کاری که راهنما برای ردیف نرخ 16 انجام داد. حلقه‌ی بسته را نیز اجرا کنید؛ زیرا حلقه‌ی بسته نقطه‌ی شکست را بر اساس تعداد کاربر پیدا می‌کند و حلقه‌ی باز نرخی را که کارت تاب می‌آورد می‌سنجد، و طرح نهایی در محیط عملیاتی (production) به هر دو نیاز دارد.

مسیرهای اشتباه رایج
  • «همه‌ی اجراها تمام شدند، پس کارت از پس 16 درخواست بر ثانیه برمی‌آید.» کلاینتِ نرخ ثابت در پایان پنجره‌ی خود ارسال را متوقف می‌کند و سرور پس از آن صف را خالی می‌کند. کامل شدن تضمین شده است. میانه‌ی 94,322 میلی‌ثانیه‌ای اولین توکن، زمان انتظار در صف است نه زمان ارائه‌ی سرویس.
  • «خروجی در نرخ 16 هنوز 205.8 توکن بر ثانیه بود، پس نرخ پردازش حفظ شده است.» خروجی از 286.6 در نرخ 4 بر ثانیه به 205.8 در نرخ 16 سقوط کرد، آن هم در شرایطی که کلاک از 1,245 به 450 مگاهرتز افت کرد. سرور در نرخ بالاتر کار کمتری انجام داد، و حلقه‌ی باز راهنمای SGLang نیز همین افت را در درخواست‌های تکمیل‌شده بر ثانیه نشان می‌دهد.
  • «مقدار TTFT در نرخ 16 را به عنوان بدترین حالت تجربه‌ی کاربران در نظر بگیرید.» این مقدار مستقیماً به مدت‌زمان اجرای تست وابسته است. اگر تست را طولانی‌تر کنید، این عدد هم بزرگ‌تر می‌شود. عددی که با طول مدت تست رشد می‌کند، وضعیت تست را توصیف می‌کند نه سرور را.
  • «سراغ موتوری بروید که در نرخ 8 بر ثانیه، TTFT کمتری دارد.» در نرخ 8 هر دو موتور فرسنگ‌ها فراتر از ظرفیت خود بودند؛ 27,510 در برابر 37,211 میلی‌ثانیه. انتخاب میان دو سرور که زیر بار خرد شده‌اند بر اساس طول صف، تصمیم‌گیری درباره‌ی ظرفیت نیست.
درس کلی

سیستمی که باری فراتر از نرخ سرویس‌دهی خود دریافت کند هیچ حالت پایداری (steady state) ندارد؛ بنابراین هر تاخیری که آنجا اندازه بگیرید، تابعی از مدت‌زمان اندازه‌گیری شماست. ظرفیت یعنی بالاترین نرخ ورودی که در آن تاخیر تثبیت می‌شود و نرخ پردازش موثر پایدار می‌ماند؛ عددی که با یک حلقه‌ی باز که به قدر کافی برای اثبات تثبیت ادامه یابد به دست می‌آید و با یک حلقه‌ی بسته برای تعیین تعداد کاربران تایید می‌شود. کامل شدن اجرا، نرخ پردازش و میانه‌ای که از یک صفِ در حال رشد استخراج شده باشد، هیچ‌کدام ظرفیت نیستند.

کجای دوره آموزش داده می‌شود

راهنمای vLLM این پایش نرخ را در یادداشت‌های آزمایشگاه و دو حالت حلقه را در صفحه‌ی بنچ‌مارک آورده است. راهنمای SGLang همین مقایسه را در نرخ ورود ثابت بررسی می‌کند و حلقه‌ی باز خود را در صفحه‌ی بنچ‌مارک سرویس‌دهی اجرا می‌کند. همچنین درس معیارهای استنتاج نرخ پردازش موثر را تعریف می‌کند و درس تست بار APIهای مدل‌های زبانی چهار الگوی بار را نام می‌برد.