سناریوی رخداد

طول یکنواخت پرامپت‌ها که وقفه را پنهان کرد

Uniform prompt lengths that hid the stall

  • سطح ۳: ارشد
  • سناریوی رخداد
  • ۲۵ دقیقه

وضعیت

تیمی که مدل Qwen/Qwen3-8B را روی کارت‌های L4 سرو می‌کند، پیش از تمدید قرارداد عملکرد دو موتور اجرایی را ارزیابی می‌کند. آزمون بارگذاری با همان الگوی پیش‌فرض ابزار بنچ‌مارک اجرا می‌شود: 64 پرامپت با 16 کاربر هم‌زمان، که در آن طول هر پرامپت دقیقاً 512 توکن و طول هر پاسخ 128 توکن است. نتایج موتور A نشان‌دهنده‌ی فاصله‌ی بین‌توکنی (Inter-Token Latency یا ITL) در صدک 99ام (P99) برابر با 502 میلی‌ثانیه و میانه‌ی زمان انتظار برای توکن اول برابر با 1499 میلی‌ثانیه است. همین مقادیر برای موتور B به‌ترتیب 81 و 1775 میلی‌ثانیه ثبت می‌شود. نرخ خروجی هر دو موتور یکسان است: 181.7 در برابر 182.3 توکن بر ثانیه. نتیجه‌ی ارزیابی، استریم خروجی موتور A را «غیرقابل‌استفاده» تشخیص می‌دهد و برنامه‌ریزی برای مهاجرت به موتور B آغاز می‌شود.

یکی از مهندسان پشتیبانی یادآوری می‌کند که طول پرامپت‌ها در محیط عملیاتی (Production) از چند توکن تا چند هزار توکن متغیر است و تاکنون هیچ‌کس در محیط عملیاتی وقفه‌ی 500 میلی‌ثانیه‌ای روی موتور A ندیده است. تیم آزمون را با نسبت طول (Length Ratio) 0.5 و 0 تکرار می‌کند؛ یعنی حالت‌هایی که در آن‌ها طول‌ها متغیرند. با این تغییر، رتبه‌ی دو موتور در معیارهای مربوط به استریم جابه‌جا می‌شود. حالا از شما خواسته‌اند مشخص کنید تصمیم‌گیری نهایی باید بر اساس کدام نتیجه انجام شود.

نسخه
vLLM 0.31.0 against SGLang 0.5.22
مدل
Qwen/Qwen3-8B
سخت‌افزار
one L4 with 24 GB of memory

شواهد

a-different-winner-per-shape.txt
title: how the SGLang manual reads the two traffic shapes
source: manuals/sglang-101/sections/5-3-reading-other-peoples-benchmarks.md
lines: 270-274
lang: text
note: The last paragraph gives the mechanism.
---
**We measured** a different winner for each traffic shape. With fixed lengths, the two engines tied on throughput. They made the same trade as at a full pool. The vLLM server gave the first token sooner, 1,499 against 1,775 ms, outside the seed spread. SGLang kept the stream smooth, with a P99 ITL of 81 against 502 ms.

With mixed lengths, vLLM led. At a ratio of 0.5 it gave 169.6 against 159.6 tok/s, 6 percent more and outside the seed spread. Its median time per token was 81.4 against 87.8 ms, and its P99 ITL was 191 against 363 ms. At 0.0 the throughput ranges overlapped, and vLLM still had the lower time per token and the lower P99 ITL. Every median clock was 1,410 MHz or higher.

Our reading: when new prompts arrive one by one, each prefill shares a step with the running decodes. The vLLM server split that work so that the stream stalled less.
input-tokens-by-ratio.txt
title: total input tokens sent at each ratio, seed 1
source: manuals/sglang-101/capture/gpu/out-l4/waves-default-input-tokens.txt
lang: text
note: Mixed lengths send fewer tokens than fixed lengths.
---
ratio 1.0, seed 1: Total input tokens: 32768 
ratio 0.5, seed 1: Total input tokens: 24504 
ratio 0.0, seed 1: Total input tokens: 17870 
one-wave-in-the-log.txt
title: five consecutive scheduler lines from a run at ratio 1.0
source: manuals/sglang-101/capture/gpu/out-l4/server-waves-default.log
lang: text
note: Count the running requests in the first line, then watch the two prefill batches and the decode that follows.
---
[2026-10-17 15:54:33] Prefill batch, #new-seq: 8, #new-token: 4096, #cached-token: 1, token usage: 0.34, #running-req: 1, #queue-req: 0, #pending-token: 513, cuda graph: True, input throughput (token/s): 3509.80
[2026-10-17 15:54:34] Prefill batch, #new-seq: 8, #new-token: 3583, #cached-token: 0, token usage: 0.34, #running-req: 8, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 3503.78
[2026-10-17 15:54:35] Decode batch, #running-req: 16, #token: 8240, token usage: 0.34, cuda graph: True, gen throughput (token/s): 2.62, #queue-req: 0
[2026-10-17 15:54:37] Decode batch, #running-req: 16, #token: 8880, token usage: 0.37, cuda graph: True, gen throughput (token/s): 231.07, #queue-req: 0
[2026-10-17 15:54:40] Decode batch, #running-req: 16, #token: 9520, token usage: 0.40, cuda graph: True, gen throughput (token/s): 229.85, #queue-req: 0
the-mixed-chunk-test.txt
title: SGLang with the mixed chunk against vLLM, by ratio
source: manuals/sglang-101/sections/5-3-reading-other-peoples-benchmarks.md
lines: 289-297
lang: text
note: Read the three P99 ITL values on each row, then the cost at fixed lengths.
---
| Length ratio | Output tok/s, SGLang mixed chunk / vLLM | Median TPOT, SGLang mixed chunk / vLLM | P99 ITL, SGLang default / mixed chunk / vLLM |
|---|---|---|---|
| 1.0, fixed lengths | 182.3 / 181.7 | 73.1 / 76.8 ms | 81 / 203 / 502 ms |
| 0.5, mixed | 171.8 / 169.6 | 80.8 / 81.4 ms | 363 / 193 / 191 ms |
| 0.0, mixed | 171.9 / 174.4 | 76.8 / 75.0 ms | 302 / 196 / 202 ms |

**We measured** that the mixed chunk closed the gap. With mixed lengths, SGLang now tied vLLM on throughput, time per token, and P99 ITL, and every seed range overlapped. Against SGLang without the flag, the P99 ITL fell from 363 to 193 ms at 0.5 and from 302 to 196 ms at 0.0. The output rose by about 8 percent.

The flag had a cost with fixed lengths. The median P99 ITL rose from 81 to 203 ms, and the three seeds spread from 83 to 349 ms. When a whole wave arrives together, the prefills now share steps with the decodes, so the stream loses the clean gaps that it had before. The vLLM server stayed worse there, at 502 ms.
the-waves-table.txt
title: the waves workload on the L4 by length ratio, both engines
source: manuals/vllm-101/sections/r-7-lab-notes.md
lines: 98-107
lang: text
note: Read the P99 ITL column at ratio 1, then at ratio 0.
---
### L4, waves: 64 prompts at 16 users, by length ratio (1.0 means equal lengths)

| Ratio | Config | Output tok/s (min to max) | Median TTFT | Median TPOT | P99 ITL (min to max) | Median SM clock |
|---|---|---|---|---|---|---|
| 0 | `vllm` | 174.4 (164.1 to 195.0) | 284 ms | 75.0 ms | 202 (180 to 215) ms | 1,493 MHz |
| 0 | `sglang` | 158.2 (146.7 to 176.9) | 283 ms | 86.7 ms | 302 (287 to 305) ms | 1,485 MHz |
| 0.5 | `vllm` | 169.6 (165.2 to 173.4) | 353 ms | 81.4 ms | 191 (189 to 219) ms | 1,455 MHz |
| 0.5 | `sglang` | 159.6 (155.8 to 162.0) | 325 ms | 87.8 ms | 363 (360 to 370) ms | 1,470 MHz |
| 1 | `vllm` | 181.7 (181.7 to 182.8) | 1,499 ms | 76.8 ms | 502 (500 to 503) ms | 1,410 MHz |
| 1 | `sglang` | 182.3 (181.5 to 182.7) | 1,775 ms | 74.7 ms | 81 (79 to 81) ms | 1,440 MHz |
two-settings-two-servers.txt
title: the caveats of the ratio test and the rule for using it
source: manuals/sglang-101/sections/5-1-sglang-benchmark-serving.md
lines: 247-255
lang: text
note: The last paragraph says which ratio to use for what.
---
**We measured** a first token 6.9 times slower with fixed lengths on BF16, and 11.8 times slower on FP8. The FP8 runs at the two ratios had median clocks of 1,185 and 2,040 MHz. So part of the FP8 factor is the clock. Mixed lengths sent fewer tokens. In seed 1 they sent 17,870 input tokens at a ratio of 0.0, against 32,768 at 1.0. So part of the gap is less work.

The cache can explain another part. In each seed, the run at 1.0 came first and started with an empty cache. The runs at 0.5 and 0.0 came after it. Each of their prompts is the first part of a prompt from the run at 1.0. The BF16 pool of 24,094 tokens held only part of the 32,768 tokens of that run. The FP8 pool of 142,369 tokens could hold all of them.

Less work and the cache do not explain the other half of the result. With mixed lengths, P99 ITL rose from 82 to 300 ms. New prompts arrived one by one, and each prefill stopped the running decodes. With fixed lengths, prefill happened only between waves.

The GB10 gave the same shape with Qwen3-30B-A3B, three seeds per point. With fixed lengths, the BF16 median TTFT was 1,650 ms and P99 ITL 169 ms. With mixed lengths, they were 320 ms and 230 ms. FP8 went from 1,050 ms and 92 ms to 188 ms and 127 ms. Two GPUs and two models show the same trade, so on both of our machines it came from the workload, not from the hardware.

The two settings measure two different servers. Fixed lengths measure bursts: a slow first token and smooth tokens after it. Mixed lengths measure steady traffic: a fast first token and stalls in the stream. Keep `--random-range-ratio 1.0` when you compare two builds, because it repeats exactly. Before you set a latency target from it, run your real length distribution too.
what-the-ratio-means.txt
title: how the length ratio sets the prompt and output lengths
source: manuals/vllm-101/sections/r-7-lab-notes.md
lines: 11-11
lang: text
note: At 1.0 every request has the same two lengths.
---
- **Waves.** The waves workload sends 64 prompts at 16 users. The length ratio sets how far the prompt and output lengths can vary. At 1.0 every request has 512 prompt and 128 output tokens. At 0 each length is drawn at random from 1 token up to that size.

سؤال‌ها

  1. با توجه به تعریف نسبت طول، توضیح دهید یکسان بودن طول‌ها با 16 کاربر چه تاثیری بر الگوی ورود درخواست‌ها می‌گذارد.
  2. پنج خط لاگ را بخوانید. در ثانیه‌ی پیش از خط اول چه اتفاقی افتاده و اسکژولر در دو خط بعدی چه کرده است؟
  3. چرا موتوری که استریم را در ترافیک موجی روان نگه می‌دارد، با متغیر شدن طول‌ها این مزیت را از دست می‌دهد؟
  4. در اجراهایی با طول متغیر، توکن‌های ورودی کمتری ارسال شده است. چه تفاوت‌های دیگری میان این دو الگو وجود دارد و چه مواردی را همچنان می‌توان مقایسه کرد؟
  5. یکی از فلگ‌های SGLang دم توزیع تاخیر آن را در طول‌های متغیر تقریباً نصف کرد. این کار چه هزینه‌ای داشت و چه زمانی باید آن را فعال کنید؟
  6. درباره‌ی تمدید قرارداد تصمیم بگیرید: کدام نتیجه، کدام فلگ و کدام آزمون را در متن قرارداد می‌آورید؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام
  1. بررسی کارکرد نسبت طول. در نسبت 1.0، طول پرامپت هر درخواست 512 توکن و طول خروجی آن 128 توکن است. در نسبت 0، طول هر درخواست به‌صورت تصادفی از 1 توکن تا سقف این مقادیر انتخاب می‌شود. وقتی طول‌ها با تعداد کاربران ثابت یکسان باشند، تمام 16 درخواست با هم شروع می‌شوند، با هم به پایان می‌رسند و درخواست‌های جایگزین آن‌ها نیز هم‌زمان از راه می‌رسند؛ یعنی ترافیک موجی وارد می‌شود. اما با متغیر بودن طول‌ها، درخواست‌ها در زمان‌های متفاوتی تمام می‌شوند و پرامپت‌های جدید یکی‌یکی می‌رسند.
  2. مشاهده‌ی موج در لاگ. در خط اول لاگ تنها یک درخواست در حال اجراست؛ یعنی پانزده درخواست دیگر درست در یک لحظه تمام شده‌اند. اسکژولر توکن‌های ورودیِ درخواست‌های جایگزین را در دو دسته (Batch) پیش‌پرکنی (Prefill) کرد: ابتدا 4096 توکن و سپس 3583 توکن جدید، بدون اینکه بین آن‌ها هیچ رمزگشایی (Decode) انجام دهد. پس از آن، هر 16 درخواست با هم وارد مرحله‌ی رمزگشایی شدند: نرخ پردازش تولید در گامی که بار پیش‌پرکنی را به دوش می‌کشید 2.62 توکن بر ثانیه ثبت شد، اما در گام‌های بعد از آن به 231.07 و 229.85 رسید. پیش‌پرکنی فقط بین موج‌ها رخ داد؛ به همین دلیل گام‌های رمزگشایی وقفه‌ای نداشتند، ولی توکن اولِ کل یک موج مجبور شد به اندازه‌ی پردازش دو دسته‌ی کامل پیش‌پرکنی منتظر بماند.
  3. تحلیل جدول در نسبت 1. دو موتور در خروجی برابرند: 181.7 در برابر 182.3 توکن بر ثانیه. موتور vLLM توکن اول را زودتر تحویل می‌دهد (1499 در برابر 1775 میلی‌ثانیه)، درحالی‌که SGLang استریم را یکدست نگه می‌دارد و شاخص P99 ITL آن 81 در برابر 502 میلی‌ثانیه است. این همان تصمیمی است که دو موتور هنگام پر بودن صف می‌گیرند: یکی پرامپت‌های جدید را وارد گام‌های در حال اجرا می‌کند و دیگری ترجیح می‌دهد ابتدا پیش‌پرکنی کل موج را تمام کند.
  4. تحلیل جدول در نسبت‌های 0.5 و 0. با متغیر شدن طول‌ها، vLLM جلو افتاد. در نسبت 0.5، این موتور نرخ پردازش 169.6 توکن بر ثانیه را در برابر 159.6 ثبت کرد، میانه‌ی زمان تولید هر توکن (TPOT) برابر با 81.4 در برابر 87.8 میلی‌ثانیه بود و P99 ITL آن به 191 در برابر 363 میلی‌ثانیه رسید. در نسبت 0، شاخص P99 ITL معادل 202 در برابر 302 میلی‌ثانیه و زمان توکن اول 284 در برابر 283 میلی‌ثانیه ثبت شد. تحلیل مستندات SGLang در این باره روشن است: وقتی پرامپت‌های جدید تک‌تک می‌رسند، هر پیش‌پرکنی در یک گام با رمزگشایی‌های در حال اجرا سهیم می‌شود. موتور vLLM این پردازش را خرد کرد تا استریم کمتر دچار وقفه شود. مستندات vLLM این سازوکار را سهمیه‌ی توکن هر دسته (Batch Token Budget) می‌نامد: در هر گام ابتدا استریم‌های در حال اجرا توکن بعدی‌شان را می‌گیرند و فضای باقی‌مانده به پرامپت‌های در انتظار اختصاص می‌یابد.
  5. در نظر گرفتن متغیرهای مداخله‌گر. با متغیر شدن طول‌ها، مجموع توکن‌های ارسالی کمتر شد: 32768 توکن ورودی در نسبت 1.0 (در سید 1)، 24504 توکن در نسبت 0.5 و 17870 توکن در نسبت 0. علاوه بر این، آزمون‌های نسبت 0.5 و 0 پس از اجرای نسبت 1.0 روی همان سرور اجرا شدند؛ بنابراین بخشی از بهبود زمان توکن اول می‌تواند ناشی از کش (Cache) باشد. مستندات SGLang یادآوری می‌کند که حجم کار کمتر و وجود کش، رفتار استریم را توضیح نمی‌دهند: در طول‌های متغیر، شاخص P99 ITL آن از 82 به 300 میلی‌ثانیه پرید، چون هر عملیات پیش‌پرکنی، رمزگشایی‌های فعال را متوقف می‌کرد. بنابراین باید الگوی رفتاری هر سطر و رتبه‌بندی درون آن را با هم بسنجید، نه نرخ پردازش مطلق سطرهای مختلف را.
  6. بررسی آزمون تکه‌بندی ترکیبی. با فلگ --enable-mixed-chunk، موتور SGLang رمزگشایی‌های فعال را وارد دسته‌ی پیش‌پرکنی می‌کند. با این کار، در طول‌های متغیر به سطح vLLM رسید: شاخص P99 ITL در نسبت 0.5 از 363 به 193 میلی‌ثانیه و در نسبت 0 از 302 به 196 میلی‌ثانیه کاهش یافت، بازه‌ی نتایج همه‌ی سیدها همپوشانی داشت و خروجی حدود 8 درصد بیشتر شد. با این حال، استفاده از این فلگ در طول‌های ثابت هزینه داشت: شاخص P99 ITL از 81 به 203 میلی‌ثانیه رسید (با نتایج 83 تا 349 میلی‌ثانیه در سیدهای مختلف)، درحالی‌که vLLM روی 502 باقی ماند. لاگ سیستم یک پیش‌پرکنی 514 توکنی را نشان می‌دهد که هم‌زمان با رمزگشایی 15 درخواست در همان دسته پردازش شده است.
  7. تعیین کاربرد هر سناریو. همان‌طور که مستندات SGLang می‌گوید: آزمون با طول‌های ثابت، رفتار سیستم در ترافیک‌های ناگهانی (Burst) را می‌سنجد که نتیجه‌اش توکن اول کند و توکن‌های بعدی روان است. در مقابل، طول‌های متغیر ترافیک یکنواخت و پایدار را ارزیابی می‌کنند که مشخصه‌اش توکن اول سریع و وقفه‌های پراکنده در استریم است. نسبت 1.0 را فقط برای مقایسه‌ی دو نسخه‌ی بیلد نگه‌دارید، چون دقیقاً تکرارپذیر است. اما پیش از تعیین هدف تاخیر، حتماً توزیع واقعی طول پرامپت‌های خود را اجرا کنید.
نتیجه

تصمیم مهاجرت بر پایه‌ی الگویی از ترافیک گرفته شده بود که در محیط عملیاتی هرگز رخ نمی‌دهد. طول‌های یکسان با تعداد کاربر ثابت، درخواست‌ها را در قالب موج‌هایی هم‌زمان می‌کند. در این ترافیک موجی، تصمیم موتور A برای پذیرش پرامپت‌های جدید در میان گام‌های فعال، به دم تاخیر 502 میلی‌ثانیه‌ای ختم می‌شود؛ تاخیری که موتور B با انجام پیش‌پرکنی بین موج‌ها از آن دوری می‌کند. اما با طول‌های واقعی محیط عملیاتی، موتور A دم تاخیر کمتری ثبت کرد (191 در برابر 363 میلی‌ثانیه در نسبت 0.5، و 202 در برابر 302 در نسبت 0)، زمان توکن اول آن برابر یا بهتر بود و خروجی بیشتری هم داد. شواهد مهندس پشتیبانی درست بود: وقفه‌ی 500 میلی‌ثانیه‌ای فقط محصول طراحی آزمون بوده است.

قرارداد با موتور A تمدید می‌شود. اگر تیم به دلایل دیگری موتور B را ترجیح می‌دهد، فلگ --enable-mixed-chunk نقطه‌ضعف آن را در طول‌های متغیر برطرف می‌کند، اما در ترافیک‌های ناگهانی برایش هزینه دارد (افزایش تاخیر از 81 به 203 میلی‌ثانیه). بنابراین انتخاب نهایی به این برمی‌گردد که ترافیک عملیاتی شما موجی وارد می‌شود یا پیوسته. آزمون مندرج در قرارداد نیز باید تغییر کند: توزیع طول پرامپت‌ها را مستقیماً از لاگ‌های محیط عملیاتی نمونه‌برداری کنید و آن را به‌عنوان آزمون پذیرش به کار بگیرید؛ اجرای با طول ثابت را هم صرفاً برای بررسی‌های تکرارپذیر بین بیلدها نگه دارید. فرکانس کلاک را در هر دو ثبت کنید؛ میانه‌ی کلاک در همه‌ی جفت‌های طول متغیر 1410 مگاهرتز یا بیشتر بوده و به همین دلیل داده‌های این سطرها با هم قابل‌مقایسه‌اند.

مسیرهای اشتباه رایج
  • «دم تاخیر 502 میلی‌ثانیه‌ای یک باگ در اسکژولر موتور A است.» همین موتور در نسبت 0 تاخیر 202 میلی‌ثانیه و در نسبت 0.5 تاخیر 191 میلی‌ثانیه ثبت کرد. این دم تاخیر به دلیل تجمیع هم‌زمان 16 پیش‌پرکنی در گام‌های یکسان رخ داد؛ وضعیتی که آزمون ساخته بود و در محیط عملیاتی دیده نمی‌شود.
  • «طول‌های یکسان عادلانه‌ترین آزمون است، چون هیچ متغیری تغییر نمی‌کند.» این حالت تکرارپذیرترین آزمون است، نه واقعی‌ترین آن. این کار ترافیک‌های ناگهانی را می‌سنجد و مستندات SGLang هم می‌گوید آن را فقط برای مقایسه‌ی بیلدها استفاده کنید، نه تعیین اهداف تاخیر.
  • «سهمیه‌ی توکن را بالا ببرید تا پیش‌پرکنی زودتر تمام شود.» در DGX Spark، سهمیه‌ی 16384 توکنی در نرخ‌های پایین، شاخص P99 ITL را از 574 به 798 میلی‌ثانیه رساند و بهبود زمان توکن اول حتی از پراکندگی نتایج سیدها هم فراتر نرفت. سهمیه‌ی توکن فقط نوعی بده‌بستان بین این دو تاخیر است، نه عاملی برای حذف وقفه.
  • «نرخ پردازش را مقایسه کنید؛ خروجی هر دو برابر است، پس فرقی ندارد.» برابری در توان خروجی، دم تاخیر 502 در برابر 81 میلی‌ثانیه را در یک الگو و دم تاخیر 363 در برابر 191 میلی‌ثانیه را در الگوی دیگر پنهان کرد. کاربران این دم تاخیر را حس می‌کنند.
  • «تکه‌بندی ترکیبی را همه‌جا روی موتور B فعال کنید.» این فلگ در ترافیک‌های ناگهانی با طول ثابت، P99 ITL را از 81 به 203 میلی‌ثانیه رساند و در برخی سیدها تا 349 میلی‌ثانیه هم رفت. این ویژگی ترافیک پایدار را درست می‌کند اما به ترافیک ناگهانی آسیب می‌زند؛ پس اول الگوی ترافیک خود را اندازه بگیرید.
درس کلی

آزمون بارگذاری با طول پرامپت یکنواخت فقط یک نقطه از توزیع طول را بررسی می‌کند و با تعداد کاربر ثابت، درخواست‌ها را هم‌زمان می‌سازد؛ در نتیجه رفتاری شبیه به ترافیک ناگهانی را می‌سنجد که در ترافیک‌های پایدار هرگز دیده نمی‌شود. رتبه‌ی دو اسکژولر می‌تواند با تغییر این الگوها کاملاً جابه‌جا شود. همیشه برای هدف‌گذاری تاخیر، توزیع واقعی طول‌ها را نمونه‌برداری کنید، آزمون با طول ثابت را برای تکرارپذیری نگه دارید و در هر دو حالت، دم توزیع را در کنار میانه بررسی کنید.

کجای دوره آموزش داده می‌شود

مستندات vLLM جدول‌های ترافیک موجی را در یادداشت‌های آزمایشگاه و سازوکار سهمیه‌بندی را در صفحه‌ی سهمیه‌ی توکن آورده است؛ مستندات SGLang رفتار این دو موتور را در الگوی ترافیک موجی بررسی کرده و نسبت طول را در صفحه‌ی بنچ‌مارک خود می‌سنجد؛ همچنین درس آزمون بارگذاری این پدیده را تله‌ی یکنواختی پرامپت (Prompt-uniformity trap) نام‌گذاری کرده است.