وضعیت
به دنبال مشکلی در بنچمارکها که طی آن، گرم بودن کش پیشوند (prefix cache) باعث شد یک سرورِ زیر بار سریعتر از واقعیت به نظر برسد، تیم پلتفرم سیاست جدیدی تدوین میکند: نتایج محیط عملیاتی (production) و بنچمارکها باید با هم همخوانی داشته باشند؛ بنابراین، همهی سرورهای SGLang با فلگ --disable-radix-cache و نمونههای vLLM با --no-enable-prefix-caching بالا میآیند. این انتشار سراسری در یک روز جمعه انجام میشود.
روز دوشنبه، مشتریای که دستیارش همراه با هر سؤال یک پرامپت (prompt) سیستمیِ حدوداً 2000 توکنی میفرستد، گزارش میدهد که زمان تولید اولین توکن بهجای زیر یک ثانیه، حالا چند ثانیه طول میکشد و سرویس با همان تعداد کاربر، به سؤالات کمتری در دقیقه پاسخ میدهد. تیم پلتفرم میگوید هیچ تغییری در مدل یا سختافزار رخ نداده و اعداد جدید «واقعی» هستند. از شما خواسته شده این اختلافنظر را حلوفصل کنید.
- نسخه
- SGLang 0.5.22, with vLLM 0.31.0 as the second engine
- مدل
- Qwen/Qwen3-30B-A3B-Instruct-2507 on the GB10, and Qwen/Qwen3-8B on the L4
- سختافزار
- one GB10 with 128 GB of unified memory, and one L4 with 24 GB of memory
شواهد
- بنچمارک پیشوند مشترک: چهار گروه شامل 16 پرامپت با یک پرامپت سیستمی مشترک در هر گروه
- اجرای تست با پیشوند مشترک روی GB10 در حالت روشن بودن کش رادیکس
- همان اجرا روی GB10 با --disable-radix-cache
- دو خط لاگ پیشپرکنی روی L4 با کش روشن و 2048 توکن مشترک
- دو خط لاگ پیشپرکنی روی L4 بدون کش و 4096 توکن مشترک
- همان تست روی موتور دیگر با کش روشن و خاموش، تفکیکشده بر اساس طول پیشوند مشترک
- جدول SGLang روی L4 بر اساس طول پیشوند مشترک، به همراه نکتهی مربوط به فرکانس کلاک
gb10-with-the-cache.txt
title: the shared-prefix run on the GB10 with the radix cache on
source: manuals/sglang-101/capture/gpu/out-gb10/bench-shared-prefix.txt
lines: 11-39
lang: text
note: Read the duration, the input token count, the output throughput and the median TTFT.
---
============ Serving Benchmark Result ============
Backend: sglang
Traffic request rate: inf
Max request concurrency: 8
Successful requests: 64
Benchmark duration (s): 28.97
Total input tokens: 146646
Total input text tokens: 146646
Total generated tokens: 4096
Total generated tokens (retokenized): 3913
Request throughput (req/s): 2.21
Input token throughput (tok/s): 5061.63
Output token throughput (tok/s): 141.38
Peak output token throughput (tok/s): 216.00
Peak concurrent requests: 16
Total token throughput (tok/s): 5203.01
Concurrency: 8.00
----------------End-to-End Latency----------------
Mean E2E Latency (ms): 3619.45
Median E2E Latency (ms): 3592.55
P90 E2E Latency (ms): 4616.12
P95 E2E Latency (ms): 4616.30
P99 E2E Latency (ms): 4616.49
---------------Time to First Token----------------
Mean TTFT (ms): 712.02
Median TTFT (ms): 690.96
P90 TTFT (ms): 1146.81
P95 TTFT (ms): 1944.53
P99 TTFT (ms): 2051.54
gb10-without-the-cache.txt
title: the same run on the GB10 with --disable-radix-cache
source: manuals/sglang-101/capture/gpu/out-gb10/no-radix-cache-bench-shared-prefix.txt
lines: 11-39
lang: text
note: The input token count is the same as before; compare the duration, the output and the TTFT block.
---
============ Serving Benchmark Result ============
Backend: sglang
Traffic request rate: inf
Max request concurrency: 8
Successful requests: 64
Benchmark duration (s): 50.26
Total input tokens: 146646
Total input text tokens: 146646
Total generated tokens: 4096
Total generated tokens (retokenized): 3916
Request throughput (req/s): 1.27
Input token throughput (tok/s): 2917.46
Output token throughput (tok/s): 81.49
Peak output token throughput (tok/s): 200.00
Peak concurrent requests: 16
Total token throughput (tok/s): 2998.95
Concurrency: 7.99
----------------End-to-End Latency----------------
Mean E2E Latency (ms): 6278.45
Median E2E Latency (ms): 6122.43
P90 E2E Latency (ms): 6648.68
P95 E2E Latency (ms): 6652.19
P99 E2E Latency (ms): 6653.05
---------------Time to First Token----------------
Mean TTFT (ms): 2391.67
Median TTFT (ms): 2542.06
P90 TTFT (ms): 3272.33
P95 TTFT (ms): 3299.83
P99 TTFT (ms): 3304.86
l4-prefill-with-the-cache.txt
title: two prefill lines on the L4 with the cache, 2,048 shared tokens
source: manuals/sglang-101/capture/gpu/out-l4/server-prefix-default.log
lang: text
note: Read #new-token against #cached-token.
---
[2026-10-17 13:21:05] Prefill batch, #new-seq: 3, #new-token: 405, #cached-token: 12952, token usage: 0.58, #running-req: 1, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 1452.28
[2026-10-17 13:21:06] Prefill batch, #new-seq: 4, #new-token: 546, #cached-token: 17269, token usage: 0.58, #running-req: 4, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 2532.09
l4-prefill-without-the-cache.txt
title: two prefill lines on the L4 without the cache, 4,096 shared tokens
source: manuals/sglang-101/capture/gpu/out-l4/server-prefix-no-radix-cache.log
lang: text
note: Every token is new, and the pending tokens wait for the next chunk.
---
[2026-10-17 14:35:48] Prefill batch, #new-seq: 2, #new-token: 4096, #cached-token: 0, token usage: 0.68, #running-req: 1, #queue-req: 0, #pending-token: 5527, cuda graph: True, input throughput (token/s): 1632.42
[2026-10-17 14:35:50] Prefill batch, #new-seq: 2, #new-token: 4096, #cached-token: 0, token usage: 0.74, #running-req: 2, #queue-req: 0, #pending-token: 1431, cuda graph: True, input throughput (token/s): 1634.70
the-factor-and-its-caveat.txt
title: the SGLang table on the L4 by shared length, with the clock caveat
source: manuals/sglang-101/sections/3-3-radixcache.md
lines: 86-94
lang: text
note: The two paragraphs under the table bound the factor.
---
| Shared prompt | Median TTFT, cache on | Median TTFT, cache off | Output tok/s, cache on | Output tok/s, cache off |
|---|---|---|---|---|
| 0 | 349 ms | 379 ms | 113.56 | 113.33 |
| 1,024 | 462 ms | 2,202 ms | 105.76 | 70.15 |
| 4,096 | 479 ms | 14,706 ms | 88.87 | 20.80 |
The median SM clock was 1,440 MHz with the cache and 930 MHz without it at 4,096 shared tokens. Every seed of the run without the cache stayed under our floor of 1,000 MHz.
**We measured** a 30.7 times shorter median wait and 4.3 times the throughput at 4,096 shared tokens. Treat both factors as upper bounds. The run without the cache had a thermal throttle flag in 62 percent of its samples and a 35 percent lower clock. A cool card would shrink the factor, but a 35 percent clock gap cannot explain a factor of 30. With no shared prompt, the median TTFT differed by 8 percent, inside the seed spread, and the throughput was the same.
the-other-engine.txt
title: the same test on the other engine, cache on and off by shared length
source: manuals/vllm-101/sections/3-2-make-repeated-prompts-hit-the-prefix-cache.md
lines: 13-23
lang: text
note: Read the 1,024-token row first; the text under the table says why the last two rows need care.
---
| Shared prompt tokens, L4 full-clock session | Median TTFT, cache on | Median TTFT, cache off | Output tok/s, on / off |
|---|---|---|---|
| none | 408 ms | 392 ms | 113.8 / 113.6 |
| 256 | 488 ms | 753 ms | 111.5 / 99.1 |
| 1,024 | 396 ms | 1,213 ms | 106.0 / 70.9 |
| 2,048 | 410 ms | 2,550 ms | 100.2 / 46.6 |
| 4,096 | 375 ms | 13,353 ms | 86.8 / 19.6 |
With the cache on, the first token took about 400 ms at every prefix length. With the cache off, the first token grew with the shared part, because every request computed the whole prompt again.
Read the last two rows with care. Without the cache, the GPU throttled. The median clock fell to 1,035 MHz at 2,048 tokens and to 675 MHz at 4,096 tokens. The cleanest comparison is the 1,024-token row, where both runs held 1,410 MHz or more. There the cache cut the first token about 3 times and gave 50 percent more output. The runs with the cache on were on 2026-10-17 and 2026-10-18, and the runs with it off on 2026-10-21.
the-shared-prefix-workload.txt
title: the shared-prefix benchmark: four groups of 16 prompts with one system prompt each
source: manuals/sglang-101/sections/3-3-radixcache.md
lines: 9-11
lang: text
note: Read the second paragraph.
---
## The same workload with and without the tree
The capture kit runs SGLang's own shared-prefix benchmark twice. Four groups of 16 prompts share a 2,048-token system prompt per group, and each prompt adds a 128-token question. The second server starts with `--disable-radix-cache`.
سؤالها
- کش پیشوند چه تغییری در بار پردازشی سرور ایجاد میکند و کدام بخش را دستنخورده باقی میگذارد؟
- با توجه به دو اجرای انجامشده روی GB10، زمان تولید اولین توکن و نرخ پردازش (throughput) چقدر تغییر کردهاند و کدام سطر لاگ ثابت میکند که حجم کار درخواستی یکسان بوده است؟
- به چهار خط لاگ پیشپرکنی در L4 نگاه کنید. مقادیر
#new-token،#cached-tokenو#pending-tokenچه چیزی را دربارهی هر پیکربندی نشان میدهند؟ - هر دو موتور ارزیابی شدهاند. آیا این اثر فقط مختص به یکی از آنهاست و شدتش چطور به طول پیشوند مشترک بستگی دارد؟
- هدف این سیاست، پیشبینیپذیر کردن اعداد بود. کدام راهحل این هدف را بدون تحمیل چنین هزینهای برآورده میکند؟
اول شواهد را بخوانید و به سؤالها جواب بدهید، بعد راهحل را باز کنید.
راهحل گامبهگام
- بدانید کش چه بار پردازشیای را حذف میکند. درخت کش، ورودیهای KV مربوط به همهی پرامپتهایی را که سرور دیده، ایندکس میکند. با رسیدن درخواست جدید، طولانیترین پیشوندِ تطبیقیافته دوباره استفاده میشود و عملیات پیشپرکنی (prefill) فقط برای توکنهای بعد از آن انجام میگیرد. کار رمزگشایی (decode) تغییری نمیکند؛ بنابراین، اصابت به کش (cache hit) فقط زمان پیشپرکنی را حذف میکند و بس. تکرار یک پرامپت سیستمی در تکتک درخواستها بهترین حالت ممکن است: تمام بخش مشترک مستقیماً از درخت خوانده میشود.
- بررسی بار کاری. این بسته، بنچمارک پیشوند مشترکِ خود موتور را اجرا میکند: چهار گروه 16تایی پرامپت، یک پرامپت سیستمیِ 2048 توکنی در هر گروه، یک سؤال 128 توکنی در هر پرامپت، و سقف همزمانی هشت درخواست. سرور دوم با کش غیرفعال اجرا شده است.
- مقایسهی دو اجرای GB10. هر دو اجرا پردازش 146646 توکن (token) ورودی را در طول 64 درخواست گزارش میدهند؛ پس کلاینت دقیقاً همان میزان کار را خواسته است. با کش روشن، اجرا 28.97 ثانیه طول کشید، به نرخ پردازش 141.38 توکن خروجی در ثانیه رسید و میانهی زمان تا اولین توکن (TTFT) برابر با 690.96 میلیثانیه بود. بدون کش، اجرا 50.26 ثانیه زمان برد، خروجی به 81.49 سقوط کرد و میانهی TTFT به 2542.06 میلیثانیه رسید؛ صدک 99 (P99) نیز بهجای 2051.54 میلیثانیه، 3304.86 میلیثانیه شد. نرخ توکنهای ورودی در ثانیه هم همین را تأیید میکند: 5061.63 با کش درختی و 2917.46 بدون آن. هر دو شکواییهی مشتری—کندتر شدن توکن اول و کاهش تعداد پاسخها در دقیقه—در همین مقایسه دیده میشود.
- بررسی خطوط پیشپرکنی روی L4. با کش روشن و پرامپت مشترک 2048 توکنی، یک دسته (batch) تعداد 405 توکن جدید را پیشپرکنی کرد و 12952 توکن را از کش خواند؛ دستهی بعدی هم 546 توکن جدید را پیشپرکنی کرد و 17269 توکن از کش گرفت. بدون کش و با پرامپت مشترک 4096 توکنی، هر دسته 4096 توکن جدید را با 0 توکن کششده پیشپرکنی کرد و 5527 توکن برای قطعهی بعدی در وضعیت معلق (pending) ماندند. هر درخواست هزینهی کل پرامپتش را در قالب تکههایی به اندازهی سقف پیشپرکنی پرداخت، درحالیکه بقیه منتظر میماندند.
- بررسی موتور دیگر. روی L4 با vLLM، کش میانهی توکن اول را در تمام طولهای پیشوند مشترک نزدیک 400 میلیثانیه نگه داشت: 408، 488، 396، 410 و 375 میلیثانیه. بدون کش، زمان توکن اول همگام با طول بخش مشترک افزایش یافت: 392، 753، 1213، 2550 و 13353 میلیثانیه؛ نرخ خروجی هم از 113.6 به 19.6 توکن در ثانیه سقوط کرد. در مستندات آمده که دو سطر آخر را با احتیاط بخوانید، چون در آن بخش پردازندهی گرافیکی بهدلیل گرما افت فرکانس پیدا کرد (throttle شد)؛ مستندات سطر 1024 توکنی را مقایسهای تمیز میداند: زمان توکن اول حدود یکسوم و نرخ خروجی 50 درصد بیشتر با کش فعال. این اثر در هر دو موتور یکسان است و با افزایش طول بخش مشترک رشد میکند.
- تعیین حد بالای ضریب اثر. در جدول SGLang روی L4، زمان در پیشوند مشترک 4096 توکنی برابر با 479 میلیثانیه در مقایسه با 14706 میلیثانیه است؛ یعنی 30.7 برابر، و نرخ پردازش هم 4.3 برابر کمتر شده است. اجرای بدون کش روی فرکانس 930 مگاهرتز در مقایسه با 1440 مگاهرتزِ حالت با کش انجام شد و در 62 درصد نمونهها پرچم هشدار حرارتی بالا رفت. ازاینرو، مستندات هر دو ضریب را حد بالا (Upper Bound) در نظر میگیرد و یادآور میشود که اختلاف کلاک 35 درصدی نمیتواند ضریب 30 برابری را توجیه کند. برای دیدن اعدادی با مقیاس کاملاً قابلاعتماد، زوج تست GB10 را مبنا قرار دهید که چنین افتی نداشت.
نتیجه
سیاست تیم پلتفرم دلیل بروز این حادثه بود. عامل خطای بنچمارک هرگز خودِ کش نبود، بلکه به شیوهی تست برمیگشت؛ چون بسته از یک سید (seed) ثابت روی یک سرور استفاده میکرد و کش را بین اجراها پاکسازی (flush) نمیکرد. غیرفعال کردن کش در محیط عملیاتی، دقیقاً همان صرفهجویی در کاری را حذف کرد که ترافیک مشتری به آن وابسته است. روی GB10، اجرای پیشوند مشترک با همان 146646 توکن ورودی یکسان، شاهد جهش میانهی TTFT از 690.96 به 2542.06 میلیثانیه و افت خروجی از 141.38 به 81.49 توکن در ثانیه بود.
راهحل، روشن کردن دوبارهی کش در هر دو موتور و پیشبینیپذیر کردن بنچمارکها از طریق پروتکل است: پیش از هر اجرایی که میخواهید مقایسه کنید کش را پاک کنید، برای هر اجرا از سید جدیدی استفاده کنید و تعداد توکنهای کششده را در کنار نتیجه ثبت نمایید. برای اطمینان از اثربخشی این تغییر در محیط عملیاتی، مقدار #cached-token را در لاگهای پیشپرکنی بررسی کنید؛ این شاخص باید بخش عمدهی هر پرامپت مشترک را پوشش دهد و میانهی TTFT ترافیک مشتری را دوباره به سطح کششده بازگرداند. تنها یک استثنای ذکرشده در مستندات را رعایت کنید: کش را فقط زمانی خاموش کنید که میخواهید ببینید آیا پاسخ اشتباه بهدلیل بازاستفاده از KV است یا خیر، و برای این کار هم ابتدا --kv-canary log را امتحان کنید.
مسیرهای اشتباه رایج
- «کش باعث دروغین شدن بنچمارک شد، پس جایی در محیط عملیاتی ندارد.» بنچمارک به این دلیل اشتباه نشان میداد که پرامپتها را بدون پاکسازی کش تکرار میکرد. کش در محیط عملیاتی به پرامپتهایی خدمت میدهد که در واقعیت تکرار میشوند و پرامپت سیستمی مشتری دقیقاً مصداق همین است.
- «فقط اولین توکن متأثر میشود و نرخ پردازش تغییر نمیکند.» روی GB10، خروجی از 141.38 به 81.49 توکن در ثانیه افت کرد و اجرای تست بهجای 28.97 ثانیه، 50.26 ثانیه کشید. پیشپرکنیای که دوباره محاسبه شود، گامهایی را اشغال میکند که میتوانستند صرف رمزگشایی شوند.
- «این اثر جزئیات خاص SGLang است.» موتور دیگر هم روی همان کارت، در پیشوند مشترک 1024 توکنی از 396 به 1213 میلیثانیه و در 4096 توکنی از 375 به 13353 میلیثانیه رسید.
- «بهجای این کار، پرامپت سیستمی مشتری را کوتاهتر کنید.» پرامپت، محصول مشتری است. قابلیتی در سرور که کار تکراری را حذف میکند، راهحل ارزانتری است؛ بهعلاوه طبق اندازهگیری مستندات، در شرایطی که هیچ اشتراکی نباشد، کش هیچ هزینهای تحمیل نمیکند.
- «کش را خاموش نگه دارید، چون ممکن است بازاستفاده از KV جواب اشتباه تولید کند.» این تنها دلیلی است که مستندات موجه میداند؛ بااینحال باز هم توصیه میکند ابتدا
--kv-canary logرا بسنجید و کش را فقط برای همان تست خاموش کنید.
درس کلی
دستسازه (Artifact) ناشی از اندازهگیری را باید در خود فرایند سنجش برطرف کرد، نه در سیستم. وقتی کش یا هر وضعیت دیگری بین دفعات اجرای بنچمارک باقی میماند، این وضعیت را بین اجراها بازنشانی و ثبت کنید؛ سازوکاری را از محیط عملیاتی حذف نکنید که اصلاً کل هدفش نگهداشتن همین وضعیت است. پیش از آنکه تنظیم پیشفرضی را که باعث صرفهجویی میشود تغییر دهید، ترافیک تکراری را اندازه بگیرید و حساب کنید که آن تنظیم چقدر کار پردازشی را برای شما ذخیره میکند.
کجای دوره آموزش داده میشود
راهنمای SGLang این مقایسهی دوگانه را در صفحهی RadixCache اندازه میگیرد، مستندات vLLM نتایج موتور دیگر را در صفحهی کش پیشوند به همراه جدول کامل در یادداشتهای آزمایشگاه پوشش داده و درس توجه رادیکس (RadixAttention) ساختار درختی و نقاط قوت و ضعف آن را آموزش میدهد.