وضعیت
یک تیم استنتاج (inference)، مدل Qwen/Qwen3-8B را روی کارتهای L4 برای سه محصول داخلی سرو میکند: چت پشتیبانی، معلم ریاضی و دستیار کدنویسی. آنها برای انتخاب یک تنظیم رمزگشایی (decode) یکسان برای هر سه محصول، موتور استنتاج را با دیتاست تصادفی کلاینت بنچمارک روی بار 8 کاربر میسنجند. روش EAGLE3 زمان بین توکنها را تقریباً نصف میکند، اما روش n-gram تغییری در نتایج ایجاد نمیکند. در نتیجه، تیم EAGLE3 را برای همهی محصولات فعال میکند و تیکت مربوط به n-gram را با عنوان «بدون فایده» میبندد.
دو هفته بعد، تیم چت پشتیبانی گزارش میدهد که در ساعات اوج مصرف، اولین توکن چند ثانیه دیرتر از قبل به دست کاربر میرسد، بدون اینکه تعداد پاسخها در دقیقه بیشتر شده باشد. در مقابل، تیم معلم ریاضی گزارش معکوسی میدهد: سرویس زیر بار ترافیکی بسیار سریعتر شده است. تیم دستیار کدنویسی هم که اصلاً روش n-gram برایش تست نشده بود، مقالهای میخواند که نشان میدهد n-gram روی کد کاملاً جواب میدهد و میپرسد چرا این قابلیت رد شده است. از شما خواسته شده تعیین کنید آیا یک تنظیم واحد میتواند به هر سه محصول پاسخ دهد یا خیر.
- نسخه
- SGLang 0.5.22
- مدل
- Qwen/Qwen3-8B with an EAGLE3 draft of 3 tokens, and NGRAM with its defaults
- سختافزار
- one L4 with 24 GB of memory, SM clock locked at 900 MHz
شواهد
- مشخصات ماشین، مدل، دو روش پیشنویس (draft) و چهار دیتاست
- میانهی زمان به ازای هر توکن خروجی در بار 8 کاربر، به تفکیک دیتاست و روش
- میانگین طول پذیرش در بار 8 کاربر، به تفکیک دیتاست
- نرخ پردازش توکنهای خروجی در ثانیه در بار 32 کاربر، به تفکیک دیتاست و روش
- اولین توکن با EAGLE3 و بدترین فاصله با NGRAM در بار 32 کاربر
- ماهیت دیتاست تصادفی، و یافتههای سایر پژوهشها روی پرامپتهای واقعی
- چهار عدد برای مقایسه روی ترافیک خودتان
acceptance-by-dataset.txt
title: mean acceptance length at 8 users, by dataset
source: manuals/sglang-101/capture/gpu/out-l4/spec-real-prompts.txt
lines: 13-17
lang: text
note: Read the ShareGPT row against the GSM8K row for each method.
---
mean acceptance length at 8 users: EAGLE3 / NGRAM
random 2.48 to 2.78 / 1.50 to 1.57
ShareGPT 2.35 to 2.43 / 1.22 to 1.25
GSM8K 2.69 to 2.78 / 1.44 to 1.46
code 2.57 to 2.58 / 1.37 to 1.38
first-token-and-tail-at-32.txt
title: the first token with EAGLE3 and the worst gap with NGRAM at 32 users
source: manuals/sglang-101/capture/gpu/out-l4/spec-real-prompts.txt
lines: 25-27
lang: text
note: Compare each pair, then read which runs were left out and why.
---
median TTFT at 32 users, EAGLE3 against default: random 8.6 to 8.7 s against 3.2 to 3.5 s, ShareGPT 5.7 to 7.0 s against 2.7 to 3.0 s.
P99 ITL at 32 users with NGRAM: 244 to 779 ms, against 83 to 106 ms for the default.
The 1-user default runs throttled below 300 MHz and are left out. vLLM EAGLE3 and NGRAM on these datasets did not run.
output-at-32-users.txt
title: output tokens per second at 32 users, by dataset and method
source: manuals/sglang-101/capture/gpu/out-l4/spec-real-prompts.txt
lines: 19-23
lang: text
note: Find the two rows where EAGLE3 gives less output than the default.
---
output tok/s at 32 users: default / EAGLE3 / NGRAM
random 250 to 254 / 239 to 242 / 236 to 250
ShareGPT 281 to 288 / 277 to 283 / 245 to 256
GSM8K 397 / 648 to 660 / 433 to 435
code 365 to 366 / 566 to 581 / 377 to 386
the-check-on-your-traffic.txt
title: the four numbers to compare on your own traffic
source: manuals/sglang-101/sections/4-4-speculative-decoding.md
lines: 58-63
lang: text
note: Item 4 asks for the acceptance of your longest answers alone.
---
Run a sample of your own traffic with and without speculation. Keep your real output lengths, and pass `--disable-ignore-eos` to the benchmark client. With no traffic sample, `--dataset-name speed-bench` reads a local copy of the SPEED-Bench prompts at v0.5.22 {{code}}. Compare these numbers:
1. The acceptance length, from `sglang:spec_accept_length`.
2. The median TPOT and the output throughput.
3. The P99 ITL and the P99 TTFT, because a gain in the median can hide a loss in the tail.
4. The acceptance length of your longest answers alone. Each `/generate` response gives it as `spec_accept_length` in `meta_info`.
the-test.txt
title: the machine, the model, the two drafts and the four datasets
source: manuals/sglang-101/capture/gpu/out-l4/spec-real-prompts.txt
lines: 1-5
lang: text
note: The clock lock, the cache flush and the two seeds are in lines 3 and 4.
---
Speculative decoding on real prompts, SGLang 0.5.22 (backlog B-01a)
Date: 2026-10-23
Machine: NVIDIA L4, GPU0 of the node, clock lock 900 MHz. Model: Qwen/Qwen3-8B, EAGLE3 draft with 3 draft tokens, NGRAM with the defaults.
Load: 128 output tokens with ignore-eos, 2 seeds, prefix cache flushed before each run. Rows use only runs at a median clock of 900 MHz.
Datasets: random (the benchmark tool's random set), ShareGPT, GSM8K questions, and code prompts.
time-per-token-at-8-users.txt
title: median time per output token at 8 users, by dataset and method
source: manuals/sglang-101/capture/gpu/out-l4/spec-real-prompts.txt
lines: 7-11
lang: text
note: Compare the EAGLE3 column with the default on every row, then do the same for NGRAM.
---
median TPOT at 8 users: default / EAGLE3 / NGRAM
random 67.6 to 68.2 / 33.8 to 39.4 / 68.2 to 71.4 ms
ShareGPT 66.4 to 68.6 / 39.5 to 43.1 / 69.5 to 72.4 ms
GSM8K 65.5 / 33.3 to 34.3 / 54.6 to 55.0 ms
code 65.9 to 66.4 / 36.8 / 58.2 to 58.8 ms
what-random-means.txt
title: what the random dataset is, and what other studies found on real prompts
source: manuals/sglang-101/sections/4-4-speculative-decoding.md
lines: 170-177
lang: text
note: The first paragraph says where the random text comes from.
---
Both sweeps used the `random` dataset of the benchmark client, with 512 tokens in, 128 tokens out, and `ignore_eos` on. At v0.5.22 that dataset takes the first turn of ShareGPT conversations, then cuts or repeats it to 512 tokens {{code}}. It is real text, but it is not your traffic.
Other teams found that tests like ours can overstate the gain. We did not measure these effects ourselves:
- A 2026 benchmark study by NVIDIA researchers, SPEED-Bench, found that synthetic prompts overstated speculative throughput by 23 percent on average. It also found that the best draft length fell to 1 as the batch grew.
- The same study found that random token ids left 20 to 30 percent of the experts idle in some layers of an MoE target.
- A 2026 study of EAGLE-3 and other drafts, Test-Time Speculation, found that the acceptance length falls as the answer grows. On MATH answers that ran toward 20,000 tokens, it fell from about 3.7 to about 1.5.
- A 2025 study of serving benchmarks compared speculation with the baseline. The median TPOT was 1.3 times lower, and the P99 TPOT was 1.16 times higher. TTFT also rose, because the draft runs its own prefill.
سؤالها
- پیش از جدولها، توضیح دهید چرا یک دیتاست بنچمارک نمیتواند مبنای تصمیمگیری برای تنظیمات دیکودینگ حدسی (speculative decoding) سه محصول مختلف باشد.
- بر اساس جدول پذیرش، کدام دیتاست کمترین تعداد توکن پذیرفتهشده را به پیشنویس میدهد و چه ویژگی خاصی در آن ترافیک این موضوع را توجیه میکند؟
- در بار 32 کاربر، EAGLE3 در کجا دچار افت نرخ پردازش خروجی میشود و در آنجا علاوه بر افت خروجی، چه هزینهی دیگری تحمیل میکند؟
- روش n-gram روی دیتاست تصادفی هیچ بهبودی نداشت. این روش روی چه ترافیکی جواب داد و چه بر سر دم توزیع تاخیر (tail latency) آورد؟
- دیتاست تصادفی از چه ساخته شده است و چرا باعث شد هم افت عملکرد و هم مزایا پنهان بمانند؟
- برای هر محصول یک تنظیم مشخص پیشنهاد دهید، به همراه معیاری روی ترافیک محیط عملیاتی (production) که هر کدام را تأیید کند.
اول شواهد را بخوانید و به سؤالها جواب بدهید، بعد راهحل را باز کنید.
راهحل گامبهگام
- پیش از بررسی نتیجه، روش آزمون را بررسی کنید. بنچمارک روی یک کارت L4 با فرکانس کلاک قفلشده روی 900 MHz اجرا شد؛ حافظهی کَش قبل از هر اجرا خالی شد، دو سید (seed) به کار رفت و طول توکنهای خروجی با ignore-eos روی 128 توکن تنظیم شد. فقط اجراهایی با میانهی کلاک 900 MHz به حساب آمدهاند. چهار دیتاست بررسی شدند: دیتای تصادفی، ShareGPT، GSM8K و کد. بنابراین، هر اختلافی بین سطرها صرفاً ناشی از دیتاست است و نه هیچ چیز دیگر.
- زمان به ازای هر توکن را در بار 8 کاربر بخوانید. روش EAGLE3 میانهی TPOT را روی تمام دیتاستها کاهش داد: در دیتاست تصادفی از بازهی 67.6 تا 68.2 میلیثانیه به 33.8 تا 39.4 رسید، در ShareGPT از 66.4 تا 68.6 به 39.5 تا 43.1 افت کرد، در GSM8K از 65.5 به 33.3 تا 34.3 رسید و در کد از 65.9 تا 66.4 به 36.8 میلیثانیه کاهش یافت. در این بار، سودآوری برای همه حفظ میشود. اما داستان n-gram متفاوت است. روی دیتاست تصادفی و ShareGPT کمی کندتر از حالت پیشفرض بود (68.2 تا 71.4 و 69.5 تا 72.4 میلیثانیه). در GSM8K به 54.6 تا 55.0 و روی کد به 58.2 تا 58.8 میلیثانیه رسید. نتیجهی n-gram روی دیتاست تصادفی تنها نتیجهای بود که به سایر موارد تعمیم نیافت.
- نرخ پذیرش را بخوانید. روش EAGLE3 در هر گام روی GSM8K توانست 2.69 تا 2.78 توکن را commit کند و روی ShareGPT این عدد 2.35 تا 2.43 بود. روش n-gram روی GSM8K حدود 1.44 تا 1.46 توکن و روی ShareGPT تنها 1.22 تا 1.25 توکن commit کرد. پاسخهای چت بخش اندکی از پرامپت را تکرار میکنند؛ بنابراین روشی که از پرامپت کپی میکند تقریباً چیزی در آن نمییابد، و پیشنویس مدلآموخته هم حدسهای ضعیفتری میزند. ریاضی و کد ساختار تکرارشونده دارند، در نتیجه هر دو روش در آنها حدسهای بهتری میزنند. ستون نرخ پذیرش، رفتار تمام ستونهای بعدی را پیشبینی میکند.
- خروجی را در بار 32 کاربر بخوانید. روی دیتاست تصادفی، EAGLE3 بین 239 تا 242 توکن در ثانیه تولید کرد، در حالی که حالت پیشفرض 250 تا 254 توکن میداد. روی ShareGPT این مقایسه 277 تا 283 در برابر 281 تا 288 توکن بود. در هر دو دیتاست مکالمهمحور، این روش زیر بار سنگین خروجی را از دست داد. اما روی GSM8K خروجی به 648 تا 660 توکن در ثانیه در برابر 397 رسید، و روی کد به 566 تا 581 در برابر 365 تا 366 توکن جهش کرد. مستندات این را 1.6 برابر شدن خروجی در GSM8K و کد میداند، بدون اینکه دو دیتای دیگر خروجی بیشتری گرفته باشند. در یک دسته (batch) کاملاً پر، هر توکن پیشنویس که رد میشود، یعنی توان پردازشی از کاربر دیگری گرفته شده است؛ بنابراین سودآوری فقط جایی دوام میآورد که نرخ پذیرش بالا باشد.
- اولین توکن و دم توزیع را بخوانید. در بار 32 کاربر، EAGLE3 میانهی زمان اولین توکن را در دیتای تصادفی از 3.2 تا 3.5 ثانیه به 8.6 تا 8.7 ثانیه رساند، و در ShareGPT از 2.7 تا 3.0 ثانیه به 5.7 تا 7.0 ثانیه کشاند. برداشت مستندات این است که پیشنویس فضای مشترکی (pool space) را گرفت که صف به آن نیاز داشت؛ بنابراین درخواستها مدت بیشتری منتظر یک جایگاه (slot) ماندند. شکایت چت پشتیبانی دقیقاً از همین موضوع است. روش n-gram در بار 32 کاربر تاخیر P99 ITL را به 244 تا 779 میلیثانیه رساند، در حالی که در حالت پیشفرض 83 تا 106 میلیثانیه بود: یک میانهی نرمتر، خروجی نوسانیتر و ناهموارتری را پنهان کرده بود. اجراهای پیشفرض تککاربره به زیر فرکانس 300 MHz دچار throttling شدند و کنار گذاشته شدند که تصمیم درستی بود.
- بپرسید دیتای تصادفی اصلاً چیست. دیتای تصادفی نوبت گفتوگو (turn) اول مکالمات ShareGPT را برمیدارد و آن را با بریدن یا تکرار به 512 توکن میرساند. این متن واقعی است، اما ترافیک هیچکدام از محصولات نیست؛ تکرار داخل یک پرامپت بریده و تکرارشده، شبیه تکرار پاسخ یک مسئلهی ریاضی نیست. پژوهشهای ذکرشده در مستندات هم همنظرند: پرامپتهای ساختگی نرخ پردازش دیکودینگ حدسی را بهطور میانگین 23 درصد بیشتر برآورد کردند، با رشد دسته طول بهینهی پیشنویس به 1 کاهش یافت، و در پاسخهای طولانی، پذیرش از حدود 3.7 به نزدیک 1.5 سقوط کرد.
- از روش بررسی مستندات استفاده کنید. نمونهای از ترافیک واقعی خود را با و بدون حدس، با طول خروجی واقعی و همراه با پرچم
--disable-ignore-eosاجرا کنید. این موارد را مقایسه کنید: طول پذیرش از شاخصsglang:spec_accept_length، نرخ پردازش خروجی و میانهی زمان هر توکن، مقادیر P99 برای ITL و TTFT، و پذیرش طولانیترین پاسخهایتان بهتنهایی، که هر پاسخ اندپوینت/generateآن را درmeta_infoبرمیگرداند.
نتیجه
یک تنظیم نمیتواند به هر سه محصول پاسخ دهد، چرا که سودآوری حدس، از ویژگیهای خود ترافیک است نه موتور استنتاج. برای معلم ریاضی، EAGLE3 روشن میماند: 648 تا 660 توکن در ثانیه در برابر 397 توکن در بار 32 کاربر، و 33.3 تا 34.3 میلیثانیه به ازای هر توکن در برابر 65.5 میلیثانیه در بار 8 کاربر. برای دستیار کدنویسی، گزینهی اول EAGLE3 است (566 تا 581 در برابر 365 تا 366 توکن در بار 32 کاربر)؛ و n-gram گزینهی دوم و کمهزینهتری است که در بار 8 کاربر روی کد سود میدهد (58.2 تا 58.8 در برابر 65.9 تا 66.4 میلیثانیه)، به شرطی که P99 ITL آن درون محدوده هدف محصول بماند. برای چت پشتیبانی، EAGLE3 در ساعات شلوغی خاموش میشود: روی ShareGPT در بار 32 کاربر خروجی اضافهای نداد و میانهی اولین توکن را از 2.7 تا 3.0 ثانیه به 5.7 تا 7.0 ثانیه کشاند. اگر چت پشتیبانی همان دستاورد بار 8 کاربر را میخواهد، باید سقف کاربر به ازای هر نمونه (replica) را آنقدر پایین نگه دارد که محدودیت ظرفیت پیش نیاید.
هر محصول تنظیم خود را روی ترافیک واقعی خودش تأیید میکند: نرخ پذیرش از شمارنده، میانه و P99 ITL، مقدار P99 TTFT و پذیرش طولانیترین پاسخها، همگی با ثبت فرکانس کلاک. دیتاست تصادفی دیگر نباید مبنای تصمیمگیری باشد و فقط به عنوان تست دود (smoke test) نگهداری میشود.
مسیرهای اشتباه رایج
- «EAGLE3 زمان هر توکن را نصف کرد، پس به درد همه میخورد.» در بار 8 کاربر بله، روی تمام دیتاستها اینطور بود. در بار 32 کاربر روی ShareGPT خروجی 277 تا 283 توکن در ثانیه در برابر 281 تا 288 توکن داد و زمان اولین توکن را به 5.7 تا 7.0 ثانیه در برابر 2.7 تا 3.0 ثانیه رساند. سودآوری تابعی از بار و میزان پذیرش است.
- «روش n-gram هیچ بهبودی نشان نداد، پس تیکت را ببندید.» این روش روی دیتاستی که هیچ چیزی از آن کپی نمیشود بهبودی نداشت. روی کد در بار 8 کاربر زمان هر توکن را از 65.9 تا 66.4 میلیثانیه به 58.2 تا 58.8 رساند، و در GSM8K به 54.6 تا 55.0 میلیثانیه کاهش داد.
- «دیتاست تصادفی متن واقعی است، بنابراین نمایندهی خوبی است.» این دیتاست همان نوبت اول مکالمات ShareGPT است که بریده یا تکرار شده تا به 512 توکن برسد. رفتارش برای پیشنویس شبیه ShareGPT بود و برای n-gram شبیه هیچ چیز خاصی نبود.
- «اولین توکن چت را با پیشنویس عمیقتر درست کنید.» اولین توکن به این دلیل دیرتر رسید که پیشنویس فضای حافظهای را اشغال کرد که صف به آن نیاز داشت. پیشنویس عمیقتر فضای بیشتری میگیرد، نه کمتر.
- «میانهها را مقایسه کنید، دم توزیع خودش درست میشود.» روش n-gram در بار 32 کاربر تاخیر P99 ITL را به 244 تا 779 میلیثانیه رساند در حالی که در حالت پیشفرض 83 تا 106 میلیثانیه بود؛ با این حال میانهی آن روی دو دیتاست خوب به نظر میرسید.
درس کلی
ارزش بهینهسازی رمزگشایی که متکی بر حدس درست است، به این بستگی دارد که دربارهی چه چیزی حدس میزند. از این رو، بنچمارک آن باید با همان ترافیکی که قرار است سرو کند و زیر همان بار کاری اجرا شود و در کنار میانه، دم توزیع و اولین توکن را نیز گزارش کند. یک دیتاست مصنوعی فقط یک نقطه در این فضا به شما میدهد؛ تصمیمگیری برای چند محصول نیازمند یک اندازهگیری به ازای هر محصول است.
کجای دوره آموزش داده میشود
راهنمای SGLang این چهار دیتاست را در صفحهی دیکودینگ حدسی بررسی میکند، و راهنمای vLLM محدودیتهای دستاورد پرامپت تصادفی را در صفحهی EAGLE3 و حالت کپیمحور را در صفحهی n-gram توضیح میدهد.