سناریوی رخداد

عمق حدس در برابر اندازه‌ی دسته

Speculation depth against batch size

  • سطح ۳: ارشد
  • سناریوی رخداد
  • ۲۵ دقیقه

وضعیت

تیمی مدل Qwen/Qwen3-8B را روی یک کارت L4 سرو می‌کند و می‌خواهد پاسخ‌ها سریع‌تر به دست کاربران برسند. آن‌ها EAGLE3 را با یک پیش‌نویس (draft) آموزش‌دیده فعال می‌کنند و عمق پیش‌نویس را روی 5 می‌گذارند؛ چون پیش‌نویس عمیق‌تر در هر مرحله توکن‌های بیشتری را حدس می‌زند. در حالت یک کاربر، زمان پردازش هر توکن تقریباً نصف می‌شود و دموی اولیه موفقیت‌آمیز است.

آزمون بار با 32 کاربر ماجرای متفاوتی رقم می‌زند. هر توکن همچنان سریع‌تر تولید می‌شود، اما سرور در مجموع در هر ثانیه توکن بیشتری نسبت به حالت بدون حدس تولید نمی‌کند؛ در حالی که رسیدن نخستین توکن حالا چند ثانیه طول می‌کشد. تیم نتیجه می‌گیرد که دیکودینگ حدسی (Speculative Decoding) مقیاس‌پذیر نیست و برنامه‌ی حذف آن را می‌چیند. تیم دوم که مدلی از خانواده‌ای دیگر را روی کارت GB10 با همین روش سرو می‌کند، گزارش می‌دهد که دستاورد آن‌ها در 64 کاربر هم حفظ شده است و می‌پرسد تیم اول کجای کار را اشتباه کرده است.

نسخه
vLLM 0.31.0 and SGLang 0.5.22
مدل
Qwen/Qwen3-8B with the Tengyunw/qwen3_8b_eagle3 draft
سخت‌افزار
one L4 with 24 GB of memory, SM clock locked at 900 MHz, and a GB10 as the second machine

شواهد

acceptance-long-answers.txt
title: the acceptance length on answers of about 2,000 tokens, both engines
source: manuals/vllm-101/capture/gpu/out-l4/eagle3-long-outputs.txt
lines: 8-15
lang: text
note: Read the acceptance per draft position, then the comparison with short answers under the table.
---
engine          dataset    mean acceptance length   accepted per draft position 1 / 2 / 3
SGLang EAGLE3   GSM8K      2.68
SGLang EAGLE3   ShareGPT   2.32
vLLM EAGLE3     GSM8K      2.69                     0.77 / 0.54 / 0.38
vLLM EAGLE3     ShareGPT   2.35                     0.67 / 0.42 / 0.26

Short outputs (128 tokens) in the same session on SGLang: GSM8K 2.69 to 2.78, ShareGPT 2.33 to 2.43.
Acceptance did not fall from 128 tokens to about 2,000 tokens on these datasets.
dense-model-on-l4.txt
title: the same draft on the other engine, time per token against output on the L4
source: manuals/sglang-101/sections/4-4-speculative-decoding.md
lines: 149-154
lang: text
note: Compare the two time per token columns with the two output columns at 32 and 64.
---
| Concurrency | Default median TPOT | EAGLE-3 median TPOT | Default output tok/s | EAGLE-3 output tok/s |
|---|---|---|---|---|
| 1 | 60.16 ms | 25.61 ms | 13.42 | 31.81 |
| 8 | 66.01 ms | 35.58 ms | 112.62 | 181.55 |
| 32 | 96.18 ms | 43.82 ms | 270.11 | 269.42 |
| 64 | 107.42 ms | 51.50 ms | 250.85 | 245.34 |
depth-sweep-locked.txt
title: EAGLE3 at three draft depths against no speculation, with the clock locked
source: manuals/vllm-101/sections/4-1-speed-up-decode-with-eagle3.md
lines: 40-48
lang: text
note: Read the output column at 32 users from depth 1 to depth 5, then the time per token at one user.
---
| Users, L4 locked session | Config | Median TPOT | Output tok/s | Median SM clock |
|---|---|---|---|---|
| 32 | no speculation | 119.9 ms | 208.8 | 881 MHz |
| 32 | depth 1 | 100.4 ms | 271.1 | 900 MHz |
| 32 | depth 3 | 77.8 ms | 333.6 | 900 MHz |
| 32 | depth 5 | 83.7 ms | 289.5 | 885 MHz |
| 1 | depth 1 | 39.4 ms | 22.4 | 900 MHz |
| 1 | depth 3 | 27.8 ms | 31.3 | 900 MHz |
| 1 | depth 5 | 26.2 ms | 31.7 | 900 MHz |
draft-pool-cost.txt
title: the startup lines of the server with the draft loaded on the L4
source: manuals/sglang-101/capture/gpu/out-l4/server-load-eagle3.log
lines: 1-4
lang: text
note: Read the token pool and the running request limit in the last line.
---
[2026-10-17 11:19:19] Load weight end. elapsed=3.80 s, type=Qwen3ForCausalLM, avail mem=6.59 GB, mem usage=15.28 GB.
[2026-10-17 11:19:21] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 9951, K size: 0.68 GB, V size: 0.68 GB
[2026-10-17 11:19:21] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 9951, K size: 0.02 GB, V size: 0.02 GB
[2026-10-17 11:20:05] max_total_num_tokens=9951, chunked_prefill_size=4096, max_prefill_tokens=16384, max_running_requests=48, context_len=40960, available_gpu_mem=1.23 GB
moe-model-on-gb10.txt
title: EAGLE3 with its own draft on a mixture-of-experts model on the GB10
source: manuals/sglang-101/sections/4-4-speculative-decoding.md
lines: 112-117
lang: text
note: Divide the baseline time per token by the EAGLE-3 time per token on each row.
---
| Concurrency | Baseline median TPOT | EAGLE-3 median TPOT | Baseline output tok/s | EAGLE-3 output tok/s |
|---|---|---|---|---|
| 1 | 32.52 ms | 20.30 ms | 29.14 | 40.93 |
| 8 | 102.21 ms | 59.44 ms | 74.11 | 97.06 |
| 32 | 201.91 ms | 106.97 ms | 150.66 | 228.78 |
| 64 | 254.06 ms | 138.41 ms | 235.38 | 276.32 |
the-silent-cap.txt
title: the one warning that sets the request limit
source: manuals/sglang-101/capture/gpu/out-gb10/server-eagle3.log
lines: 4-4
lang: text
note: This line prints once at startup and scrolls away before the first request.
---
[2026-10-17 15:14:58] Max running requests is reset to 48 for speculative decoding. You can override this by explicitly setting --max-running-requests.

سؤال‌ها

  1. چرا پیش‌نویس عمیق‌تر در حالت یک کاربر سودبخش و در 32 کاربر زیان‌بار است؟ مشخص کنید حدس اشتباه در هر حالت چه چیزی را هدر می‌دهد.
  2. با توجه به بررسی بازه‌ی عمق‌ها، کدام عمق در 32 کاربر و کدام در یک کاربر برنده می‌شود، و چطور مطمئن می‌شوید این دستاورد واقعی است نه نوفه؟
  3. روی کارت L4، سرعت تولید هر توکن در تمام سطوح بار بیشتر شد، اما خروجی از 32 کاربر به بعد رشد نکرد. کدام دو خط در گزارش راه‌اندازی این موضوع را توجیه می‌کنند و هر کدام چقدر هزینه تراشیده‌اند؟
  4. روی کارت GB10، یک مدل ترکیبی از متخصصان (MoE) با پیش‌نویس اختصاصی EAGLE3، دستاورد خود را در 64 کاربر حفظ کرد. مدل، پیش‌نویس و کارت گرافیک همگی تغییر کرده بودند. به نظر شما کدام تغییر بخش اصلی نتیجه را توضیح می‌دهد، و چطور آن را می‌آزمایید؟
  5. طول پذیرش در پاسخ‌های طولانی بین 2.32 و 2.69 توکن در هر مرحله ماند. چرا با این حال باز هم باید آن را روی طولانی‌ترین پاسخ‌های دریافتی کاربران بسنجید؟
  6. مسیر پیش‌روی شبیه‌سازی‌شده (Rollout) را طراحی کنید: چه عمقی، چه محدودیت‌های دستی، چه معیارهایی برای خواندن، و کدام اجراها پیش از ورود به محیط عملیاتی الزامی هستند.

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام

مدل پیش‌نویس (Draft Model) توکن‌های بعدی را حدس می‌زند و مدل هدف (Target model) تمام حدس‌ها را در یک دور بررسی می‌کند. در حالت یک کاربر، پردازنده‌ی گرافیکی در هر گام توان پردازشی اضافه دارد؛ بنابراین حدس‌های اضافی تقریباً رایگان تمام می‌شوند و هر حدس پذیرفته‌شده، توکنی است که مدل هدف مجبور نبوده به‌تنهایی محاسبه‌اش کند. در 32 کاربر، ظرفیت هر مرحله از پیش پر است و هر حدس اشتباه، توان محاسباتی را از توکن واقعی کاربری دیگر می‌گیرد.

بررسی بازه‌ی عمق‌ها این دادوستد را در فرکانس قفل‌شده‌ی 900 مگاهرتز نشان می‌دهد. در 32 کاربر، اجرای بدون حدس به نرخ 208.8 توکن در ثانیه رسید. عمق 1 به نرخ 271.1، عمق 3 به 333.6 و عمق 5 به 289.5 رسید. عمق 3 معادل 1.6 برابر خط مبنا (Baseline) بود و دامنه‌ی تغییرات سید (seed) آن هیچ همپوشانی (Overlap) با پیکربندی‌های دیگر نداشت. عمق 5 در مقایسه با عمق 3 افت خروجی داشت؛ یعنی حدس‌های اضافی‌اش بیشتر از سودی که رساندند هزینه تراشیدند. در حالت یک کاربر، عمق 3 در مقایسه با عمق 1 زمان پردازش هر توکن را از 39.4 به 27.8 میلی‌ثانیه کاهش داد، و عمق 5 با 26.2 میلی‌ثانیه در دامنه‌ی پراکندگی سیدها با آن برابر شد. اجرای تک‌کاربره بدون حدس به فرکانس 210 مگاهرتز (پایین‌تر از حد قفل‌شده) افت کرد؛ به همین دلیل از مقایسه کنار گذاشته شد. هزینه‌ی دیگری هم در میانه پنهان است: فاصله‌ی زمانی بین توکن‌ها (ITL) در 32 کاربر از 84 میلی‌ثانیه به 133 میلی‌ثانیه در عمق 3 رسید، زیرا حالا هر گام چند توکن را هم‌زمان تحویل می‌دهد و جریان خروجی در دسته‌های بزرگ‌تر ولی با توالی کمتر می‌رسد.

فهرست دوم، موتور دیگر را با همان پیش‌نویس روی همان کارت نشان می‌دهد. هر توکن در تمام بارها بین 1.6 تا 2.3 برابر سریع‌تر تولید شد. در 32 کاربر، خروجی 269.42 در برابر 270.11 توکن در ثانیه بدون پیش‌نویس بود (نسبت 1.00) و در 64 کاربر، 245.34 در برابر 250.85 ثبت شد. خطوط لاگ راه‌اندازی علت را روشن می‌کنند. با بارگذاری پیش‌نویس، استخر KV به جای 24,094 توکن، گنجایش 9,951 توکن را داشت (حدود 15 درخواست از درخواست‌های 640 توکنی ما)، چرا که پیش‌نویس سهم خود را از حافظه‌ی کارت برداشت. علاوه بر این، سرور خودبه‌خود مقدار max_running_requests=48 را تعیین کرد. فهرست چهارم همان هشداری است که این محدودیت را ایجاد می‌کند: وقتی کسی سقف را مشخص نکند، موتور آن را برای دیکودینگ حدسی روی 48 تنظیم می‌کند، این را یک بار چاپ می‌کند و خط میان لاگ‌ها بالا می‌رود و رد می‌شود. در 32 کاربر، زمان رسیدن به نخستین توکن با پیش‌نویس به 8,040 میلی‌ثانیه در برابر 2,970 میلی‌ثانیه بدون آن رسید؛ چون استخر فقط گنجایش حدود 15 درخواست را داشت و بقیه منتظر ماندند.

اجرای کارت GB10 یک مثال نقض با یک نکته‌ی مهم است: در آن اجرا از مدلی دیگر، پیش‌نویسی دیگر و کارتی دیگر استفاده شد، بنابراین اثر معماری را به‌تنهایی جدا نمی‌کند. روی یک مدل ترکیبی از متخصصان، زمان هر توکن در تمام بارها 1.56 برابر یا بیشتر کاهش یافت (با نقطه‌ی اوج 1.89 برابر در 32 کاربر و 1.84 برابر در 64 کاربر)، و طول پذیرش بین 2.71 تا 2.74 توکن در هر مرحله ماند. مدل متراکم در هر مرحله همه‌ی وزن‌هایش را می‌خواند؛ در نتیجه دسته‌ی (batch) بزرگ‌تر از قبل همان محاسبات اضافه‌ای را که حدس‌زدن نیاز دارد مصرف می‌کند. اما مدل ترکیبی از متخصصان فقط متخصصانی را می‌خواند که توکن‌های آن مرحله انتخاب کرده‌اند، و مرحله‌ی راستی‌آزمایی با همان وزن‌های خوانده‌شده‌ی متخصصان چهار موقعیت را برای هر درخواست امتیازدهی می‌کند. حتی آنجا هم سقف دست‌وپاگیر شد: در 64 کاربر، خروجی 276.32 در برابر 235.38 بود، اما میانه‌ی زمان نخستین توکن به 7,772 میلی‌ثانیه در برابر 557 میلی‌ثانیه رسید؛ زیرا 48 درخواست اجرا می‌شدند و 16 درخواست در صف منتظر بودند.

فهرست آخر، طول پذیرش در پاسخ‌های طولانی را در 8 کاربر نشان می‌دهد: 2.68 و 2.32 توکن در هر گام روی دو مجموعه‌داده برای یک موتور، و 2.69 و 2.35 برای موتور دیگر؛ به طوری که نخستین جایگاه پیش‌نویس در 0.77 و 0.67 مواقع پذیرفته شد و موقعیت‌های بعدی کمتر. این رقم از پاسخ‌های 128 توکنی تا پاسخ‌های حدود 2,000 توکنی افت نکرد. این اندازه‌گیری ما روی دو مجموعه‌داده است. پژوهشی در سال 2026 روی پاسخ‌های استدلالی نزدیک به 20,000 توکن نشان داد طول پذیرش از حدود 3.7 به حدود 1.5 سقوط می‌کند، و پژوهشی دیگر ثابت کرد پرامپت‌های (Prompt) ساختگی دستاورد پرامپت‌های واقعی را بیش از حد بزرگ نشان می‌دهند. بنابراین تنها عددی که می‌توان به آن اعتماد کرد، رقم حاصل از طولانی‌ترین پاسخ‌های کاربران خودتان است.

نتیجه

برای این مدل و پیش‌نویس روی کارت L4، عمق مناسب 3 است. با فرکانس قفل‌شده، این عمق خروجی را در 32 کاربر 1.6 برابر کرد و در یک کاربر با عمق 5 برابر شد؛ در حالی که عمق 5 زیر بار ترافیک افت خروجی داشت. تیم اول عمق 5 را در حالت یک کاربر سنجید و آن نتیجه را به عنوان ویژگی ذاتی دیکودینگ حدسی در نظر گرفت.

دو تنظیم سرنوشت آزمون بار را تعیین کردند که هیچ‌کدام عمق پیش‌نویس نبود. بارگذاری پیش‌نویس، استخر را به 9,951 توکن کاهش داد که فقط گنجایش حدود 15 درخواست از 32 درخواست را دارد، و موتور سرور هم بی‌آنکه خواسته شود سقف درخواست‌های هم‌زمان را روی 48 بست؛ سقفی که در 64 کاربر محدودکننده می‌شود. پس از بارگذاری پیش‌نویس، خط استخر و هشدار سقف را حتماً بخوانید، --max-running-requests را خودتان تعیین کنید، و حساب کنید چند تا از درخواست‌های شما در این استخر کوچک‌تر جا می‌گیرند. سپس روی ترافیک خودتان بدون پارامتر --ignore-eos بنچمارک بگیرید: میزان پذیرش را از روی شمارنده‌های توکن پیش‌نویس و پذیرفته‌شده، میانه‌ی زمان هر توکن، حجم خروجی، و P99 ITL و P99 TTFT بسنجید؛ چرا که میانه‌ی بهتر می‌تواند عملکرد بد انتهای توزیع را پنهان کند. فرکانس کارت را برای تمام جفت‌ها قفل یا ثبت کنید. تیم دوم روی سخت‌افزار خودش درست می‌گفت، اما تعمیم دادنش غلط بود: روی مدل MoE دستاورد همگام با رشد دسته حفظ شد، ولی روی مدل متراکم 8B حفظ نشد.

مسیرهای اشتباه رایج
  • «پیش‌نویس عمیق‌تر همیشه توکن بیشتری در هر مرحله می‌دهد.» در 32 کاربر، عمق 5 به خروجی 289.5 توکن در ثانیه رسید و عمق 3 به 333.6 رسید. فراتر از عمقی که طول پذیرش پشتیبانی می‌کند، هر حدس اضافی در واقع توان محاسباتی گرفته‌شده از کاربری دیگر است.
  • «دیکودینگ حدسی مقیاس‌پذیر نیست، حذفش کنید.» برابر شدن خروجی در مدل متراکم ناشی از استخر 9,951 توکنی بود، نه خود پیش‌نویس. در 32 کاربر سقف 48 محدودکننده نبود؛ در 64 کاربر گلوگاه شد. مدل MoE در 64 کاربر دستاورد 1.84 برابری را حفظ کرد.
  • «با اجرای بدون حدس در حالت یک کاربر هم مقایسه کنید.» آن اجرا تا 210 مگاهرتز افت کرد، در حالی که بقیه روی 900 مگاهرتز ماندند. اختلاف فرکانسی به این بزرگی اثر واقعی را پنهان می‌کند، بنابراین آن ردیف حذف شد.
  • «طول پذیرش بنچمارک 128 توکنی همان چیزی است که در عمل خواهیم دید.» پاسخ‌های طولانی ما آن را حفظ کردند، اما پژوهشی روی پاسخ‌های نزدیک به 20,000 توکن نشان داد این مقدار از حدود 3.7 به حدود 1.5 می‌افتد. دامنه‌ی انتهایی داده‌های خودتان را بسنجید.
  • «سقف درخواست‌های هم‌زمان را بالا ببرید تا صف ناپدید شود.» استخر تنها حدود 15 درخواست 640 توکنی را جا می‌دهد. سقف بالاتر حافظه اضافه نمی‌کند؛ فقط انتظار را به خط دیگری از لاگ منتقل می‌کند.
درس کلی

قابلیتی که ظرفیت آزاد را خرج می‌کند، تا وقتی ظرفیت خالی است می‌ارزد و وقتی ظرفیت پر باشد زیان می‌زند. بنابراین ارزش آن تابعی از بار ترافیک، معماری مدل و حافظه‌ی مصرفی آن است، نه ویژگی ذاتی خود قابلیت. آن را در تمام دامنه‌ی باری که سرویس می‌دهید بسنجید، تک‌تک خطوط راه‌اندازی را که قطعه‌ای جدید تغییر می‌دهد بخوانید، و مقادیر پیش‌فرضی را که ابزاری برایتان می‌چیند به چشم تنظیماتی ببینید که از این پس مسئولیتش با خود شماست.

کجای دوره آموزش داده می‌شود

راهنمای vLLM بازه‌های مختلف عمق را در صفحه‌ی EAGLE3 بررسی می‌کند و منطق ارزیابی را در صفحه‌ی دیکودینگ حدسی توضیح می‌دهد. راهنمای SGLang نیز حالت متراکم و ترکیبی از متخصصان را می‌سنجد و سقف درخواست را در صفحه‌ی دیکودینگ حدسی خود مشخص می‌کند.