بخش 4.4 · هر گذر رو به جلو

الگوریتم‌های حدسی (--speculative-algorithm)

--speculative-algorithm

فهرست مطالب
  1. هزینه‌ی پردازش: رمزگشایی تک‌توکنی
  2. یک گام در SGLang
  3. الگوریتم‌ها و مقادیر پیش‌فرض
  4. سقفی ناخواسته
  5. چه چیزهایی را باید سنجید؟
  6. نتایج آزمایش‌های ما روی GB10
  7. نتایج آزمایش‌های ما روی کارت 24 گیگابایتی L4
  8. محدودیت‌های نتایج این آزمایش
  9. پرامپت‌های واقعی روی کارت L4
  10. تغییرات طول پذیرش در طول یک پاسخ بلند
  11. موضع ما
  12. رخدادها

دیکودینگ حدسی (Speculative decoding) از توان پردازشی بلااستفاده‌ی GPU برای commit کردن چندین توکن در هر گام بهره می‌گیرد؛ بنابراین در بارهای کاری سبک تاخیر (latency) را کاهش می‌دهد، اما وقتی پردازنده از قبل زیر بار کامل باشد، می‌تواند به قیمت افت نرخ پردازش (throughput) تمام شود.

کاربری قابلیت EAGLE-3 را برای مدل Llama-3.1-8B روی یک کارت A6000 فعال کرد و دو آزمون انجام داد. در دسته‌ی (batch) 1، سرعت خروجی از 42.0 به 92.5 توکن بر ثانیه رسید (بیش از دو برابر سریع‌تر). اما در همزمانی 20، سرعت خروجی از 217.8 به 164.4 توکن بر ثانیه افت کرد (یک‌چهارم کندتر). هر دو عدد در گزارش اشکال شماره‌ی 5274 مستند شده‌اند و هر دو هم درست‌اند. یکی از نگهداشت‌کاران در پاسخ توضیح داد که دیکودینگ حدسی برای دسته‌های کوچک طراحی شده است، نه آزمون‌های فشار سنگین {{issue #5274}}.

پس از پایان این بخش، می‌توانید مفاهیم مدل پیش‌نویس (draft model)، راستی‌آزمایی (verify) و طول پذیرش (acceptance length) را شرح دهید و مقادیر پیش‌فرضی را که SGLang تعیین می‌کند بخوانید. همچنین سقف درخواستی را که دیکودینگ حدسی اعمال می‌کند پیدا خواهید کرد و متوجه می‌شوید این سازوکار واقعاً کجا کاربرد دارد.

هزینه‌ی پردازش: رمزگشایی تک‌توکنی

هر گام رمزگشایی (decode step)، برای هر درخواست یک توکن commit می‌کند و گام بعدی برای اجرا به همان توکن به‌صورت ورودی نیاز دارد. در دسته‌ی 1، یک گام تمام وزن‌های مدل را می‌خواند تا تنها یک توکن تولید کند. در این حالت، توان پردازشی مازادی در GPU باقی می‌ماند و محدودیت اصلی ترافیک حافظه است. تشکیل دسته‌های بزرگ‌تر، این ظرفیت پردازشی مازاد را با درخواست‌های دیگر پر می‌کند.

دیکودینگ حدسی این ظرفیت مازاد را با حدس‌ها پر می‌کند. مدل پیش‌نویس (Draft model): مدلی کوچک یا هدی (head) سبک که روی مدل هدف (target model) آموزش دیده است و چند توکن بعدی را با هزینه‌ی پردازشی اندک پیشنهاد می‌دهد. گام راستی‌آزمایی (Verify pass): اجرای یک‌باره‌ی گذر پیش‌رو مدل هدف روی تمام توکن‌های پیشنهادی. مدل هدف طولانی‌ترین پیشوندی را که با خروجی خودش مطابقت داشته باشد می‌پذیرد و یک توکن اضافی هم از جانب خود تولید می‌کند.

طول پذیرش (Acceptance length): تعداد توکن‌هایی که در هر گام راستی‌آزمایی commit می‌شوند؛ یعنی پیش‌نویس‌های پذیرفته‌شده به‌علاوه‌ی همان یک توکن پاداش (bonus token). طول پذیرش 3 به این معناست که با یک‌بار اجرای مدل هدف، سه توکن commit شده است.

یک گام در SGLang

یک گام EAGLE با steps=3، topk=1 و 4 توکن پیش‌نویسیک گام EAGLE زنجیره‌ای از توکن‌ها را پیش‌نویس می‌کند، آن‌ها را در یک رفت رو به جلوی مدل هدف تأیید می‌کند، و پیشوند پذیرفته‌شده به همراه یک توکن پاداش را commit می‌کند.
یک گام EAGLE با 3 گام، topk برابر 1 و 4 توکن پیش‌نویس چهار مرحله از بالا به پایین. مدل پیش‌نویس سه گام اجرا شده و توکن‌های d1، d2 و d3 را پیشنهاد می‌دهد. مدل هدف یک فوروارد در حالت TARGET_VERIFY روی موقعیت‌های پیش‌نویس اجرا می‌کند؛ d1 و d2 را می‌پذیرد، d3 را رد می‌کند و توکن پاداش خود را می‌افزاید، بنابراین سه توکن commit شده و طول پذیرش 3 است. سپس مدل پیش‌نویس توکن‌های پذیرفته‌شده را در حالت DRAFT_EXTEND_V2 برای گام بعد می‌خواند. 1 · DRAFT, NUM_STEPS 3, TOPK 1 d1 گام 1 پیش‌نویس d2 گام 2 پیش‌نویس d3 گام 3 پیش‌نویس 2 · اعتبارسنجی، یک فوروارد هدف 4 توکن پیش‌نویس target model, ForwardMode TARGET_VERIFY امتیازدهی d1، d2، d3 و موقعیت بعدی با ماسک درختی 3 · پذیرش طولانی‌ترین تطابق d1 پذیرفته شد d2 پذیرفته شد d3 رد شد پاداش از مدل هدف 4 · ثبت (commit) و پر کردن مجدد ثبت 3 توکن طول پذیرش: 3 d1، d2 و پاداش draft model, DRAFT_EXTEND_V2 خواندن d1، d2، پاداش آماده برای گام بعدی بدون حدس، همان 3 توکن به 3 فوروارد هدف نیاز دارند
از بالا به پایین خوانده شود. اعداد از مقادیر پیش‌فرض (3, 1, 4) برای اکثر مدل‌ها در v0.5.22 پیروی می‌کنند. توکن‌های سبز پذیرفته‌شده و توکن گل‌بهی رد شده است. برگرفته از EAGLEWorkerV2.forward_batch_generation در نسخه v0.5.22.
  1. پیش‌نویس (Draft): مدل پیش‌نویس به تعداد مشخص‌شده در پرچم --speculative-num-steps اجرا می‌شود. اگر مقدار --speculative-eagle-topk بیش از 1 باشد، هر گام چندین کاندیدا را به ازای هر گره نگه می‌دارد و یک درخت می‌سازد. سپس یک سازنده‌ی درخت، بهترین گره‌ها را تا سقف --speculative-num-draft-tokens حفظ کرده و ماسک درختی (tree mask) را می‌سازد.
  2. راستی‌آزمایی (Verify): مدل هدف یک‌بار در حالت TARGET_VERIFY با ماسک درختی روی تمام توکن‌های پیش‌نویس اجرا می‌شود. برای درخواست‌های حریصانه (greedy)، طولانی‌ترین مسیر منطبق را نگه می‌دارد. برای درخواست‌های نمونه‌برداری‌شده (sampled)، احتمالات توکن‌ها را با اعمال پارامترهای دما، top-k و top-p مقایسه می‌کند.
  3. توسعه‌ی پیش‌نویس (Draft extend): مدل پیش‌نویس توکن‌های پذیرفته‌شده را در حالت DRAFT_EXTEND_V2 می‌خواند تا کش (cache) آن برای گام بعدی آماده بماند.

آستانه‌های پذیرش --speculative-accept-threshold-single و --speculative-accept-threshold-acc به‌طور پیش‌فرض 1.0 هستند. با این مقادیر، درخواست‌های حریصانه دقیقاً همان توکن‌هایی را تولید می‌کنند که بدون دیکودینگ حدسی تولید می‌شد.

الگوریتم‌ها و مقادیر پیش‌فرض

گزینه‌ی --speculative-algorithm مقادیر EAGLE، EAGLE3، NEXTN، STANDALONE، NGRAM، DFLASH، DSPARK و UNO را می‌پذیرد. NEXTN نام دیگری برای EAGLE است. برای مدل‌هایی نظیر DeepSeek V3 و مدل‌های دیگری که لایه‌های پیش‌بینی چندتوکنی (multi-token prediction) را درون چک‌پوینت دارند، SGLang مسیر مدل پیش‌نویس را به‌صورت خودکار همان مسیر مدل اصلی قرار می‌دهد. روش NGRAM اصلاً به هیچ مدل پیش‌نویسی نیاز ندارد؛ این روش توالی‌های تکراری توکن‌ها را در متنی که تاکنون دیده است جست‌وجو می‌کند.

با انتخاب NGRAM، سامانه‌ی SGLang قابلیت پیش‌پرکنی تکه‌ای (chunked prefill) ترکیبی را خاموش می‌کند {{code}}. مستندات نسخه‌ی v0.5.22 می‌گوید که NGRAM اسکژولر همپوشانی (overlap scheduler) را غیرفعال کرده و فقط روی CUDA اجرا می‌شود. اما کدهای نسخه‌ی v0.5.22 از CUDA، CPU و XPU پشتیبانی می‌کنند و همپوشانی را فقط روی CPU خاموش می‌کنند {{code}}. برای اطلاع از وضعیت واقعی سرور، مقدار disable_overlap_schedule را از مسیر GET /server_info بخوانید. هنگام مقایسه‌ی NGRAM با حالت بدون حدس، هر دو را با تنظیمات همپوشانی یکسان اجرا کنید.

اگر ابعاد را مشخص نکنید، SGLang مقدار (num_steps, topk, num_draft_tokens) را متناسب با معماری مدل انتخاب می‌کند.

مدل ابعاد پیش‌فرض
LlamaForCausalLM، Grok (5, 4, 8): درختی با حداکثر 8 توکن پیش‌نویس
DeepSeek، GLM، GPT-OSS، MiMo، STANDALONE و سایر مدل‌ها (3, 1, 4): زنجیره‌ای متشکل از 3 توکن پیش‌نویس

با topk برابر 1، کد تعداد توکن‌های پیش‌نویس را به تعداد گام‌ها به‌علاوه‌ی یک مقید می‌کند.

سقفی ناخواسته

کنترل‌کننده‌های (handlers) مربوط به EAGLE، NGRAM، DFLASH و DSPARK در نسخه‌ی v0.5.22 در صورتی که گزینه‌ی --max-running-requests را تعیین نکرده باشید، رفتار یکسانی دارند: مقدار را به 48 تغییر می‌دهند و این هشدار را ثبت می‌کنند: Max running requests is reset to 48 for speculative decoding {{code}}. دیکودینگ حدسی برای توکن‌های پیش‌نویس به حافظه نیاز دارد و در دسته‌های کوچک بهترین بازدهی را نشان می‌دهد؛ بنابراین این سقف برای محافظت از سرور تعبیه شده است. اما در عین حال، بنچمارک شما را هم محدود می‌کند.

آزمون نرخ پردازش با فعال بودن دیکودینگ حدسی و بدون سقف دستی، عملکرد سروری را می‌سنجد که تنها 48 درخواست را می‌پذیرد. اگر بار ترافیکی سیستم 200 درخواست همزمان باشد، 152 درخواست باقی‌مانده در صف می‌مانند و زمان تا اولین توکن (TTFT) افزایش می‌یابد. پیام هشدار تنها یک‌بار هنگام راه‌اندازی چاپ می‌شود و قبل از رسیدن اولین درخواست با اسکرول لاگ‌ها از دید خارج خواهد شد.

چه چیزهایی را باید سنجید؟

اسکژولر در هر خط از لاگ‌های رمزگشایی مقادیر accept len و accept rate را ثبت می‌کند و آدرس /metrics نیز این داده‌ها را با برچسب‌های sglang:spec_accept_length و sglang:spec_accept_rate ارائه می‌دهد. این معیارها را روی پرامپت‌های خودتان بسنجید، چرا که پذیرش به جنس متن و مدل پیش‌نویس بستگی دارد. گزارش میدانی دیوید نوئل نگ {{field David Noel Ng 2026-08}} روی دو پردازنده‌ی GH200 نشان داد که طول پذیرش روی DeepSeek-V4-Flash پس از اصلاح لودر بین 3.5 تا 5.05 توکن بوده است.

بخشی از ترافیک واقعی خود را با و بدون دیکودینگ حدسی اجرا کنید. طول واقعی خروجی‌ها را حفظ کنید و پرچم --disable-ignore-eos را به کلاینت بنچمارک بدهید. اگر به نمونه‌ای از ترافیک واقعی دسترسی ندارید، گزینه‌ی --dataset-name speed-bench در نسخه‌ی v0.5.22 نسخه‌ی محلی پرامپت‌های SPEED-Bench را می‌خواند {{code}}. مقادیر زیر را با هم مقایسه کنید:

  1. طول پذیرش، از طریق sglang:spec_accept_length.
  2. میانه‌ی زمان به ازای هر توکن خروجی (TPOT) و نرخ پردازش خروجی.
  3. صدک نودونهم تاخیر بین توکن‌ها (P99 ITL) و صدک نودونهم زمان تا اولین توکن (P99 TTFT)؛ چرا که بهبود در میانه می‌تواند افت کیفیت در دم توزیع را پنهان کند.
  4. طول پذیرش مربوط به طولانی‌ترین پاسخ‌ها به‌صورت جداگانه. هر پاسخ در مسیر /generate این مقدار را با نام spec_accept_length در بخش meta_info برمی‌گرداند.

سپس آزمون همزمانی را در گستره‌ای از بارهای کاری با روشن و خاموش بودن این قابلیت اجرا کنید تا نقطه‌ی تقاطع نمودارها مشخص شود. تیم Ant Group {{field Ant Group 2025-09}} این آزمایش را با مدل DeepSeek-R1 روی کارت H20 انجام داد. در آن بررسی، پیش‌نویس‌های طولانی‌تر در دسته‌ی 1 موجب 21% بهبود شدند، اما در دسته‌ی 32 افتی نزدیک به 18% به همراه داشتند.

همان ویژگی در دو اندازه دسته مختلفدیکودینگ حدسی سرعت تک‌درخواست را دوبرابر کرد و در همزمانی 20 روی همان GPU و مدل، نرخ پردازش را کاهش داد.
همان ویژگی در دو اندازه دسته دو قاب از توکن خروجی بر ثانیه برای Llama-3.1-8B روی یک A6000 از issue 5274. در دسته 1: بدون حدس 42.0 و با EAGLE-3 برابر 92.5. در همزمانی 20: بدون حدس 217.8 و با EAGLE-3 برابر 164.4. هر دو قاب از یک مقیاس عمودی استفاده می‌کنند. الف · دسته 1 ب · همزمانی 20 42.0 بدون حدس 92.5 EAGLE-3 217.8 بدون حدس 164.4 EAGLE-3 توکن خروجی/ثانیه، issue 5274، 2025-04-11
توکن خروجی بر ثانیه برای Llama-3.1-8B با و بدون EAGLE-3 روی یک A6000، طبق گزارش issue 5274 در تاریخ 2025-04-11. نمودارها مقیاس یکسانی دارند.

نتایج آزمایش‌های ما روی GB10

ما الگوریتم EAGLE-3 را با مدل Qwen/Qwen3-30B-A3B-Instruct-2507 روی یک کارت NVIDIA GB10 اجرا کردیم. مدل پیش‌نویس lmsys/SGLang-EAGLE3-Qwen3-30B-A3B-Instruct-2507-SpecForge-Nex با ابعاد (3, 1, 4) بود؛ همان پیکربندی‌ای که دستورالعمل SGLang برای این جفت پیشنهاد می‌دهد.

راه‌اندازی اول با شکست مواجه شد. در تنظیمات پیش‌نویس طول زمینه (context length) معادل 2,048 قید شده بود، در حالی که مدل هدف طول 262,144 را پوشش می‌داد. بررسی طول زمینه خطای ValueError ایجاد کرد و با این پیام به پایان رسید: To allow overriding this maximum, set the env var SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 {{code}}. از آنجا که دستور راهنما برای این جفت‌مدل این متغیر را تنظیم می‌کرد، ما نیز آن را تنظیم کردیم.

بررسی طول زمینه پیش‌نویس با فعال بودن override capture/gpu/out-gb10/server-eagle3.log
… Warning: Target model's context_length (262144) is greater than the derived context_length (2048). This may lead to incorrect model outputs or CUDA errors. Note that the derived context_length may differ from max_position_embeddings in the model's config.
… Overriding the draft model's max_position_embeddings to 262144.
… Max running requests is reset to 48 for speculative decoding. You can override this by explicitly setting --max-running-requests.

سه خط از لاگ راه‌اندازی. برچسب‌های زمانی حذف شده‌اند.

این متغیر فقط بررسی خطا را حذف می‌کند و توانایی خواندن پرامپت‌های طولانی را به پیش‌نویس یاد نمی‌دهد؛ نقصی که در گزارش اشکال شماره‌ی 6783 در ادامه آمده است. پرامپت‌های آزمون ما 512 توکنی بودند، بنابراین این اجرا نکته‌ای درباره‌ی زمینه‌های طولانی نشان نمی‌دهد.

ما انتظار داشتیم با همین امتناع مدل (refusal) روی کارت 24 گیگابایتی L4 هم روبه‌رو شویم. وقتی مدل Qwen/Qwen3-8B را همراه با پیش‌نویس Tengyunw/qwen3_8b_eagle3 بدون متغیر محیطی راه‌اندازی کردیم، سرور بالا آمد. آن پیش‌نویس ظرفیت 40,960 موقعیت مکانی داشت که دقیقاً برابر با مدل هدفش بود، در نتیجه بررسی سیستم موردی برای رد کردن نداشت. این متغیر فقط به تنظیمات یک پیش‌نویس خاص برمی‌گردد و نه به EAGLE-3. پیش از تنظیم آن، مقدار max_position_embeddings را در هر دو پیکربندی مقایسه کنید.

راه‌اندازی EAGLE-3 روی یک L4 بیست‌وچهار گیگابایتی capture/gpu/out-l4/server-eagle3-no-env.log
… Load weight end. elapsed=3.89 s, type=Qwen3ForCausalLM, avail mem=6.41 GB, mem usage=15.28 GB.
… Load weight end. elapsed=0.67 s, type=LlamaForCausalLMEagle3, avail mem=4.50 GB, mem usage=1.90 GB.
… KV Cache is allocated. dtype: torch.bfloat16, #tokens: 8827, K size: 0.61 GB, V size: 0.61 GB
… max_total_num_tokens=8827, chunked_prefill_size=4096, max_prefill_tokens=16384, max_running_requests=48, context_len=40960, available_gpu_mem=1.19 GB

چهار خط از لاگ راه‌اندازی. برچسب‌های زمانی حذف شده‌اند.

همین شروع کار نشان داد که لود کردن پیش‌نویس روی کارت‌های کوچک چه هزینه‌ای دارد. مدل هدف به‌تنهایی روی این کارت L4 استخری معادل 24,094 توکن در اختیار داشت. پس از لود شدن پیش‌نویس، این استخر به 8,827 توکن کاهش یافت؛ یعنی حدوداً 14 تا از درخواست‌های 640 توکنی ما. سرور پیمایش همزمانی روی همان کارت با حافظه‌ی آزاد بیشتری بالا آمد و ظرفیت استخر آن به 9,951 توکن رسید.

ما خروجی را با سه بذر (seed) به ازای هر سطح همزمانی از 1 تا 64، با در نظر گرفتن سرور BF16 به‌عنوان خط مبنا اندازه گرفتیم:

همزمانی میانه‌ی TPOT در خط مبنا میانه‌ی TPOT در EAGLE-3 توکن بر ثانیه‌ی خروجی در خط مبنا توکن بر ثانیه‌ی خروجی در EAGLE-3
1 32.52 میلی‌ثانیه 20.30 میلی‌ثانیه 29.14 40.93
8 102.21 میلی‌ثانیه 59.44 میلی‌ثانیه 74.11 97.06
32 201.91 میلی‌ثانیه 106.97 میلی‌ثانیه 150.66 228.78
64 254.06 میلی‌ثانیه 138.41 میلی‌ثانیه 235.38 276.32

طول پذیرش در تمام سطوح همزمانی بین 2.71 تا 2.74 توکن در هر گام باقی ماند. بهبود سرعت به ازای هر توکن در تمامی بارها 1.56 برابر یا بیشتر بود؛ این بهبود در همزمانی 32 به اوج خود یعنی 1.89 برابر رسید و در همزمانی 64 برابر با 1.84 بود.

در مدل ترکیبی از متخصصان، با افزایش اندازه دسته سود EAGLE-3 حفظ می‌شودروی GB10، دیکودینگ EAGLE-3 میانه زمان به ازای هر توکن را در همزمانی 1 به میزان 1.60 برابر و در همزمانی 32 به میزان 1.89 برابر کاهش داد.
در مدل ترکیبی از متخصصان، با رشد اندازه دسته سود EAGLE-3 حفظ می‌شود شتاب میانه زمان به ازای هر توکن خروجی با EAGLE-3 نسبت به پیش‌فرض BF16 برای Qwen3-30B-A3B روی GB10. این مقدار در همزمانی 1 برابر 1.60 و در همزمانی 2 برابر 1.56 است، در 32 به اوج 1.89 می‌رسد و در 64 برابر 1.84 است، در حالی که طول پذیرش نزدیک 2.7 توکن در هر گام باقی می‌ماند. x0 x1 x2 x3 1 2 4 8 16 32 64 حداکثر همزمانی (کلاینت بنچمارک) TPOT پیش‌فرض تقسیم بر TPOT مدل EAGLE-3 بدون بهبود x1.60 x1.56 x1.64 x1.72 x1.87 x1.89 x1.84 طول پذیرش 2.71 تا 2.74 توکن در هر گام در تمامی همزمانی‌ها شتاب EAGLE-3
خط، میانه TPOT خط مبنا تقسیم بر میانه TPOT مدل EAGLE-3 در هر سطح همزمانی است. خطچین گل‌بهی نشان‌دهنده عدم بهبود است. پانویس بازه طول پذیرش را نشان می‌دهد. برگرفته از capture/gpu/summary/gb10.json.

این خروجی برخلاف گزارش کارت A6000 در بالا است و ساختار مدل این تفاوت را توجیه می‌کند. یک مدل متراکم (dense) در هر گام تمام وزن‌های خود را می‌خواند و دسته‌های بزرگ‌تر از قبل توان مازاد پردازشی را مصرف می‌کنند. اما یک مدل آمیزه‌ای از متخصصان (MoE) فقط آن دسته از متخصصانی را می‌خواند که توکن‌های همان گام انتخاب کرده‌اند. گام راستی‌آزمایی چهار موقعیت مکانی برای هر درخواست را با همان وزن‌های متخصصی ارزیابی می‌کند که از قبل برای آن گام خوانده شده است. این برداشت ما است که روی یک مدل و یک GPU اندازه گرفتیم.

در اینجا سقف تعیین‌شده محدودیت اصلی است. در همزمانی 64، نرخ پردازش همچنان بالاتر از خط مبنا بود: 276.32 در برابر 235.38 توکن بر ثانیه. با این حال میانه‌ی زمان تا اولین توکن به 7,772 میلی‌ثانیه رسید (در برابر 557 میلی‌ثانیه). سرور تنها 48 درخواست را می‌پذیرد و 16 درخواست دیگر در صف منتظر ماندند.

نتایج آزمایش‌های ما روی کارت 24 گیگابایتی L4

همین آزمون پیمایشی را با مدل متراکم Qwen/Qwen3-8B و پیش‌نویس Tengyunw/qwen3_8b_eagle3 روی یک کارت L4 تکرار کردیم. سرور پیش‌فرض در تاریخ 16-10-2026 و سرور EAGLE-3 در تاریخ 17-10-2026 اجرا شدند که هر دو میانه‌ی فرکانس ساعت کاری 1,080 مگاهرتز یا بالاتر داشتند. این‌بار متغیر محیطی را تنظیم کردیم، کاری که پیمایش برای همه‌ی سرورهای EAGLE-3 انجام می‌دهد.

استخر سرور EAGLE-3 روی L4 capture/gpu/out-l4/server-load-eagle3.log
… KV Cache is allocated. dtype: torch.bfloat16, #tokens: 9951, K size: 0.68 GB, V size: 0.68 GB
… max_total_num_tokens=9951, chunked_prefill_size=4096, max_prefill_tokens=16384, max_running_requests=48, context_len=40960, available_gpu_mem=1.23 GB

خطوط راه‌اندازی از لاگ سرور در پیمایش پارامترها. برچسب‌های زمانی حذف شده‌اند.

اندازه‌گیری ما استخری معادل 9,951 توکن را در برابر 24,094 توکن بدون پیش‌نویس نشان داد. این استخر گنجایش حدود 15 درخواست 640 توکنی ما را دارد، یعنی کمتر از سقف 48 عددی.

همزمانی میانه‌ی TPOT پیش‌فرض میانه‌ی TPOT در EAGLE-3 توکن بر ثانیه‌ی خروجی پیش‌فرض توکن بر ثانیه‌ی خروجی در EAGLE-3
1 60.16 میلی‌ثانیه 25.61 میلی‌ثانیه 13.42 31.81
8 66.01 میلی‌ثانیه 35.58 میلی‌ثانیه 112.62 181.55
32 96.18 میلی‌ثانیه 43.82 میلی‌ثانیه 270.11 269.42
64 107.42 میلی‌ثانیه 51.50 میلی‌ثانیه 250.85 245.34

طول پذیرش در تمامی سطوح همزمانی بین 2.73 تا 2.74 توکن در هر گام ماند. سرعت خروج هر توکن در تمام بارها 1.6 تا 2.3 برابر سریع‌تر بود. با این حال، از همزمانی 32 به بعد، سرور خروجی توکن بر ثانیه‌ای بیشتر از حالت پیش‌فرض ارائه نداد.

روی کارت 24 گیگابایتی هر توکن سریع‌تر شد، اما سرور سریع‌تر نشدروی L4، دیکودینگ EAGLE-3 در همزمانی 1 نرخ پردازش خروجی را 2.37 برابر کرد و در 32 به 1.00 برابر رساند.
روی کارت 24 گیگابایتی هر توکن سریع‌تر شد، اما سرور نه دو نسبت برای Qwen3-8B با EAGLE-3 در مقایسه با پیش‌فرض BF16 روی یک NVIDIA L4، با سه سید تصادفی برای هر نقطه. زمان به ازای هر توکن خروجی در تمام سطوح همزمانی حدوداً نصف باقی می‌ماند. نرخ پردازش خروجی در همزمانی 1 به میزان 2.37 برابر بالاتر است و در 32 به 1.00 و در 64 به 0.98 افت می‌کند، زیرا استخر KV از 24٬094 به 9٬951 توکن کاهش یافته است. x0 x1 x2 x3 1 2 4 8 16 32 64 حداکثر همزمانی نسبت بدون بهبود x2.37 x1.00 x0.98 زمان هر توکن، پیش‌فرض به EAGLE-3 توکن خروجی/ثانیه، EAGLE-3 به پیش‌فرض
رنگ بنفش، TPOT پیش‌فرض تقسیم بر TPOT مدل EAGLE-3 است. رنگ سبزآبی، نرخ پردازش خروجی EAGLE-3 تقسیم بر پیش‌فرض است. خطچین گل‌بهی عدم بهبود را نشان می‌دهد. از capture/gpu/summary/l4.json.

استخر حافظه این تفاوت را توجیه می‌کند. با وجود 15 درخواست در استخر، بقیه‌ی درخواست‌ها منتظر جایگاه (slot) ماندند. در همزمانی 32، میانه‌ی زمان تا اولین توکن با فعال بودن EAGLE-3 معادل 8,040 میلی‌ثانیه شد و بدون آن 2,970 میلی‌ثانیه بود. روی کارتی که استخر KV محدودیت اصلی است، پیش‌نویس حافظه‌ای را مصرف می‌کند که دسته به آن نیاز دارد.

محدودیت‌های نتایج این آزمایش

هر دو تست بالا از مجموعه‌داده‌ی random در کلاینت بنچمارک با 512 توکن ورودی، 128 توکن خروجی و فعال بودن ignore_eos استفاده کردند. این مجموعه‌داده در نسخه‌ی v0.5.22 نخستین نوبت گفت‌وگوی (turn) مکالمات ShareGPT را می‌گیرد و آن را به 512 توکن برش می‌دهد یا تکرار می‌کند {{code}}. متنی واقعی است، اما ترافیک شما نیست.

تیم‌های دیگر متوجه شدند که تست‌هایی مانند آزمایش ما می‌توانند دستاوردها را بیش از حد بزرگ نشان دهند. ما این تاثیرات را خودمان اندازه نگرفتیم:

  • مطالعه‌ی بنچمارک SPEED-Bench که در سال 2026 توسط پژوهشگران NVIDIA انجام شد نشان داد پرامپت‌های ساختگی، نرخ پردازش حدسی را به‌طور میانگین 23 درصد بیشتر برآورد می‌کنند. همچنین نشان داد که با بزرگ‌تر شدن دسته، بهترین طول پیش‌نویس به 1 کاهش می‌یابد.
  • همین مطالعه نشان داد شناسه‌های توکن تصادفی موجب بلااستفاده ماندن 20 تا 30 درصد از متخصصان در برخی لایه‌های مدل هدف MoE می‌شوند.
  • مطالعه‌ی Test-Time Speculation در سال 2026 روی EAGLE-3 و سایر پیش‌نویس‌ها دریافت که با طولانی‌تر شدن پاسخ، طول پذیرش افت می‌کند. در پاسخ‌های مسائل MATH که طولشان به 20,000 توکن نزدیک می‌شد، طول پذیرش از حدود 3.7 به حدود 1.5 رسید.
  • پژوهشی در سال 2025 با بررسی بنچمارک‌های سروینگ، دیکودینگ حدسی را با خط مبنا مقایسه کرد. میانه‌ی TPOT حدود 1.3 برابر کمتر (بهتر) شد، اما مقدار P99 TPOT حدود 1.16 برابر افزایش یافت. همچنین زمان TTFT بالا رفت چون پیش‌نویس خودش پیش‌پرکنی (prefill) جداگانه‌ای را اجرا می‌کند.

بنابراین دستاوردهای ما برای 128 توکن تولیدشده بدون در نظر گرفتن توکن پایانی، روی پرامپت‌های آزمون ما صادق است. آن‌ها میزان سودمندی را روی پاسخ‌های گفت‌وگویی بلند یا ردگیری محاسبات (reasoning traces) پیش‌بینی نمی‌کنند. برداشت ما از نتایج کارت GB10 نیز به این بستگی دارد که توکن‌های واقعی چطور متخصصان را انتخاب می‌کنند و ما مسیریابی (routing) را اندازه نگرفتیم.

پرامپت‌های واقعی روی کارت L4

در تاریخ 23-10-2026 همین پیمایش L4 را روی چهار مجموعه‌داده تکرار کردیم: مجموعه‌ی تصادفی، ShareGPT، پرسش‌های GSM8K و پرامپت‌های کد. فرکانس ساعت کاری روی 900 مگاهرتز قفل شد، کش قبل از هر اجرا تخلیه شد و برای هر نقطه دو بذر داشتیم.

دیکودینگ حدسی روی چهار مجموعه داده، Qwen3-8B روی SGLang 0.5.22، کارت L4 ما در فرکانس 900 MHz capture/gpu/out-l4/spec-real-prompts.txt
median TPOT at 8 users: default / EAGLE3 / NGRAM
random     67.6 to 68.2 / 33.8 to 39.4 / 68.2 to 71.4 ms
ShareGPT   66.4 to 68.6 / 39.5 to 43.1 / 69.5 to 72.4 ms
GSM8K      65.5 / 33.3 to 34.3 / 54.6 to 55.0 ms
code       65.9 to 66.4 / 36.8 / 58.2 to 58.8 ms
…
output tok/s at 32 users: default / EAGLE3 / NGRAM
random     250 to 254 / 239 to 242 / 236 to 250
ShareGPT   281 to 288 / 277 to 283 / 245 to 256
GSM8K      397 / 648 to 660 / 433 to 435
code       365 to 366 / 566 to 581 / 377 to 386
…

زمان به ازای هر توکن در 8 کاربر و خروجی در 32 کاربر. خطوط پذیرش و یادداشت‌ها حذف شده‌اند.

الگوریتم EAGLE-3 در بار 8 کاربر روی تمام مجموعه‌داده‌ها زمان به ازای هر توکن را تقریباً نصف کرد و طول پذیرش بین 2.35 تا 2.78 به دست آمد. در 32 کاربر، برای GSM8K و کد نرخ خروجی 1.6 برابر شد. اما روی مجموعه‌ی تصادفی و ShareGPT خروجی بیشتری تولید نکرد. در آنجا اولین توکن 2 تا 3 برابر دیرتر رسید، چون پیش‌نویس فضای استخری را گرفت که صف به آن نیاز داشت.

روش NGRAM فقط روی GSM8K و کد کمک کرد؛ حدود 1.1 تا 1.2 برابر در 8 کاربر. روی دو مجموعه‌ی دیگر کندتر بود و تاخیر بین توکن‌ها در صدک نودونهم (P99 ITL) آن به 244 تا 779 میلی‌ثانیه رسید. در نتیجه، مجموعه‌داده بیش از آنچه مجموعه‌ی تصادفی نشان می‌دهد خروجی را تغییر داد. حتماً سیستم را با ترافیک خودتان ارزیابی کنید.

تغییرات طول پذیرش در طول یک پاسخ بلند

ما ادعای پژوهش Test-Time Speculation را روی پاسخ‌های کوتاه‌تر بررسی کردیم. در تاریخ 23-10-2026 مدل Qwen/Qwen3-8B-FP8 را با پیش‌نویس EAGLE-3، با 3 گام، top-k برابر 1 و 4 توکن پیش‌نویس آزمودیم. این تست روی کارت دوم سرور L4 ما که مشترکاً استفاده می‌شد و قفل فرکانس کلاک نداشت اجرا شد. هر یک از 8 پرامپت با قابلیت تفکر فعال (thinking on)، به‌صورت حریصانه، تک‌کاربره و تا سقف 4,096 توکن اجرا شدند. مقدار spec_verify_ct پس از پاسخ‌های 256، 512، 1,024، 2,048 و 4,096 توکنی خوانده شد.

میانگین طول پذیرش بر اساس موقعیت در پاسخ capture/gpu/out-l4/eagle3-acceptance-by-position.txt
segment of the output   SGLang                 vLLM
0 to 256                2.05 to 2.64 (8)       2.14 to 2.51 (8)
256 to 512              1.95 to 2.64 (8)       2.09 to 2.55 (8)
512 to 1,024            2.11 to 2.77 (8)       2.12 to 2.79 (8)
1,024 to 2,048          2.09 to 2.47 (5)       1.72 to 2.66 (5)
2,048 to 4,096          2.33 and 2.48 (2)      2.35 and 2.60 (2)

بازه میان پرامپت‌ها، همراه با تعداد پرامپت‌هایی که به هر بخش رسیده‌اند در کروشه. ستون vLLM از همان پرامپت‌ها روی vLLM 0.31.0 به دست آمده است.

تا 4,096 توکن، طول پذیرش افت مداومی نشان نداد. این مقدار در هر دو موتور روی حدود 2.1 تا 2.8 توکن به ازای هر گام راستی‌آزمایی ماند. از 8 پرامپت، تنها 2 مورد قبل از توکن پایان از مرز 2,048 توکن عبور کردند، در نتیجه بخش آخر متکی بر دو پاسخ است. فرکانس ساعت کاری روی سرعت اثر دارد و نه روی پذیرش. سقف 4,096 توکن ما نیز ناشی از حافظه‌ای بود که می‌توانستیم روی آن GPU استفاده کنیم؛ بنابراین آزمون ما به بازه‌ی بررسی‌شده در آن پژوهش نرسید.

در آزمایشی دیگر، مدل Qwen/Qwen3-8B در حالت BF16 با 8 کاربر، با پاسخ‌های حداکثر 2,048 توکنی و بدون نادیده گرفتن توکن پایان (بدون ignore-eos) سنجیده شد. میانه‌ی پاسخ‌ها 1,800 تا 2,000 توکن بود.

میزان پذیرش EAGLE3 در پاسخ‌های حدوداً 2٬000 توکنی، 8 کاربر capture/gpu/out-l4/eagle3-long-outputs.txt
engine          dataset    mean acceptance length   accepted per draft position 1 / 2 / 3
SGLang EAGLE3   GSM8K      2.68
SGLang EAGLE3   ShareGPT   2.32
vLLM EAGLE3     GSM8K      2.69                     0.77 / 0.54 / 0.38
vLLM EAGLE3     ShareGPT   2.35                     0.67 / 0.42 / 0.26

جدول فایل. مقایسه با خروجی‌های کوتاه حذف شده است.

در پاسخ‌های کوتاه در همان نشست (session)، سامانه‌ی SGLang به 2.69 تا 2.78 روی GSM8K و 2.33 تا 2.43 روی ShareGPT رسید. پاسخ‌های بلند آن با حداکثر 0.01 اختلاف در همان بازه‌ها ماندند. برای پاسخ‌های کوتاه آماری از vLLM در این نشست نداریم، بنابراین سطرهای آن فقط سطح عملکرد در پاسخ‌های بلند را نشان می‌دهند.

موضع ما

دیکودینگ حدسی را ابزاری برای کاهش تاخیر در بارهای با همزمانی کم و متوسط بدانید. این قابلیت را برای ترافیک تعاملی با تعداد کاربر کم به ازای هر نمونه (replica) روشن کنید. برای کارهای دسته‌ای پردازش داده (batch jobs) و همزمانی بالا روی کارتی که استخر KV محدودیت اصلی است (مانند کارت L4 ما) آن را خاموش بگذارید. روی GB10 که استخر حافظه فضای خالی داشت، دیکودینگ حدسی در 64 کاربر همچنان نرخ پردازش را 1.17 برابر افزایش داد.

پیش از پذیرش این قاعده، نقطه‌ی تقاطع را روی مدل خودتان بسنجید. در مدل متخصصی (MoE) بالا، روش حدسی تا همزمانی 32 روی کارت GB10 همچنان بهتر بود. در مدل متراکم روی L4، در همزمانی 32 هیچ برتری‌ای در نرخ پردازش نداشت، زیرا مدل پیش‌نویس نزدیک به 60 درصد از استخر را مصرف کرده بود. این مورد را با پرامپت‌ها و طول خروجی‌های واقعی خود و بر اساس موارد ذکرشده در بخش «چه چیزهایی را باید سنجید» ارزیابی کنید.

همیشه در صورت روشن بودن دیکودینگ حدسی، مقدار پرچم --max-running-requests را خودتان دستی تعیین کنید. این سقف را بر اساس همزمانی‌ای مشخص کنید که پیمایش شما نشان می‌دهد روش حدسی در آن همچنان عملکرد بهتری دارد.

در وهله‌ی اول از لایه‌های پیش‌نویسی استفاده کنید که همراه با خود مدل عرضه می‌شوند. مدلی که لایه‌های پیش‌بینی چندتوکنی در چک‌پوینت خود دارد نیازی به دانلود فایل اضافی ندارد. برای EAGLE-3 مطمئن شوید مدل پیش‌نویس از طول پرامپت‌های شما پشتیبانی می‌کند، و در صورتی که نرخ پذیرش پایین بود یک پیش‌نویس بر اساس داده‌های ترافیکی خودتان آموزش دهید. تیم‌های Google Cloud {{team Google Cloud 2025-11}} و Modal با همکاری Decagon {{team Modal 2025-11}} هر دو پیش‌نویس‌های اختصاصی خود را آموزش دادند. Modal گزارش کرد که طول پذیرش نسبت به پیش‌نویس‌های متن‌باز 38% بیشتر بوده است. البته هر دو گزارش از سوی ارائه‌دهندگان تجاری است.

رخدادها

دیکودینگ حدسی یک آزمون فشار را کندتر کرد. گزارش اشکال شماره‌ی 5274 (11-04-2025): مدل EAGLE-3 روی کارت A6000 نرخ پردازش را در همزمانی 20 از 217.8 به 164.4 توکن بر ثانیه کاهش داد. با این حال سرعت دسته‌ی 1 را از 42.0 به 92.5 توکن بر ثانیه رساند. راه‌حل این بود که دیکودینگ حدسی فقط در دسته‌های کوچک اجرا شود.

مدل پیش‌نویس توان خواندن پرامپت‌های بلند را نداشت. گزارش اشکال شماره‌ی 6783 (30-05-2025): مدل Llama-3.3-70B در حالت FP8 با پیش‌نویس EAGLE-3 در ورودی 1k طول پذیرش 3.2، در 3k مقدار 1.6 و در 10k مقدار 1.2 را ثبت کرد. در ورودی 10k خروجی آن به 63.9 توکن بر ثانیه رسید، در حالی که بدون دیکودینگ حدسی این رقم 102.7 بود. پیکربندی پیش‌نویس 2,048 موقعیت مکانی داشت و فاقد مقیاس‌پذیری RoPE بود. با افزودن مقیاس‌پذیری RoPE مربوط به Llama 3 و تنظیم موقعیت‌ها روی 131,072، مشکل برطرف شد.

یک باگ در لودر، وزن‌های متخصص را پنهان می‌کرد. دیوید نوئل نگ {{field David Noel Ng 2026-08}} متوجه شد SGLang روی مدل DeepSeek-V4-Flash کندتر از vLLM عمل می‌کند. طول پذیرش بین 1.3 تا 1.8 توکن بود و تنها یک هشدار در لاگ دلیل آن را نشان می‌داد: لودر پیش‌نویس هرگز وزن‌های مشترک متخصصان را در جایگاه (slot) ادغام‌شده نگاشت نکرده بود. پس از رفع این ایراد به‌صورت محلی، رمزگشایی از 115.7 به 176.0 توکن بر ثانیه جهش کرد و این تغییر در PR شماره‌ی 33276 به مخزن اصلی اضافه شد.

ترجمه‌ی فارسی --speculative-algorithm از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما