مدل EAGLE3 در همروندیهای پایین سودبخش است؛ اما هرچه کاربران بیشتری یک گام را به اشتراک بگذارند، عمق پیشنویس بهصرفه کاهش مییابد.
کاربران شما در بارهای سبک، منتظر پاسخهای طولانی میمانند. با پایان این بخش، میتوانید عمق پیشنویس (draft depth) مناسب با میزان همروندی خود را انتخاب کنید.
نتیجهی آزمایش ما: روی پردازندهی L4 با کلاک قفلشده، EAGLE3 با عمق 3 در 32 کاربر، روی پرامپتهای تصادفی با خروجی 128 توکن، خروجی را به 1.6 برابر خط مبنا (baseline) رساند.
فعالسازی
روش EAGLE3 یک مدل پیشنویس (draft model) کوچک اضافه میکند که توکنهای بعدی را بر اساس وضعیتهای پنهان (hidden states) مدل هدف حدس میزند. همانطور که در صفحهی دیکودینگ حدسی توضیح داده شده است، مدل هدف این حدسها را طی یک رفتوبرگشت بررسی میکند. مدل هدف تنها حدسهایی را نگه میدارد که خودش هم همانها را تولید میکرد.
به مدلی پیشنویس نیاز دارید که برای مدل هدف شما آموزش دیده باشد. ما برای Qwen/Qwen3-8B از مدل Tengyunw/qwen3_8b_eagle3 استفاده کردیم:
vllm serve Qwen/Qwen3-8B \
--speculative-config '{"method": "eagle3", "model": "Tengyunw/qwen3_8b_eagle3", "num_speculative_tokens": 3}'
پارامتر num_speculative_tokens همان عمق پیشنویس است: تعداد توکنهایی که مدل پیشنویس در هر گام حدس میزند. اگر آن را تعیین نکنید، vLLM در صورت وجود مقدار در فایل تنظیمات مدل پیشنویس، آن را از آنجا میخواند. پیشنهاد میشود خودتان آن را صریح مشخص کنید تا دقیقاً بدانید چه چیزی در حال اجرا است.
روش EAGLE3 زمانبندی ناهمگام (async scheduling) را فعال نگه میدارد. در صفحهی زمانبندی ناهمگام روشهایی که این قابلیت را غیرفعال میکنند فهرست شدهاند.
اهمیت عمق پیشنویس
پیشنویس عمیقتر میتواند در هر گذر مدل هدف، توکنهای بیشتری ارائه دهد. اما بررسی هر حدس هم بار پردازشی دارد. با یک کاربر، پردازندهی گرافیکی در هر گام ظرفیت پردازشی مازاد دارد؛ بنابراین بررسی حدسهای اضافی عملاً بدون هزینه است. اما با کاربران متعدد، هر گام محاسباتی از قبل پر است و حدسهای اشتباه، توان محاسباتی را از توکنهای واقعی میگیرند.
نتایج آزمایشهای ما
ما عملکرد EAGLE3 را در عمقهای 1، 3 و 5 در مقایسه با حالت بدون دیکودینگ حدسی روی پردازندهی L4 با مدل Qwen/Qwen3-8B در تاریخ 2026-10-22 اندازهگیری کردیم. این آزمون در نشست با کلاک قفلشده روی 900 مگاهرتز انجام شد و 1 و 32 کاربر را با دو سید (seed) مختلف برای هر کدام اجرا کردیم. پرامپتها از دیتاست تصادفی ابزار بنچمارک با 512 توکن ورودی و 128 توکن خروجی تأمین شدند.
| کاربران، نشست قفلشدهی L4 | پیکربندی | میانهی TPOT | خروجی (tok/s) | میانهی کلاک SM |
|---|---|---|---|---|
| 32 | بدون دیکودینگ حدسی | 119.9 میلیثانیه | 208.8 | 881 مگاهرتز |
| 32 | عمق 1 | 100.4 میلیثانیه | 271.1 | 900 مگاهرتز |
| 32 | عمق 3 | 77.8 میلیثانیه | 333.6 | 900 مگاهرتز |
| 32 | عمق 5 | 83.7 میلیثانیه | 289.5 | 885 مگاهرتز |
| 1 | عمق 1 | 39.4 میلیثانیه | 22.4 | 900 مگاهرتز |
| 1 | عمق 3 | 27.8 میلیثانیه | 31.3 | 900 مگاهرتز |
| 1 | عمق 5 | 26.2 میلیثانیه | 31.7 | 900 مگاهرتز |
در 32 کاربر، عمق 3 به خروجی 1.6 برابری در مقایسه با حالت بدون دیکودینگ حدسی رسید. بازهی سیدهای آن با هیچ پیکربندی دیگری همپوشانی (overlap) نداشت. عمق 5 خروجی کمتری نسبت به عمق 3 داد؛ یعنی هزینهی حدسهای اضافی بیشتر از بازدهی آنها شد.
در یک کاربر، عمق 3 زمان تولید هر توکن را در مقایسه با عمق 1 از 39.4 به 27.8 میلیثانیه کاهش داد. عمق 5 خروجی تقریباً برابری با عمق 3 ثبت کرد و بازهی سیدهای آنها با هم همپوشانی داشتند.
اجرای بدون دیکودینگ حدسی در یک کاربر تا 210 مگاهرتز افت کرد که زیر حد قفلشده بود. قفل کلاک صرفاً سقف فرکانس را تعیین میکند و نمیتواند مانع از افت کلاک ناشی از گرما یا بار کم (throttling) پردازندهی گرافیکی شود. بنابراین، در یک کاربر EAGLE3 را با حالت بدون دیکودینگ حدسی مقایسه نمیکنیم.
از این اجراها دادههای مربوط به پذیرش توکن جمعآوری نشد؛ در نتیجه معیاری برای طول پذیرش در اینجا ارائه نمیدهیم.
میانهی TPOT کاهش یافت، اما فاصلهی بین دستههای توکن بیشتر شد. در 32 کاربر، میانهی زمان بین توکنها (ITL) از 84 میلیثانیه در حالت بدون دیکودینگ حدسی، به 133 میلیثانیه در عمق 3 رسید. اکنون هر گام چند توکن را همزمان ارسال میکند؛ در نتیجه جریان توکنها در دستههای بزرگتر ولی با بسامد کمتر دریافت میشود.
محدودیتهای نتایج این آزمایش
بهبود کارایی بهدستآمده مربوط به پرامپتهای تصادفی با خروجیهای 128 توکنی است. تیمهای دیگر دریافتهاند که ترافیک واقعی ممکن است سود کمتری به همراه داشته باشد. ما این موارد را مستقیماً اندازهگیری نکردیم:
- مقالهی سال 2026 با عنوان «SPEED-Bench: A Unified and Diverse Benchmark for Speculative Decoding» از پژوهشگران NVIDIA نشان داد که پرامپتهای ساختگی، نرخ پردازش (throughput) دیکودینگ حدسی را در مقایسه با پرامپتهای واقعی بیش از حد بالا برآورد میکنند. همچنین نشان داد که بهترین عمق پیشنویس بر اساس اندازهی دسته (batch size) تغییر میکند.
- مقالهی سال 2026 با عنوان «Test-Time Speculation» عملکرد EAGLE-3 و سایر روشهای پیشنویس را روی پاسخهای ریاضی (MATH) تا حدود 20,000 توکن بررسی کرد. در طول این پاسخها، طول پذیرش از حدود 3.7 به حدود 1.5 کاهش یافت.
بنابراین، بهبود در پاسخهای کوتاه و تصادفی نشاندهندهی بهبود در پاسخهای طولانی چت یا ردگیری محاسبات (reasoning traces) نیست.
بررسی طول پذیرش در پاسخهای طولانی
در تاریخ 2026-10-23، طول پذیرش را نسبت به موقعیت در پاسخ اندازهگیری کردیم. از مدل Qwen/Qwen3-8B-FP8 همراه با پیشنویس EAGLE3 و 3 توکن حدسی، روی پردازندهی گرافیکی دومِ نود L4 استفاده کردیم. هر یک از 8 پرامپت با تفکر فعال (thinking on)، به شیوهی حریصانه (greedy)، با یک کاربر و تا سقف 4,096 توکن اجرا شدند.
segment of the output SGLang vLLM
0 to 256 2.05 to 2.64 (8) 2.14 to 2.51 (8)
256 to 512 1.95 to 2.64 (8) 2.09 to 2.55 (8)
512 to 1,024 2.11 to 2.77 (8) 2.12 to 2.79 (8)
1,024 to 2,048 2.09 to 2.47 (5) 1.72 to 2.66 (5)
2,048 to 4,096 2.33 and 2.48 (2) 2.35 and 2.60 (2)بازه میان پرامپتها، همراه با تعداد پرامپتهایی که به هر بخش رسیدهاند در کروشه. ستون SGLang از همان پرامپتها روی SGLang 0.5.22 به دست آمده است.
تا سقف 4,096 توکن، طول پذیرش افت پیوستهای نداشت. در هر دو موتور، این مقدار روی حدود 2.1 تا 2.8 توکن در هر گام باقی ماند. تنها 2 پرامپت از 8 پرامپت بیش از 2,048 توکن تولید کردند؛ بنابراین بخش انتهایی نمودار صرفاً بر پایهی دو پاسخ است. این پردازندهی گرافیکی اشتراکی بود و کلاک قفلشده نداشت؛ این موضوع سرعت را تغییر میدهد اما تأثیری بر پذیرش ندارد. سقف 4,096 توکن ناشی از حافظهی در دسترس روی آن پردازندهی گرافیکی بود؛ در نتیجه به محدودهی بررسیشده در مقاله نرسیدیم.
آزمون دوم در تاریخ 2026-10-23 با مدل Qwen/Qwen3-8B در فرمت BF16 روی پردازندهی اول نود انجام شد. این آزمون با 8 کاربر، با پاسخهایی تا سقف 2,048 توکن و بدون ignore-eos اجرا شد. میانهی پاسخها بین 1,800 تا 2,000 توکن بود. مقدار پذیرش از شمارندههای vLLM قبل و بعد از هر اجرا به دست آمد:
engine dataset mean acceptance length accepted per draft position 1 / 2 / 3
SGLang EAGLE3 GSM8K 2.68
SGLang EAGLE3 ShareGPT 2.32
vLLM EAGLE3 GSM8K 2.69 0.77 / 0.54 / 0.38
vLLM EAGLE3 ShareGPT 2.35 0.67 / 0.42 / 0.26جدول فایل. مقایسه با خروجیهای کوتاه حذف شده است.
نخستین توکن پیشنویس در دیتاست GSM8K در 77 درصد مواقع و در ShareGPT در 67 درصد مواقع پذیرفته شد؛ و هر موقعیتِ بعدی درصد کمتری ثبت کرد. در همان نشست، برای پاسخهای کوتاه 128 توکنی، SGLang به 2.69 تا 2.78 در GSM8K و 2.33 تا 2.43 در ShareGPT رسید. پاسخهای طولانی آن در فاصلهی 0.01 از همین محدودهها باقی ماندند. از این نشست، دادهای برای پذیرش پاسخهای کوتاه در vLLM ثبت نشد؛ بنابراین ردیفهای مربوط به vLLM فقط سطح پاسخهای طولانی را نشان میدهند.
پیش از آنکه به ارقام بهبود اعتماد کنید، نرخ پذیرش را روی پاسخهای طولانی خودتان بسنجید. معیارهای پایان این صفحه همین کار را انجام میدهند.
قفل کردن کلاک پیش از مقایسه
در نخستین اجراهای ما با EAGLE3 کلاک قفل نشده بود. در حالت یک کاربر، اجرای بدون دیکودینگ حدسی روی 210 مگاهرتز کار کرد و اجرای EAGLE3 روی حدود 1,400 مگاهرتز بود. چنین اختلاف بزرگی اثر دیکودینگ حدسی را میپوشاند؛ بنابراین آن اجراها را کنار گذاشتیم.
پیش از مقایسهی دیکودینگ حدسی با حالت عادی، کلاک را قفل کنید یا مقدار آن را در هر اجرا ثبت نمایید. تنها دو اجرایی را با هم مقایسه کنید که روی کلاک یکسان انجام شده باشند. قفل کردن کلاک به دسترسی ریشه (root) نیاز دارد:
sudo nvidia-smi -lgc 900,900
sudo nvidia-smi -rgc
دستور اول کلاک SM را روی 900 مگاهرتز قفل میکند و دستور دوم پس از پایان اجراها قفل را آزاد میکند.
انتخاب عمق
- برای Qwen3-8B با این پیشنویس، کار را با عمق 3 شروع کنید. روی L4 ما، این عمق بهترین خروجی را در 32 کاربر داد و در حالت یک کاربر نیز همسطح بهترین بود.
- برای سرورهای پربار، عمقهای مختلف را روی مدل اختصاصی خود بسنجید. روی L4 ما، عمق 5 در 32 کاربر با افت خروجی مواجه شد.
- اگر بار کاری شما در طول روز نوسان زیادی دارد، vLLM میتواند عمق را بر اساس اندازهی دسته با
num_speculative_tokens_per_batch_sizeتنظیم کند. ما این مورد را بررسی نکردیم.
بررسی میزان بهبود روی پرامپتهای خودتان
نمونهای از ترافیک واقعی خود را با این پیکربندی و بدون آن اجرا کنید. طول خروجی واقعی خود را حفظ کنید و از --ignore-eos استفاده نکنید. این ارقام را با هم مقایسه کنید:
- نرخ پذیرش، بر اساس دو شمارندهی زیر.
- میانهی TPOT و نرخ پردازش خروجی.
- صدک 99 زمان بین توکنها (P99 ITL) و صدک 99 زمان تا اولین توکن (P99 TTFT)؛ چرا که بهبود در میانه میتواند افت کیفیت در دنبالهی توزیع (tail) را بپوشاند.
- نرخ پذیرش صرفاً در طولانیترین پاسخها، در صورتی که طول پاسخهای شما به چند هزار توکن میرسد.
این دو شمارنده را از /metrics بخوانید:
curl -s http://localhost:8000/metrics | grep -E "spec_decode_num_(draft|accepted)_tokens"
تعداد توکنهای پذیرفتهشده را بر توکنهای پیشنویس تقسیم کنید. علاوه بر این، vLLM یک خط با عنوان SpecDecoding metrics در لاگ درج میکند که میانگین طول پذیرش را دربردارد.
منابع: capture/gpu/summary/l4.json (شامل load.vllm-lock-b، load.vllm-lock-eagle3-k1، load.vllm-lock-eagle3-k3، load.vllm-lock-eagle3-k5 و اجراهای بدون قفل load.vllm-eagle3 و load.vllm-eagle3-k5)، کد منبع vLLM در نسخهی v0.31.0 (مسیرهای vllm/config/speculative.py و vllm/v1/spec_decode/metrics.py)، مستندات vLLM در نسخهی v0.31.0 (مسیرهای docs/features/speculative_decoding/eagle.md و docs/features/speculative_decoding/dynamic_speculative_decoding.md)، مقالهی SPEED-Bench: A Unified and Diverse Benchmark for Speculative Decoding (شناسهی arXiv 2604.09557، سال 2026)، مقالهی Test-Time Speculation (شناسهی arXiv 2605.09329، سال 2026)، capture/gpu/out-l4/eagle3-acceptance-by-position.txt و capture/gpu/out-l4/eagle3-long-outputs.txt.