این صفحه به بررسی نحوهی پیشنهاد پیشنویس، اعتبارسنجی و پذیرش آن میپردازد.
دیکودینگ حدسی (Speculative Decoding) نوید تولید توکنهای بیشتری را در هر گام میدهد، آن هم بدون کوچکترین تغییری در خروجی. با پایان این بخش، متوجه میشوید vLLM چگونه پای این قول میایستد و چرا با بزرگتر شدن دسته (batch)، این بهبود سرعت کمتر میشود.
حدس بزن، سپس بررسی کن
یک گام رمزگشایی (decode) روی دستهای کوچک، تمام وزنها را میخواند تا فقط یک توکن برای هر درخواست تولید کند. در این وضعیت، بخش زیادی از GPU حین انتظار برای واکشی دادهها از حافظه بیکار میماند. دیکودینگ حدسی دقیقاً از همین زمان بیکاری استفاده میکند.
یک پیشنهاددهندهی کمهزینه چند توکن بعدی را حدس میزند. سپس مدل هدف (target model) یک بار روی تمام حدسها اجرا میشود و توزیع آماری خودش را در تکتک جایگاهها محاسبه میکند. در ادامه، یک نمونهگیر با رد (rejection sampler) حدسها را به ترتیب میسنجد: هر حدسی را که توزیع مدل هدف تأیید کند نگه میدارد و بهمحض رسیدن به اولین حدس ردشده، یک توکن درست از مدل هدف نمونهگیری کرده و متوقف میشود. بنابراین، هر گام دستکم یک توکن و حداکثر به اندازهی «تعداد حدسها بهعلاوهی یک» توکن تولید میکند.
همین سازوکار اعتبارسنجی است که خروجی را کاملاً یکسان نگه میدارد. در نمونهگیری حریصانه (greedy sampling)، حدس پیشنهادی تنها زمانی میماند که دقیقاً برابر با برترین توکن مدل هدف باشد. در نمونهگیری تصادفی (random sampling) نیز قاعدهی رد کردن طوری چیده شده که توزیع خروجی دقیقاً برابر با توزیع مدل هدف بماند.
انواع پیشنهاددهندهها
نسخهی 0.31.0 فریمورک vLLM چند نوع پیشنهاددهنده دارد که با آرگومان --speculative-config تنظیم میشوند:
| روش | خاستگاه حدسها |
|---|---|
ngram |
متنهای قبلی در همان پرامپت که با چند توکن آخر همخوانی دارند |
suffix |
یک درخت پسوندی (suffix tree) روی پرامپتها و پاسخهای قبلی |
eagle، eagle3 |
یک هد (head) پیشنویس کوچک که وضعیتهای پنهان (hidden states) مدل هدف را میخواند |
*_mtp |
هدهای پیشبینی اضافی که همراه برخی مدلها مثل DeepSeek عرضه میشوند |
draft_model |
یک مدل کوچک و مجزا |
روشهای مبتنی بر N-gram و درخت پسوندی تقریباً هزینهای ندارند و زمانی که پاسخ، بخشهایی از پرامپت را تکرار میکند (مانند ویرایش کد) بسیار کارآمدند. هدهای پیشنویسی مثل EAGLE3 نیازمند هدی آموزشدیده برای مدل شما هستند و برای متون آزاد و باز کمککنندهاند. برای مدل Qwen/Qwen3-8B، یک هدِ عمومی EAGLE3 با یک لایه و دایرهواژگان پیشنویس شامل 32,000 توکن وجود دارد.
چرا با افزایش بار، این بهبود سرعت افت میکند؟
زمان بیکاریِ پردازندهی گرافیکی که روشهای حدسی از آن استفاده میکنند، فقط تا زمانی وجود دارد که گام رمزگشایی بیش از محاسبات، دادهها را از حافظه بخواند. با بزرگتر شدن دسته، پردازش به ازای هر بایت محاسبات بیشتری انجام میدهد و آن زمان بیکاری از بین میرود. در چنین حالتی، بررسی حدسهای ردشده هزینهی پردازشی واقعی روی دست سیستم میگذارد. طبق مستندات vLLM، میزان سودمندی EAGLE در نرخ درخواستهای پایین، بالاست و در نرخهای بالا افت میکند.
حالت پویا (dynamic mode) دقیقاً بر پایهی همین موضوع عمل میکند: تعداد حدسها را بر اساس اندازهی دسته تنظیم میکند و در دستههای بزرگ حدس زدن را بهکلی کنار میگذارد. در نسخهی 0.31.0، نمونهی برخط (online) آن با اجراکنندهی مدل (model runner) قدیمیتر کار میکند.
شاخصهای مهم برای رصد
موتور پردازشی آمار توکنهای پیشنهادی و پذیرفتهشده را بیرون میدهد. بررسی نرخ پذیرش (acceptance rate) و میانگین تعداد توکنها در هر گام نشان میدهد پیشنهاددهنده روی متن شما چقدر دقیق حدس میزند. اگر نرخ پذیرش بالا باشد اما تغییری در زمان صرفشده برای هر توکن حس نشود، نشان میدهد پردازش دسته همین حالا هم متکی به توان پردازشی (compute-bound) شده است.
منابع: کدهای منبع vLLM در نسخهی v0.31.0 (فایلهای vllm/config/speculative.py ،vllm/v1/spec_decode/ و vllm/v1/sample/rejection_sampler.py)، مستندات vLLM در نسخهی v0.31.0 (بخش docs/features/speculative_decoding/) و پیکربندی مدل Tengyunw/qwen3_8b_eagle3.