بخش 8.7 · vLLM چگونه کار می‌کند

سازوکار اعتبارسنجی پیش‌نویس‌ها در دیکودینگ حدسی

How speculative decoding checks drafts

فهرست مطالب
  1. حدس بزن، سپس بررسی کن
  2. انواع پیشنهاددهنده‌ها
  3. چرا با افزایش بار، این بهبود سرعت افت می‌کند؟
  4. شاخص‌های مهم برای رصد

این صفحه به بررسی نحوه‌ی پیشنهاد پیش‌نویس، اعتبارسنجی و پذیرش آن می‌پردازد.

دیکودینگ حدسی (Speculative Decoding) نوید تولید توکن‌های بیشتری را در هر گام می‌دهد، آن هم بدون کوچک‌ترین تغییری در خروجی. با پایان این بخش، متوجه می‌شوید vLLM چگونه پای این قول می‌ایستد و چرا با بزرگ‌تر شدن دسته (batch)، این بهبود سرعت کمتر می‌شود.

حدس بزن، سپس بررسی کن

یک گام رمزگشایی (decode) روی دسته‌ای کوچک، تمام وزن‌ها را می‌خواند تا فقط یک توکن برای هر درخواست تولید کند. در این وضعیت، بخش زیادی از GPU حین انتظار برای واکشی داده‌ها از حافظه بیکار می‌ماند. دیکودینگ حدسی دقیقاً از همین زمان بیکاری استفاده می‌کند.

یک پیشنهاددهنده‌ی کم‌هزینه چند توکن بعدی را حدس می‌زند. سپس مدل هدف (target model) یک بار روی تمام حدس‌ها اجرا می‌شود و توزیع آماری خودش را در تک‌تک جایگاه‌ها محاسبه می‌کند. در ادامه، یک نمونه‌گیر با رد (rejection sampler) حدس‌ها را به ترتیب می‌سنجد: هر حدسی را که توزیع مدل هدف تأیید کند نگه می‌دارد و به‌محض رسیدن به اولین حدس ردشده، یک توکن درست از مدل هدف نمونه‌گیری کرده و متوقف می‌شود. بنابراین، هر گام دست‌کم یک توکن و حداکثر به اندازه‌ی «تعداد حدس‌ها به‌علاوه‌ی یک» توکن تولید می‌کند.

همین سازوکار اعتبارسنجی است که خروجی را کاملاً یکسان نگه می‌دارد. در نمونه‌گیری حریصانه (greedy sampling)، حدس پیشنهادی تنها زمانی می‌ماند که دقیقاً برابر با برترین توکن مدل هدف باشد. در نمونه‌گیری تصادفی (random sampling) نیز قاعده‌ی رد کردن طوری چیده شده که توزیع خروجی دقیقاً برابر با توزیع مدل هدف بماند.

یک گام تأییدیک گام مدل هدف، توکن‌های پیش‌نویس را تا نخستین رد نگه می‌دارد و یک توکن اضافه می‌کند، بنابراین یک درخواست واقعی حدود 1.8 توکن در هر گام تولید کرد.
یک گام تأیید، پیش‌نویس‌ها را تا نخستین رد، به‌علاوه یک توکن نگه می‌دارد بالا: یک پیشنهاددهنده سه توکن پیش‌نویس می‌کند، مدل هدف آن‌ها را در یک گام بررسی کرده، دو تای اول را نگه می‌دارد، سومی را رد می‌کند و یک توکن از خودش می‌افزاید. پایین: یک درخواست واقعی با Qwen3-8B روی L4 ما و EAGLE3 با سه پیش‌نویس در هر گام، 12 توکن نوشت. یک توکن از پیش‌پرکنی آمد و 11 توکن از 6 گام تأیید، که 5 مورد از 18 پیش‌نویس را نگه داشتند. قانون، بر اساس جایگاه پیش‌نویس 1 پیش‌نویس 2 پیش‌نویس 3 پذیرفته پذیرفته ردشده توکن هدف یک گام هدف، پیش‌نویس‌های پذیرفته‌شده و یک توکن از خودش را می‌نویسد. یک درخواست واقعی: Qwen3-8B روی L4 ما، EAGLE3، 3 پیش‌نویس Paris 12095 . 13 The 576 capital 6722 of 315 Italy 15344 is 374 Rome 21718 . 13 The 576 capital 6722 of 315 توکن 1 از پیش‌پرکنی آمد. 11 تای دیگر از 6 گام تأیید به دست آمدند. پیش‌نویس‌های پذیرفته‌شده در هر گام: 0 در 3 گام، 1 در 2 گام، 3 در 1 گام. بنابراین 5 مورد از 18 پیش‌نویس پذیرفته شد، حدود 1.8 توکن در هر گام.
نیمه بالایی قانون را بر اساس جایگاه نشان می‌دهد. نیمه پایینی یک درخواست واقعی Qwen3-8B روی L4 ما است که توسط SGLang با EAGLE3 سرو شده، یعنی همان قانونی که vLLM استفاده می‌کند. توکن‌های سبز از گام‌های تأیید آمده‌اند. از manuals/sglang-101/capture/gpu/out-l4/eagle3-generate.txt.

انواع پیشنهاددهنده‌ها

نسخه‌ی 0.31.0 فریم‌ورک vLLM چند نوع پیشنهاددهنده دارد که با آرگومان --speculative-config تنظیم می‌شوند:

روش خاستگاه حدس‌ها
ngram متن‌های قبلی در همان پرامپت که با چند توکن آخر همخوانی دارند
suffix یک درخت پسوندی (suffix tree) روی پرامپت‌ها و پاسخ‌های قبلی
eagle، eagle3 یک هد (head) پیش‌نویس کوچک که وضعیت‌های پنهان (hidden states) مدل هدف را می‌خواند
*_mtp هدهای پیش‌بینی اضافی که همراه برخی مدل‌ها مثل DeepSeek عرضه می‌شوند
draft_model یک مدل کوچک و مجزا

روش‌های مبتنی بر N-gram و درخت پسوندی تقریباً هزینه‌ای ندارند و زمانی که پاسخ، بخش‌هایی از پرامپت را تکرار می‌کند (مانند ویرایش کد) بسیار کارآمدند. هدهای پیش‌نویسی مثل EAGLE3 نیازمند هدی آموزش‌دیده برای مدل شما هستند و برای متون آزاد و باز کمک‌کننده‌اند. برای مدل Qwen/Qwen3-8B، یک هدِ عمومی EAGLE3 با یک لایه و دایره‌واژگان پیش‌نویس شامل 32,000 توکن وجود دارد.

چرا با افزایش بار، این بهبود سرعت افت می‌کند؟

زمان بیکاریِ پردازنده‌ی گرافیکی که روش‌های حدسی از آن استفاده می‌کنند، فقط تا زمانی وجود دارد که گام رمزگشایی بیش از محاسبات، داده‌ها را از حافظه بخواند. با بزرگ‌تر شدن دسته، پردازش به ازای هر بایت محاسبات بیشتری انجام می‌دهد و آن زمان بیکاری از بین می‌رود. در چنین حالتی، بررسی حدس‌های ردشده هزینه‌ی پردازشی واقعی روی دست سیستم می‌گذارد. طبق مستندات vLLM، میزان سودمندی EAGLE در نرخ درخواست‌های پایین، بالاست و در نرخ‌های بالا افت می‌کند.

حالت پویا (dynamic mode) دقیقاً بر پایه‌ی همین موضوع عمل می‌کند: تعداد حدس‌ها را بر اساس اندازه‌ی دسته تنظیم می‌کند و در دسته‌های بزرگ حدس زدن را به‌کلی کنار می‌گذارد. در نسخه‌ی 0.31.0، نمونه‌ی برخط (online) آن با اجراکننده‌ی مدل (model runner) قدیمی‌تر کار می‌کند.

شاخص‌های مهم برای رصد

موتور پردازشی آمار توکن‌های پیشنهادی و پذیرفته‌شده را بیرون می‌دهد. بررسی نرخ پذیرش (acceptance rate) و میانگین تعداد توکن‌ها در هر گام نشان می‌دهد پیشنهاددهنده روی متن شما چقدر دقیق حدس می‌زند. اگر نرخ پذیرش بالا باشد اما تغییری در زمان صرف‌شده برای هر توکن حس نشود، نشان می‌دهد پردازش دسته همین حالا هم متکی به توان پردازشی (compute-bound) شده است.

منابع: کدهای منبع vLLM در نسخه‌ی v0.31.0 (فایل‌های vllm/config/speculative.py ،vllm/v1/spec_decode/ و vllm/v1/sample/rejection_sampler.py)، مستندات vLLM در نسخه‌ی v0.31.0 (بخش docs/features/speculative_decoding/) و پیکربندی مدل Tengyunw/qwen3_8b_eagle3.

ترجمه‌ی فارسی How speculative decoding checks drafts از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما