بخش 4.2 · قابلیت‌های شتاب‌دهنده و سرعت

استفاده از دیکودینگ حدسی مبتنی بر ان‌گرام در پردازش‌های متکی بر رونویسی

Use n-gram speculation for copy-heavy work

فهرست مطالب
  1. فعال‌سازی
  2. کاربردهای مناسب
  3. بررسی نتایج آزمایش ما
  4. هزینه‌ها و محدودیت‌ها
  5. سنجش بهبود روی پرامپت‌های خودتان

دیکودینگ حدسی با ان‌گرام (N-gram speculation) نیازی به مدل پیش‌نویس (Draft Model) ندارد و وقتی پاسخ بخش‌هایی از پرامپت (Prompt) را کپی می‌کند به‌صرفه است؛ اما زمان‌بندی ناهمگام را غیرفعال می‌کند.

کاربرانتان از شما می‌خواهند اسنادی را که می‌فرستند ویرایش کنید. پس از پایان این بخش، می‌توانید تصمیم بگیرید چه زمانی دیکودینگ حدسی (Speculative Decoding) مبتنی بر ان‌گرام بهتر از مدل پیش‌نویس عمل می‌کند.

نتیجه‌ی کار ما: روی پردازنده‌ی گرافیکی L4 ما، روش ان‌گرام زمان به ازای هر توکن (Token) را برای یک کاربر از 242 به 77 میلی‌ثانیه رساند؛ این آزمایش روی پرامپت‌های تصادفی با خروجی‌های 128 توکنی انجام شد.

فعال‌سازی

دیکودینگ حدسی با ان‌گرام، توکن‌های بعدی را بر اساس متنی حدس می‌زند که از قبل در خود درخواست وجود دارد. این روش چند توکنِ آخر خروجی را برمی‌دارد و مشابه همان توکن‌ها را در بخش‌های قبلی درخواست پیدا می‌کند؛ سپس توکن‌هایی را که بعد از آن‌ها آمده بودند پیشنهاد می‌دهد. در ادامه، مدل هدف (Target model) این حدس‌ها را در یک دور پردازش بررسی می‌کند؛ درست همان‌طور که در صفحه‌ی دیکودینگ حدسی توضیح داده شده است.

این روش به هیچ مدل پیش‌نویسی نیاز ندارد، بنابراین هیچ حافظه‌ی گرافیکی اضافه‌ای را برای وزن‌های مدل اشغال نمی‌کند. سرور را با این پیکربندی حدسی اجرا کنید:

vllm serve Qwen/Qwen3-8B \
  --speculative-config '{"method": "ngram", "num_speculative_tokens": 3, "prompt_lookup_max": 4}'

پارامتر num_speculative_tokens تعداد حدس‌ها در هر گام است. پارامتر prompt_lookup_max نیز طولانی‌ترین توالی توکن‌هایی است که پیشنهاددهنده تلاش می‌کند تطبیق دهد. ما در اجراهایمان از همین دو مقدار استفاده کردیم.

کاربردهای مناسب

پیشنهاددهنده فقط متنی را می‌تواند حدس بزند که از قبل در درخواست آمده باشد. کارهایی که بخش زیادی از پرامپت را کپی می‌کنند، تطابق‌های فراوانی به دست می‌دهند:

  • ویرایش سندی که کاربر ارسال کرده است
  • خلاصه‌سازی متنی که از منبع نقل‌قول می‌آورد
  • تغییر کدی که بیشتر خطوط آن دست‌نخورده می‌ماند
  • استخراج فیلدها از یک ورودی طولانی

گفت‌وگوهای آزاد (Open chat) متن چندانی را کپی نمی‌کنند. در این نوع کارها، بیشتر حدس‌ها رد می‌شوند و در هر گام فقط یک توکن نوشته می‌شود؛ درست مانند زمانی که اصلاً از روش حدسی استفاده نکرده باشید.

بررسی نتایج آزمایش ما

ما میزان زمان به ازای هر توکن را با و بدون روش ان‌گرام در نشست پردازنده‌ی گرافیکی اشتراکی روی نود L4 خود با مدل Qwen/Qwen3-8B در تاریخ 2026-10-22 اندازه گرفتیم. آن پردازنده‌ی گرافیکی یک استخر 2,928 توکنی داشت؛ بنابراین عملکرد را با 1 و 4 کاربر و برای هر کدام با دو مقدار seed مختلف ارزیابی کردیم. پرامپت‌ها از دیتاست تصادفی ابزار بنچمارک با 512 توکن ورودی و 128 توکن خروجی گرفته شدند.

زمان به‌ازای هر توکن با گمانه‌زنی n-gramروی L4 ما، گمانه‌زنی n-gram میانه زمان به‌ازای هر توکن را برای 1 کاربر به حدود یک‌سوم و برای 4 کاربر به 37 درصد کاهش داد.
گمانه‌زنی N-gram زمان به‌ازای هر توکن را برای 1 کاربر به حدود یک‌سوم رساند میانه زمان به‌ازای هر توکن خروجی روی NVIDIA L4 با Qwen3-8B، استخر KV کوچک، دو seed و پرامپت‌های تصادفی. در 1 کاربر، 241.7 میلی‌ثانیه بدون گمانه‌زنی و 76.6 میلی‌ثانیه با n-gram. در 4 کاربر، 272.6 میلی‌ثانیه و 101.3 میلی‌ثانیه. پردازنده گرافیکی در هر چهار اجرا با فرکانس 375 تا 443 مگاهرتز کار کرد. 0 100 200 300 میانه ms به‌ازای توکن 241.7 1 کاربر، none 76.6 1 کاربر، n-gram 272.6 4 کاربر، none 101.3 4 کاربر، n-gram مقدار کمتر سریع‌تر است. پرامپت‌های تصادفی، شمارنده پذیرش ثبت نشده.
هر ستون میانه دو بار اجراست. مقدار کمتر سریع‌تر است. برگرفته از capture/gpu/summary/l4-gpu1.json.
کاربران، نشست پردازنده‌ی گرافیکی اشتراکی L4 میانه‌ی TPOT، بدون ان‌گرام / با ان‌گرام توکن خروجی بر ثانیه، بدون ان‌گرام / با ان‌گرام صدک 99 تاخیر بین توکن‌ها (ITL)، بدون ان‌گرام / با ان‌گرام میانه‌ی فرکانس SM، بدون ان‌گرام / با ان‌گرام
1 241.7 / 76.6 میلی‌ثانیه 3.98 / 7.39 274 / 284 میلی‌ثانیه 375 / 413 مگاهرتز
4 272.6 / 101.3 میلی‌ثانیه 13.02 / 19.22 290 / 1,691 میلی‌ثانیه 428 / 443 مگاهرتز

پردازنده‌ی گرافیکی روی فرکانس 375 تا 443 مگاهرتز کار می‌کرد که بسیار پایین‌تر از فرکانس نامی آن است؛ چون این پردازنده به اشتراک گذاشته شده و توان آن محدود (throttled) شده بود. به همین دلیل زمان‌ها کند هستند. به نسبت بین دو ستون دقت کنید، نه به زمان‌های مطلق. در اجراهای با ان‌گرام فرکانس کاری حدود 10 درصد بالاتر بود که در برابر بهبود سه‌برابری سرعت به چشم نمی‌آید.

در حالت یک کاربر، خروجی 86 درصد بیشتر شد. با چهار کاربر این عدد 48 درصد رشد کرد، اما بدترین وقفه‌ی بین توکن‌ها از 290 به 1,691 میلی‌ثانیه جهش داشت. ما علت این شکاف زمانی را ردگیری نکردیم.

ما شمارنده‌های پذیرش حدس‌ها را ثبت نکردیم، بنابراین نمی‌توانیم بگوییم چه تعداد از حدس‌ها تطبیق داشتند. این دستاورد را فقط نتیجه‌ای برای پرامپت‌های تصادفی با خروجی‌های 128 توکنی بدانید. روی پرامپت‌های خودتان، این بهبود کاملاً به این بستگی دارد که خروجی چقدر متن ورودی را کپی می‌کند.

تیم دیگری هم همین محدودیت را گزارش کرده است و ما خودمان آن را اندازه نگرفتیم. مقاله‌ی «Speculative Decoding: Performance or Illusion?» که در اواخر سال 2025 منتشر شد، سازوکار حدسی را در vLLM ارزیابی کرد. این مقاله نشان داد که طول توالی‌های پذیرفته‌شده بین درخواست‌های مختلف و دیتاست‌های گوناگون تفاوت زیادی دارد. نتایج اجرای ما نیز نشان می‌دهد که میانه‌ی بهتر می‌تواند عملکرد بدتر دم توزیع (Tail) را بپوشاند. در حالت چهار کاربر میانه‌ی زمان به ازای هر توکن کاهش یافت، اما صدک 99 تاخیر بین توکن‌ها (ITL) بالا رفت.

هزینه‌ها و محدودیت‌ها

  • دیکودینگ حدسی با ان‌گرام، زمان‌بندی ناهمگام را غیرفعال می‌کند و تنها یک هشدار در لاگ ثبت می‌کند. در صفحه‌ی زمان‌بندی ناهمگام روش‌هایی که این کار را می‌کنند فهرست شده‌اند.
  • این قابلیت روی اجراکننده‌ی (Runner) قدیمی مدل اجرا می‌شود، نه روی Model Runner V2.

سنجش بهبود روی پرامپت‌های خودتان

نمونه‌ای از ترافیک کاری خود را با این پیکربندی و بدون آن اجرا کنید. طول واقعی خروجی‌هایتان را حفظ کنید و گزینه‌ی --ignore-eos را به کار نبرید. به‌جای بررسی صرفِ میانه، حتماً میانه‌ی TPOT، صدک 99 تاخیر بین توکن‌ها (ITL) و صدک 99 زمان رسیدن به اولین توکن (TTFT) را با هم بسنجید. سپس این دو شمارنده را از /metrics بخوانید:

curl -s http://localhost:8000/metrics | grep -E "spec_decode_num_(draft|accepted)_tokens"

تعداد توکن‌های پذیرفته‌شده را بر توکن‌های پیش‌نویس تقسیم کنید. بالا بودن این نسبت یعنی خروجی شما پرامپت را کپی می‌کند و این روش ارزشش را دارد. پایین بودن آن نشان می‌دهد که آزمودن یک مدل پیش‌نویس مثل EAGLE3 انتخاب بهتری خواهد بود.

منابع: capture/gpu/summary/l4-gpu1.json (load.vllm-fast-b, load.vllm-ngram)، سورس‌کد vLLM در نسخه‌ی v0.31.0 (vllm/config/vllm.py, vllm/v1/spec_decode/)، مستندات vLLM در نسخه‌ی v0.31.0 (docs/features/speculative_decoding)، مقاله‌ی Speculative Decoding: Performance or Illusion? (arXiv 2601.11580).

ترجمه‌ی فارسی Use n-gram speculation for copy-heavy work از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما