سؤال مصاحبه

سازوکار دیکودینگ حدسی در حفظ خروجی یکسان

How speculative decoding keeps the output the same

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

دیکودینگ حدسی (Speculative decoding) نوید تولید چند توکن در هر گام را می‌دهد، بدون آن‌که متن خروجی مدل دستخوش کوچک‌ترین تغییری شود. در این مطلب بررسی می‌کنیم که موتور پردازشی چطور پای این تعهد می‌ایستد، شتاب حاصل از کجا می‌آید و چرا با افزایش تعداد کاربران مشترک روی سرور، این مزیت کم‌رنگ می‌شود.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک پیشنهاددهنده‌ی سبک و ارزان چند توکن بعدی را حدس می‌زند؛ سپس مدل هدف (Target model) یک بار روی تمام حدس‌ها اجرا می‌شود و توزیع اختصاصی خود را در هر جایگاه محاسبه می‌کند. یک نمونه‌گیر بازنگری (Rejection sampler) حدس‌هایی را که مدل هدف تأیید می‌کند نگه می‌دارد، در اولین حدس ردشده یک توکن درست از مدل هدف نمونه‌گیری می‌کند و متوقف می‌شود. در نتیجه، هر نوبت حداقل یک توکن و حداکثر به اندازه‌ی «تعداد حدس‌ها به‌علاوه‌ی یک» تولید می‌کند؛ با همان توزیع خروجی رمزگشایی (Decode) معمولی. این شتاب از زمان بیکاری پردازنده‌ی گرافیکی (GPU) می‌آید: در دسته‌های (Batches) کوچکِ رمزگشایی، پردازنده منتظر واکشی داده از حافظه می‌ماند و با بزرگ‌تر شدن دسته، این زمان بیکاری از بین می‌رود؛ بنابراین بررسی حدس‌های ردشده عملاً به هزینه‌ی پردازشی واقعی تبدیل می‌شود.

پاسخ کامل

اول حدس بزن، بعد بسنج

یک گام رمزگشایی روی دسته‌ای کوچک، تمام وزن‌ها را می‌خواند تا برای هر درخواست فقط یک توکن تولید کند؛ در این حالت بخش عمده‌ی GPU حین انتظار برای داده‌های حافظه بیکار می‌ماند. دیکودینگ حدسی از همین زمان بیکاری استفاده می‌کند. در نمونه‌گیری حریصانه (Greedy sampling)، حدس ارائه‌شده فقط در صورتی می‌ماند که دقیقاً با برترین توکن مدل هدف در آن جایگاه برابر باشد. در نمونه‌گیری تصادفی، قاعده‌ی رد کردن طوری عمل می‌کند که توزیع خروجی دقیقاً برابر با توزیع مدل هدف باقی بماند. در SGLang، آستانه‌های (Thresholds) پذیرش به‌طور پیش‌فرض روی 1.0 تنظیم شده‌اند؛ بنابراین درخواست حریصانه دقیقاً همان توکن‌هایی را تحویل می‌دهد که بدون دیکودینگ حدسی تولید می‌شدند.

طول پذیرش، تعداد توکن‌هایی است که در هر نوبت بررسی ثبت (commit) می‌شوند: پیش‌نویس‌های پذیرفته‌شده به‌علاوه‌ی یک توکن پاداش (Bonus token) از مدل هدف. در یک درخواست واقعی با مدل Qwen3-8B روی پردازنده‌ی L4، در هر نوبت حدود 1.8 توکن به دست آمد.

پیشنهاددهنده‌ها

روش منشأ حدس‌ها
ngram متن‌های قبلی در همان درخواست که با چند توکن آخر همخوانی دارند
suffix درخت پسوندی روی پرامپت‌ها و پاسخ‌های قبلی
eagle، eagle3 یک هد (Head) پیش‌نویس کوچک که وضعیت‌های پنهان (Hidden states) مدل هدف را می‌خواند
*_mtp هدهای پیش‌بینی اضافی که همراه برخی مدل‌ها ارائه می‌شوند
draft_model یک مدل کوچک و مجزا

روش N-gram تقریباً هیچ هزینه‌ای ندارد و به هیچ وزن اضافه‌ای هم نیازمند نیست. این روش زمانی صرفه دارد که پاسخ از روی پرامپت کپی شود: ویرایش یک سند، خلاصه‌سازی همراه با نقل‌قول مستقیم از منبع، تغییر کدی که اکثر خطوط آن ثابت می‌مانند، یا استخراج داده از ورودی طولانی. روی پردازنده‌ی L4 ما با پرامپت‌های تصادفی، این روش زمان هر توکن را برای یک کاربر از 241.7 به 76.6 میلی‌ثانیه رساند؛ اما در بار چهار کاربره، شاخص P99 زمان بین دو توکن (ITL) از 290 به 1,691 میلی‌ثانیه افزایش یافت. علاوه‌بر این، زمان‌بندی ناهمگام را هم غیرفعال می‌کند و فقط یک هشدار در لاگ نمایش می‌دهد. هد EAGLE3 به آموزش روی مدل هدف شما نیاز دارد؛ برای نمونه، هد عمومی ارائه‌شده برای Qwen3-8B یک لایه و دایره‌ی واژگان پیش‌نویس 32,000 توکنی دارد.

علت افت کارایی زیر بار کاری

زمان بیکاری فقط تا زمانی وجود دارد که گام پردازشی بیشتر از آنکه محاسبه کند، به خواندن از حافظه مشغول باشد. با بزرگ‌تر شدن دسته، پردازنده به ازای هر بایت محاسبات بیشتری انجام می‌دهد و زمان بیکاری از بین می‌رود. از این نقطه، بررسی حدس‌های ردشده هزینه‌ی پردازشی واقعی می‌تراشد. یک گزارش هر دو حالت را روی GPU و مدل یکسان نشان می‌دهد: در دسته‌ی 1 عددی، خروجی از 42.0 به 92.5 توکن بر ثانیه رسید؛ اما در همزمانی 20 عددی، از 217.8 به 164.4 سقوط کرد. پاسخ نگه‌دارنده‌ی فریم‌ورک این بود که دیکودینگ حدسی برای دسته‌های کوچک در نظر گرفته شده است. حالت پویا بر پایه‌ی همین قاعده کار می‌کند: تعداد حدس‌ها را بر اساس اندازه‌ی دسته تعیین می‌کند و برای دسته‌های بزرگ، حدس زدن را متوقف می‌سازد.

حساب‌وکتاب درس

امید ریاضی تعداد توکن‌ها به ازای هر گذر رو به جلو (Forward) مدل هدف برابر است با 1 + K × alpha؛ که در آن K طول پیش‌نویس و alpha نرخ پذیرش (Acceptance rate) است. به‌ازای K برابر 5 و alpha برابر 0.7، با حدود 10 درصد سربار تأیید، نتیجه برابر می‌شود با 4.5 تقسیم بر 1.1، یعنی شتابی در حدود 4.1 برابر. در عمل، شتاب واقعی حول 2 تا 3 برابر است؛ چون نرخ پذیرش زیر ترافیک محیط عملیاتی (Production) به‌ندرت تا این حد بالا می‌رود و سربار نیز با بزرگ شدن دسته بیشتر می‌شود. این درس نقطه‌ی سربه‌سر alpha در همروندی بالا را نزدیک به 0.45 تا 0.55 می‌داند.

مواردی که باید زیر نظر بگیرید

موتور پردازشی، توکن‌های پیشنهادی و توکن‌های پذیرفته‌شده را در خروجی ارائه می‌دهد. توکن‌های پذیرفته‌شده را بر توکن‌های پیشنهادی تقسیم کنید تا نرخ پذیرش به دست آید و میانگین توکن‌ها در هر گام را بخوانید. نرخ پذیرش بالا بدون کاهش در زمان پردازش هر توکن، نشان می‌دهد که دسته از پیش به سقف توان محاسباتی رسیده است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: کدام پیشنهاددهنده نیازی به مدل اضافی ندارد و چه زمانی به‌صرفه است؟ پاسخ مورد انتظار: روش n-gram که آخرین توکن‌های خروجی را با متن‌های قبلی در درخواست مطابقت می‌دهد؛ این روش برای ویرایش‌ها، نقل‌قول‌ها، تغییرات کد و استخراج داده صرفه دارد و در چت آزاد نتیجه نمی‌دهد.
  • سطح 3: نرخ پذیرش بالاست اما زمان هر توکن کاهش نیافته است. این به چه معناست؟ پاسخ مورد انتظار: پردازش دسته از قبل محدود به توان محاسباتی شده است؛ همان زمان بیکاری حافظه که دیکودینگ حدسی مصرف می‌کرد از بین رفته، بنابراین هزینه‌ی بررسی‌ها با صرفه‌جویی آن‌ها برابر شده است.
  • سطح 3: در نمونه‌گیری حریصانه، گام بررسی چطور در هر جایگاه تصمیم می‌گیرد؟ پاسخ مورد انتظار: یک حدس فقط زمانی می‌ماند که برابر با برترین توکن مدل هدف در آن نقطه باشد؛ اولین توکن ناهماهنگ با توکن مدل هدف جایگزین می‌شود و باقی حدس‌ها دور ریخته می‌شوند.
  • سطح 4: چرا یک نوبت بررسی هرگز نمی‌تواند بیش از «طول پیش‌نویس به‌علاوه‌ی یک» توکن commit کند؟ پاسخ مورد انتظار: مدل هدف برای هر جایگاهِ پیش‌نویس و یک جایگاه فراتر از آخرین حدس، توزیع آماری محاسبه می‌کند؛ بنابراین وقتی تمام حدس‌ها تأیید شوند، نمونه‌گیر همچنان یک توکن پاداش از آن آخرین توزیع برمی‌دارد؛ در صورت رد شدن نیز، یک توکن درست در همان‌جا نمونه‌گیری می‌کند و متوقف می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «دیکودینگ حدسی خروجی را کمی تغییر می‌دهد، پس مقداری از کیفیت را فدای سرعت می‌کنید.» در نمونه‌گیری حریصانه حدس فقط در صورت برابری با برترین توکن هدف باقی می‌ماند و در نمونه‌گیری تصادفی، قاعده‌ی بازنگری توزیع خروجی را دقیقاً برابر با توزیع هدف نگه می‌دارد؛ بنابراین کیفیت تغییری نمی‌کند، هرچند یک اجرای تصادفی ممکن است با اجرای بدون دیکودینگ حدسی متفاوت باشد.
  • «شتاب اصلی از پیش‌نویس می‌آید، پس پیش‌نویس سریع‌تر همیشه بهتر است.» دستاورد سرعت از زمان بیکاری GPU در دسته‌ی کوچک به دست می‌آید؛ یک پیش‌نویس سریع با نرخ پذیرش پایین، بررسی‌های پرهزینه‌ای از نظر محاسباتی اضافه می‌کند، تا جایی که در یک گزارش با همزمانی 20، نرخ پردازش (Throughput) تا یک‌چهارم افت کرد.
  • «آن را برای تست فشار هم روشن کنید.» در دسته‌ی 1 عددی، یک گزارش نشان داد سرعت بیش از دو برابر شده اما در همزمانی 20 سیستم کندتر شد؛ پاسخ نگه‌دارنده‌ی پروژه این بود که دیکودینگ حدسی برای دسته‌های کوچک است.

کجای دوره آموزش داده می‌شود

بخش‌های شیوه‌ی بررسی پیش‌نویس‌ها در دیکودینگ حدسی و بخش دیکودینگ حدسی در SGLang این قاعده را شرح می‌دهند، بخش n-gram پیشنهاددهنده‌ی رایگان را می‌سنجد، و درس EAGLE-3 محاسبات مربوط به نرخ پذیرش را ارائه می‌دهد.