سؤال مصاحبه

نرخ پذیرش بر اساس موقعیت درفت، تعداد توکن در هر مرحله

Acceptance by draft position, tokens per pass

  • سطح ۳: ارشد
  • تخمین
  • ۸ دقیقه

سرور vLLM مدلی از نوع Qwen/Qwen3-8B را به همراه درفت EAGLE3 با عمق 3 اجرا می‌کند. در طول یک دور اجرای پاسخ‌های نزدیک به 2,000 توکن با 8 کاربر، شمارنده‌ها نشان می‌دهند که درفت در موقعیت یک با احتمال 0.77، در موقعیت دو با 0.54 و در موقعیت سه با 0.38 پذیرفته شده است. میانگین تعداد توکن‌هایی را که یک مرحله‌ی اعتبارسنجی (verify pass) نهایی (commit) می‌کند تخمین بزنید و بگویید پیش از اتکا به این بهبود برای پاسخ‌های طولانی، چه مواردی را بررسی می‌کردید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر مرحله‌ی اعتبارسنجی، درفت‌های پذیرفته‌شده را به اضافه‌ی یک توکن پاداش (Bonus Token) از مدل هدف commit می‌کند؛ بنابراین میانگین طول پذیرش برابر است با عدد یک به اضافه‌ی مجموع نرخ‌های پذیرش (Acceptance rate) در هر موقعیت. با مقادیر 0.77، 0.54 و 0.38 این رقم حدود 2.69 توکن در هر مرحله می‌شود؛ یعنی همان مقداری که vLLM در آن اجرا روی GSM8K گزارش کرده است. پیش از آن‌که برای پاسخ‌های طولانی به این عدد تکیه کنم، نرخ پذیرش طولانی‌ترین پاسخ‌ها را به‌تنهایی، با طول خروجی واقعی و بدون ignore-eos بررسی می‌کردم؛ زیرا مطالعه‌ی دیگری نشان داد که با نزدیک شدن پاسخ‌ها به 20,000 توکن، نرخ پذیرش از حدود 3.7 تا حدود 1.5 افت کرد.

پاسخ کامل

محاسبات

نرخ‌های مربوط به هر موقعیت، از قبل ترتیب زنجیره را در خود دارند: موقعیت دو تنها زمانی پذیرفته می‌شود که موقعیت یک پذیرفته شده باشد، و عدد 0.54 سهم کل مراحلی است که در آن‌ها موقعیت دو پذیرفته شده است. تعداد مورد انتظار درفت‌های پذیرفته‌شده برابر با مجموع نرخ‌هاست، و مدل هدف همیشه یک توکنِ خودش را هم اضافه می‌کند؛ بنابراین:

mean acceptance length = 1 + 0.77 + 0.54 + 0.38 = 2.69

در ShareGPT همان اجرا نرخ‌های 0.67، 0.42 و 0.26 را ثبت کرد که حاصل آن 2.35 می‌شود. هر دو مقدار دقیقاً با میانگین طول پذیرشی که vLLM از شمارنده‌های خود گزارش کرده هم‌خوانی دارند.

آن‌چه راهنما روی پاسخ‌های طولانی اندازه گرفته است

مدل Qwen/Qwen3-8B با فرمت BF16 و 8 کاربر، پاسخ‌هایی تا 2,048 توکن، بدون ignore-eos، میانه‌ی پاسخ‌ها بین 1,800 تا 2,000 توکن:

موتور مجموعه‌داده میانگین طول پذیرش پذیرش به‌ازای موقعیت درفت 1 / 2 / 3
SGLang EAGLE3 GSM8K 2.68
SGLang EAGLE3 ShareGPT 2.32
vLLM EAGLE3 GSM8K 2.69 0.77 / 0.54 / 0.38
vLLM EAGLE3 ShareGPT 2.35 0.67 / 0.42 / 0.26

روی پاسخ‌های کوتاه 128 توکنی در همان نشست (Session)، موتور SGLang مقادیر 2.69 تا 2.78 را برای GSM8K و 2.33 تا 2.43 را برای ShareGPT ثبت کرد. پاسخ‌های طولانی آن نیز در فاصله‌ی حداکثر 0.01 از این بازه‌ها باقی ماندند.

بر اساس موقعیت در طول پاسخ

در آزمایش دوم، تعداد 8 پرامپت (Prompt) با حالت تفکر روشن (thinking on)، به‌شکل حریصانه (greedy)، با یک کاربر و تا سقف 4,096 توکن اجرا شدند و میزان پذیرش در بخش‌های مختلف ثبت شد:

بخش خروجی SGLang vLLM
0 تا 256 2.05 تا 2.64 (8) 2.14 تا 2.51 (8)
256 تا 512 1.95 تا 2.64 (8) 2.09 تا 2.55 (8)
512 تا 1,024 2.11 تا 2.77 (8) 2.12 تا 2.79 (8)
1,024 تا 2,048 2.09 تا 2.47 (5) 1.72 تا 2.66 (5)
2,048 تا 4,096 2.33 و 2.48 (2) 2.35 و 2.60 (2)

تا سقف 4,096 توکن، افت یکنواخت و پیوسته‌ای در پذیرش دیده نشد. از 8 پرامپت فقط 2 مورد از 2,048 توکن فراتر رفتند؛ بنابراین بخش آخر تنها بر پایه‌ی دو پاسخ است، و محدودیت 4,096 نیز ناشی از حافظه‌ی همان GPU بود. در نتیجه این آزمایش به محدوده‌ی آن مطالعه‌ای که افت را مشاهده کرده بود نرسید.

وقتی نرخ پذیرش واقعاً افت می‌کند

یک مورد واقعی علت دیگری را نشان می‌دهد. در یک پیکربندی درفت با 2,048 موقعیت و بدون مقیاس‌بندی RoPE، پذیرش با ورودی 1k توکن برابر با 3.2 توکن، در 3k برابر با 1.6 و در 10k برابر با 1.2 توکن شد. در ورودی 10k، سرور 63.9 توکن بر ثانیه تولید می‌کرد، در حالی که بدون حدس‌زدن این رقم 102.7 بود. درفت نمی‌توانست جلوتر از سقف موقعیت خود را بخواند. با افزودن مقیاس‌بندی RoPE و افزایش موقعیت‌ها به 131,072 در پیکربندی درفت، مشکل برطرف شد. متغیر بازنویسی (override variable) که بررسی طول زمینه را رد می‌کند، فقط خود بررسی را برمی‌دارد و خواندن پرامپت‌های طولانی را به درفت یاد نمی‌دهد.

مواردی که باید بررسی کنید

  • در vLLM: معیارهای spec_decode_num_draft_tokens و spec_decode_num_accepted_tokens از مسیر /metrics، و خط SpecDecoding metrics در لاگ.
  • در SGLang: مقادیر accept len و accept rate در هر خط از لاگ رمزگشایی (decode)، مقدار sglang:spec_accept_length از مسیر /metrics، و spec_accept_length در meta_info پاسخ‌های /generate که مقدار را به‌ازای هر پاسخ در اختیارتان می‌گذارد.
  • مقایسه‌ی صدک 99 تاخیر بین توکن‌ها (P99 ITL) و زمان تا اولین توکن (P99 TTFT) در حالت فعال و غیرفعال بودن درفت، و مقایسه‌ی max_position_embeddings مدل درفت با طولانی‌ترین پرامپت‌هایتان.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا توکن پاداش همیشه وجود دارد؟ پاسخ مورد انتظار: مدل هدف توزیع احتمالات را برای یک موقعیت پس از آخرین درفتِ پذیرفته‌شده محاسبه می‌کند؛ بنابراین حتی اگر تمام درفت‌ها رد شوند، این مرحله باز هم یک توکنِ خودش را مثل حالت رمزگشایی عادی می‌نویسد.
  • سطح 3: نرخ‌های ShareGPT برابر با 0.67، 0.42 و 0.26 بودند. چه طولی به دست می‌آید و چرا کمتر از GSM8K است؟ پاسخ مورد انتظار: 2.35؛ پیش‌بینی مکالمات آزاد برای مدل درفت سخت‌تر از مراحل محاسبات ریاضی و کد است، بنابراین درفت‌های کمتری با مدل هدف تطابق پیدا می‌کنند.
  • سطح 4: در یک مدل درفت با 2,048 موقعیت، میزان پذیرش در 1k توکن ورودی 3.2 و در 10k برابر با 1.2 بود. علت و راهکار چیست؟ پاسخ مورد انتظار: مدل درفت نمی‌توانست فراتر از سقف موقعیت خود را بخواند و حدس‌های آن با افزایش طول پرامپت تضعیف می‌شد؛ مقیاس‌بندی RoPE و افزایش تعداد موقعیت‌ها در پیکربندی درفت مشکل را رفع کرد، و متغیر override فقط بررسی را حذف می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «میانگین طول پذیرش، میانگینِ حسابیِ آن سه نرخ است.» خیر؛ این مقدار برابر با تعداد مورد انتظار درفت‌های پذیرفته‌شده (مجموع نرخ‌ها) به‌اضافه‌ی توکن پاداش است؛ مجموع 0.77، 0.54 و 0.38 به‌علاوه‌ی یک برابر با 2.69 می‌شود، نه عددی زیر یک.
  • «طول پذیرش 2.69 یعنی 2.69 برابر سرعت بیشتر.» هر مرحله هزینه‌ی محاسباتی گام‌های درفت و بررسی اعتبارسنجی را هم در بر دارد؛ روی پردازنده‌ی L4، مدل متراکم (dense) هر توکن را 1.6 تا 2.3 برابر سریع‌تر تحویل داد و از 32 کاربر به بالا خروجی بیشتری تولید نکرد، چون درفت حافظه‌ی اشتراکی (pool space) را پر کرده بود.
  • «پاسخ طولانی همان نرخ پذیرش پاسخ کوتاه را نگه می‌دارد.» در آزمایش خود راهنما تا سقف 4,096 توکن این‌طور ماند، اما پژوهش دیگری نشان داد که با نزدیک شدن به 20,000 توکن نرخ پذیرش از حدود 3.7 تا حدود 1.5 افت کرد؛ همچنین مدلی با موقعیت‌های ناکافی با افزایش طول پرامپت از 3.2 به 1.2 رسید. حتماً پاسخ‌های طولانی سیستم خودتان را بسنجید.

کجای دوره آموزش داده می‌شود

بخش‌های افزایش سرعت رمزگشایی با EAGLE3 و بخش دیکودینگ حدسی SGLang شامل جدول‌های مربوط به پذیرش بر اساس موقعیت و بر اساس طول پاسخ هستند.