سؤال مصاحبه

از نرخ پذیرش تا توکن به‌ازای هر بار اجرا

From acceptance rate to tokens per pass

  • سطح ۳: ارشد
  • تخمین
  • ۱۰ دقیقه

فرض کنید توکن‌های یک مدل پیش‌نویس با احتمال 80 درصد پذیرفته می‌شوند و این مدل در هر گام 4 توکن پیشنهاد می‌دهد. مدل بزرگ اصلی با هر بار اجرا به‌طور میانگین چند توکن تولید می‌کند؟ هزینهٔ خود مدل پیش‌نویس چطور وارد محاسبات می‌شود و از چه نقطه‌ای به بعد، افزایش طول پیش‌نویس دیگر صرفه ندارد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

امید ریاضی توکن‌های تولیدشده به‌ازای هر بار اجرای مدل اعتبارسنج (Verifier) برابر است با (1 - alpha^(K + 1)) / (1 - alpha). با نرخ پذیرش (Acceptance rate) برابر با 0.8 و K برابر با 4، این مقدار به 3.36 می‌رسد؛ یعنی دفعات فراخوانی مدل بزرگ حدود 3.36 برابر کمتر می‌شود. زمان واقعی (Wall time) به‌ازای هر توکن از تقسیم (K c + 1) بر این امید ریاضی به دست می‌آید؛ که در آن c هزینهٔ مدل پیش‌نویس نسبت به مدل اعتبارسنج است. بنابراین، افزایش طول پیش‌نویس هزینه را خطی بالا می‌برد، در حالی که رشد سری هندسی اشباع می‌شود. در نرخ پذیرش 0.8 و c برابر با 0.05، نقطهٔ بهینه روی 5 تا 7 توکنِ پیش‌نویس قرار می‌گیرد و شتابی حدود 3.2 برابر ایجاد می‌کند. اهرم تعیین‌کننده همان نرخ پذیرش است: در یک K ثابت، افزایش نرخ پذیرش از 0.6 به 0.9، توکن‌های مورد انتظار به‌ازای هر بار اجرا را تقریباً دو برابر می‌کند.

پاسخ کامل

فرمول ریاضی

هر توکن پیش‌نویس به‌طور مستقل با احتمال alpha پذیرفته می‌شود و گام با اولین توکن ردشده به پایان می‌رسد؛ بنابراین تعداد پیش‌نویس‌های پذیرفته‌شده یک متغیر تصادفی هندسی بریده‌شده است. اگر توکن پاداش (Bonus Token) را هم در صورت پذیرش کامل تمام پیش‌نویس‌ها اضافه کنیم، مقدار امید ریاضی برابر خواهد بود با:

E[tokens per verifier pass] = (1 - alpha^(K + 1)) / (1 - alpha)
alpha K توکن به‌ازای هر بار اجرا
0.8 4 3.36

در یک K ثابت، افزایش alpha مقدار تمام جملات این سری را بالا می‌برد؛ به همین دلیل با نزدیک شدن alpha به عدد 1، امید ریاضی با شیب تندی بالا می‌رود.

ورود هزینهٔ مدل پیش‌نویس به محاسبات

هر گام شامل K بار اجرای پیش‌رو (Forward pass) مدل پیش‌نویس به‌علاوهٔ یک بار اجرای پیش‌رو مدل اعتبارسنج است که برحسب واحد هزینهٔ مدل اعتبارسنج برابر با K c + 1 می‌شود. اگر این مقدار را بر امید ریاضی تعداد توکن‌ها تقسیم کنید، زمان لازم به‌ازای هر توکن به دست می‌آید. برای مثال، اگر مدل اعتبارسنج حدود 30 میلی‌ثانیه و مدل پیش‌نویس حدود 3 میلی‌ثانیه زمان ببرد، پنج توکن پیش‌نویس به‌همراه یک بار اعتبارسنجی حدود 45 میلی‌ثانیه در هر گام زمان می‌برد. در این گام بین 1 تا 6 توکن تولید می‌شود؛ بنابراین اگر 45 میلی‌ثانیه را بر امید ریاضی توکن‌ها در هر بار اجرا تقسیم کنید، می‌توانید نتیجه را با زمان 30 میلی‌ثانیه‌ایِ تولید یک توکن معمولی مقایسه کنید. با افزایش K، صورت کسر به‌صورت خطی رشد می‌کند در حالی که مخرج (امید ریاضی) به سمت 1 / (1 - alpha) میل کرده و اشباع می‌شود؛ بنابراین یک نقطهٔ بهینه وجود دارد.

alpha c بهترین K شتاب
0.8 0.05 حدود 5 تا 7 حدود 3.2 برابر
0.95 0.02 حدود 8 تا 10 نزدیک به 5 برابر

چه عواملی alpha را تغییر می‌دهند؟

میزان نزدیکی توزیع احتمال مدل پیش‌نویس به مدل اعتبارسنج (که تابعی از نحوهٔ ساخت و آموزش مدل پیش‌نویس است)؛ دمای نمونه‌برداری (Sampling temperature)، جایی که حالت حریصانه در برابر حریصانه بالاترین نرخ پذیرش را دارد؛ و نوع وظیفه (Task)، که در آن کدنویسی و خروجی ساختاریافته (Structured Output) نسبت به متن‌های آزاد نرخ پذیرش بالاتری می‌گیرند.

فرمول کجا دیگر همه‌ی ماجرا نیست؟

در همزمانی بالا، اجرای اعتبارسنجی دیگر رایگان تمام نمی‌شود: دستهٔ (Batch) رمزگشایی (Decode) از قبل تمام پهنای باند حافظه را پر کرده است و یک پیش‌نویس ردشده، هزینهٔ یک اعتبارسنجی و تولید مجدد را تحمیل می‌کند. تجربهٔ عملیاتی نشان می‌دهد که در همزمانی بالا، اگر نرخ پذیرش کمتر از حدود 0.55 باشد، دیکودینگ حدسی (Speculative Decoding) عملاً نتیجهٔ منفی دارد؛ پس قبل از تعیین K، حتماً مقدار alpha را روی ترافیک واقعی اندازه بگیرید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: با نرخ پذیرش 0.95 و هزینهٔ پیش‌نویس 0.02، نقطهٔ بهینه کجاست؟ پاسخ مورد انتظار: حدود 8 تا 10 توکن پیش‌نویس، با شتابی که به سمت 5 برابر push می‌کند.
  • سطح 3: چرا با رشد K، مقدار امید ریاضی اشباع می‌شود؟ پاسخ مورد انتظار: چون با یک سری هندسی روبه‌رو هستیم؛ احتمال اینکه همهٔ پیش‌نویس‌ها تا موقعیت K پذیرفته شوند با نرخ alpha به توان K کاهش می‌یابد، در نتیجه موقعیت‌های انتهایی تقریباً هیچ مقداری اضافه نمی‌کنند.
  • سطح 4: اندازهٔ دسته (Batch size) چطور محاسبات را تغییر می‌دهد؟ پاسخ مورد انتظار: بار پردازشی اضافهٔ مدل اعتبارسنج به‌ازای هر پیش‌نویس دیگر پشت پهنای باندِ بلااستفاده پنهان نمی‌شود؛ بنابراین هزینهٔ مؤثر اعتبارسنجی و رد شدن توکن بالا می‌رود و نرخ پذیرش سربه‌سر به سمت 0.45 تا 0.55 افزایش پیدا می‌کند.
  • سطح 4: چه سنجهٔ تکی و مشخصی را باید به داشبورد اضافه کنید؟ پاسخ مورد انتظار: نسبت توکن‌های پذیرفته‌شدهٔ پیش‌نویس به کل توکن‌های پیشنهادی، به‌تفکیک هر برش از ترافیک؛ تا مقدار alpha همان جایی که فرمول به آن نیاز دارد در دسترس باشد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «میزان شتاب دقیقاً برابر با طول پیش‌نویس است.» فقط در صورتی درست است که تمام توکن‌های پیش‌نویس پذیرفته شوند؛ سری هندسی و هزینهٔ مدل پیش‌نویس شتاب را بسیار پایین‌تر از K می‌آورند.
  • «دو برابر کردن K، نرخ پردازش (Throughput) را دو برابر می‌کند.» با عبور از نقطهٔ بهینه، بیشتر توکن‌های اضافی رد می‌شوند و هزینهٔ آن‌ها در هر صورت پرداخت شده است.
  • «اگر مدل پیش‌نویس 10 برابر ارزان‌تر باشد، شتاب 10 برابر می‌شود.» هزینهٔ پیش‌نویس مقدار c را تعیین می‌کند و نرخ پذیرش مقدار امید ریاضی را؛ یک مدل پیش‌نویس ارزان که خروجی‌هایش مدام رد شوند سود ناچیزی دارد.

کجای دوره آموزش داده می‌شود

در درس دیکودینگ حدسی فاز 10 فرمول امید ریاضی اثبات می‌شود، در درس EAGLE-3 هزینهٔ پیش‌نویس و نقطهٔ بهینه بررسی می‌شود، در درس دیکودینگ حدسی فاز 7 مثالی عددی برحسب میلی‌ثانیه آمده است و در درس EAGLE-3 در محیط عملیاتی نقطهٔ سربه‌سر تعیین می‌شود.