سؤال مصاحبه

چرا دیکودینگ حدسی روی کد پرواز می‌کند و روی نویسندگی خلاق متوقف می‌شود؟

Speculation flies on code and stalls on creative writing

  • سطح ۲: میانی
  • بده‌بستان
  • ۸ دقیقه

محصول نویسندگی خلاق شما با دمای (temperature) بالا نمونه‌برداری می‌کند و دیکودینگ حدسی (speculative decoding) هیچ سرعتی به آن نمی‌بخشد؛ در حالی که همین ساختار روی تکمیل کد با سرعت پرواز می‌کند. علت این تفاوت را توضیح دهید و بگویید آزمون پذیرش در دمای صفر به چه شکلی درمی‌آید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پذیرش به این بستگی دارد که مدل اعتبارسنج (verifier) چقدر با توکن‌های نمونه‌برداری‌شده‌ی مدل پیش‌نویس (draft) هم‌نظر باشد. در دمای بالا، توزیع هدف یکنواخت و مسطح می‌شود، نمونه‌های مدل پیش‌نویس روی توکن‌های متعددی پخش می‌شوند، و نسبت پذیرش (احتمال اعتبارسنج به احتمال پیش‌نویس) به سمت یک تقسیم بر اندازه‌ی واژگان (vocabulary size) سقوط می‌کند. در نتیجه، تقریباً همه‌ی حدس‌ها رد می‌شوند و هزینه‌ی پردازشی مدل پیش‌نویس عملاً هدر می‌رود. کد و خروجی ساختاریافته (structured output) قابل‌پیش‌بینی هستند؛ بنابراین نرخ پذیرش (acceptance rate) به بالاتر از 0.9 می‌رسد. در دمای صفر، این قاعده تبدیل به یک مقایسه‌ی ساده می‌شود: اگر توکن پیش‌نویس با محتمل‌ترین توکنِ مدل اعتبارسنج برابر بود، آن را بپذیر؛ در غیر این صورت، همان توکن اعتبارسنج را صادر کن و متوقف شو.

پاسخ کامل

چرا دما نقش اهرم را دارد؟

آزمون پذیرش به صورت u < min(1, q(d) / p(d)) است. وقتی هر دو توزیع روی یک توکن قله بزنند (پیک داشته باشند)، این نسبت نزدیک به یک می‌شود و پیش‌نویس پذیرفته خواهد شد. با بالا بردن دما، هر دو توزیع مسطح می‌شوند: حالا مدل پیش‌نویس توکن‌هایی را نمونه‌برداری می‌کند که مدل اعتبارسنج احتمال بسیار کمی به آن‌ها می‌دهد؛ در نتیجه، نسبت‌ها کوچک‌تر می‌شوند و حجم حدس‌های ردشده بالا می‌رود. در تمرین این درس، حلقه با دمای 1.5 اجرا می‌شود تا همین فروپاشی نشان داده شود؛ جایی که الگوریتم حتی از رمزگشایی معمولی هم کندتر عمل می‌کند، چون اورهد مدل پیش‌نویس باقی می‌ماند ولی توکن‌های پذیرفته‌شده ناپدید می‌شوند.

چرا نوع وظیفه اهمیت دارد؟

بار کاری (Workload) شتاب اندازه‌گیری‌شده در درس
chat 2 تا 3 برابر
code generation 3 تا 5 برابر
creative writing نزدیک به صفر

کد و خروجی ساختاریافته توکن بعدیِ بسیار قابل‌پیش‌بینی‌ای دارند؛ بنابراین حتی یک مدل پیش‌نویسِ ناکامل هم در بیشتر مواقع با مدل اعتبارسنج هم‌نظر است. در درس EAGLE-3، نرخ پذیرش چنین خروجی‌هایی بالای 0.9 گزارش شده است. متن‌های بی‌پایان و خلاقانه در دمای بالا ادامه‌های قابل‌قبول پرشماری دارند و مدل پیش‌نویس به‌ندرت همان گزینه‌ای را انتخاب می‌کند که مد نظر مدل اعتبارسنج است.

حالت حریصانه (Greedy)

در دمای صفر، هر دو مدل قطعی (deterministic) هستند. آزمون به argmax(q) == d تقلیل پیدا می‌کند: در صورت تطابق بپذیر؛ در غیر این صورت argmax(q) را خروجی بده و متوقف شو. نیازی هم به توزیع باقیمانده (residual distribution) نیست، چون انتخاب مدل اعتبارسنج فقط یک تک‌توکن است.

راه‌حل چیست؟

  • وقتی دما بالا است، به ازای هر درخواست دیکودینگ حدسی را خاموش کنید، یا این‌گونه درخواست‌ها را به استخری از رمزگشایی معمولی بفرستید؛ درس EAGLE-3 قابلیت سوئیچ‌کردن بر اساس دما را به عنوان یکی از پیچ‌های تنظیم معرفی می‌کند.
  • برای خروجی‌های بسیار کوتاه بین 1 تا 5 توکن نیز پردازش را صرف مدل پیش‌نویس نکنید؛ چرا که اورهد آن دستِ بالا را پیدا می‌کند.
  • نرخ پذیرش را به ازای هر بخش از محصول اندازه بگیرید و دیکودینگ حدسی را فقط جایی نگه دارید که صرفه داشته باشد؛ کف این مقدار در درس محیط عملیاتی (production) و در همزمانی‌های بالا، حدود 0.55 است.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: اگر مدل پیش‌نویس و مدل اعتبارسنج کاملاً با هم توافق داشته باشند، نسبت پذیرش چه می‌شود؟ پاسخ مورد انتظار: برابر یک می‌شود؛ بنابراین تک‌تک پیش‌نویس‌ها پذیرفته می‌شوند و در هر دور، کل پیش‌نویس به همراه توکن پاداش (bonus token) به دست می‌آید.
  • سطح 3: آیا مدل پیش‌نویس می‌تواند با دمایی متفاوت از مدل اعتبارسنج نمونه‌برداری کند؟ پاسخ مورد انتظار: بله، تا زمانی که p دقیقاً همان توزیعی باشد که مدل پیش‌نویس از آن نمونه‌برداری کرده است؛ خروجی نهایی همچنان از توزیع اعتبارسنج پیروی می‌کند، اما عدم تطابق دما، نرخ پذیرش را کاهش می‌دهد.
  • سطح 3: این قابلیت سوئیچ را چطور در لایه‌ی سرویس‌دهی (serving layer) پیاده‌سازی می‌کنید؟ پاسخ مورد انتظار: دمای درخواست و طول خروجی خوانده می‌شود، و بالاتر از یک آستانه‌ی دما یا پایین‌تر از یک آستانه‌ی طول خروجی، دیکودینگ حدسی غیرفعال خواهد شد؛ این آستانه‌ها بر اساس نرخ پذیرشِ اندازه‌گیری‌شده تنظیم می‌شوند.
  • سطح 4: چرا افت عملکرد در همزمانی‌های بالا بیشتر از چیزی است که فرمول نشان می‌دهد؟ پاسخ مورد انتظار: یک پیش‌نویس ردشده، هزینه‌ی یک اعتبارسنجی و یک نمونه‌برداری مجدد را تحمیل می‌کند که در دسته‌های پر (full batch) به‌صورت ترتیبی اجرا می‌شوند، و از طرفی خود دسته قبلاً پهنای باند حافظه‌ای را که دیکودینگ حدسی از آن بهره می‌برد پر کرده است؛ در نتیجه تاخیر دنباله (tail latency) به‌شدت آسیب می‌بیند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «دما را پایین بیاورید تا دیکودینگ حدسی کار کند.» محصول شما بنا به دلیلی آن دما را انتخاب کرده است؛ مسیر رمزگشایی را برای آن درخواست‌ها تغییر دهید، نه منطق محصول را.
  • «مدل پیش‌نویس خیلی کوچک است؛ از یک مدل پیش‌نویس بزرگ‌تر استفاده کنید.» وقتی توزیع هدف مسطح باشد، اندازه مدل اهمیتی ندارد؛ یک مدل بزرگ‌تر هم همچنان نمی‌تواند حدس بزند اعتبارسنج از میان بی‌شمار توکن قابل‌قبول کدام را نمونه‌برداری خواهد کرد.
  • «در دمای بالا، دیکودینگ حدسی خروجی نهایی را تغییر می‌دهد.» قاعده‌ی پذیرش/رد کاری می‌کند که توزیع خروجی در هر دمایی دقیقاً حفظ شود؛ آنچه تغییر می‌کند صرفاً سرعت است.

کجای دوره آموزش داده می‌شود

درس دیکودینگ حدسی در فاز 7 پذیرش را به استراتژی رمزگشایی پیوند می‌زند، درس دیکودینگ حدسی در فاز 10 حالت حریصانه و جدول بارهای کاری را ارائه می‌دهد، درس EAGLE-3 پیچ تنظیم سوئیچینگ را معرفی می‌کند، و درس EAGLE-3 در محیط عملیاتی کف نرخ پذیرش را تعیین می‌کند.