سؤال مصاحبه

چرا مدل پیش‌نویسی که وضعیت‌های پنهان را می‌خواند نرخ پذیرش بالاتری دارد؟

Why a draft that reads hidden states accepts more

  • سطح ۳: ارشد
  • مفهومی
  • ۱۰ دقیقه

مسیر تکامل دیکودینگ حدسی (Speculative Decoding) را از یک مدل پیش‌نویس (Draft Model) کوچک و مجزا تا نسل کنونیِ مبتنی بر وضعیت پنهان (Hidden state) دنبال کنید. هر گام چه محدودیتی را برطرف کرد و چرا تزریق ویژگی‌های درونی مدل اعتبارسنج (Verifier) به مدل پیش‌نویس تا این حد اثرگذار است؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

نرخ پذیرش یک مدل کوچک و مجزا از همان خانواده حدود 0.6 است؛ زیرا توزیع آماری آن دچار دریفت (Drift) شده و از مدل اعتبارسنج فاصله می‌گیرد. نخستین نسل پیش‌نویس‌های مبتنی بر وضعیت پنهان، این مدل مجزا را با یک شبکه‌ی یک یا دو لایه‌ای جایگزین می‌کند که ویژگی‌های لایه‌ی آخر مدل اعتبارسنج را می‌خواند. به‌این‌ترتیب، مدل پیش‌نویس کارش را از بازنمایی خودِ اعتبارسنج شروع می‌کند و نرخ پذیرش به 0.7 تا 0.8 می‌رسد. نسل دوم درختی از کاندیداها را پیشنهاد می‌دهد و تمام branchها را در یک گذر با یک ماسک اتنشن (Attention) درختی‌شکل ارزیابی می‌کند؛ این کار نرخ پذیرش به ازای هر توکن در مسیرِ پذیرفته‌شده را بالا کشیده (Lifting) و به بیش از 0.85 می‌رساند. نسل سوم تابع زیان (loss) تطبیق ویژگی را کنار می‌گذارد، مستقیماً روی پیش‌بینی توکن آموزش می‌بیند و حین آموزش خروجی‌های قبلی خودِ پیش‌نویس را به آن برمی‌گرداند؛ این کار سوگیری مواجهه (Exposure bias) را حذف کرده و نرخ پذیرش را به 0.88 تا 0.92 می‌رساند.

پاسخ کامل

سیر تکامل

نسل مدل پیش‌نویس نرخ پذیرش هزینه‌ی آموزش
مدل کوچک و مجزا یک مدل کوچک‌تر که مستقل آموزش دیده است 0.55 تا 0.70 صفر
هدهای اضافی روی مدل اعتبارسنج چند هد خروجی که جایگاه‌های جلوتر را پیش‌بینی می‌کنند 0.65 تا 0.75 حدود 1B توکن نظارت‌شده
نخستین پیش‌نویسِ وضعیت پنهان یک لایه‌ی ترنسفورمر (Transformer) روی آخرین وضعیت پنهان اعتبارسنج 0.70 تا 0.80 حدود 60B توکن
درخت پیش‌نویس پویا همان ساختار به‌همراه درختی از کاندیداها 0.80 تا 0.88 حدود 60B توکن
ویژگی‌های چندلایه‌ای به‌همراه آزمون در زمان آموزش ادغام چند لایه‌ی اعتبارسنج؛ آموزش‌دیده روی خروجی‌های خودش 0.88 تا 0.92 حدود 60 تا 200B توکن

چرا وضعیت پنهان گره‌گشاست؟

یک مدل پیش‌نویسِ مجزا باید همان محاسباتی را که مدل اعتبارسنج قبلاً انجام داده، دوباره از روی توکن‌های خام تکرار کند. آخرین وضعیت پنهان اعتبارسنج در جایگاه t خلاصه‌ای غنی از پیشوند متن است، و یک شبکه‌ی بسیار کوچک که آن را بخواند، توکن بعدی اعتبارسنج را بسیار دقیق‌تر از یک مدل کوچک که صرفاً شناسه‌های توکن (Token IDs) را می‌بیند، پیش‌بینی خواهد کرد. در واقع، مدل پیش‌نویس به‌جای تقلید ناشیانه از اعتبارسنج، به خواننده‌ی درونیات آن تبدیل می‌شود.

ساختار درختی چه مزیتی دارد؟

یک زنجیره‌ی خطی از پیش‌نویس‌ها با نخستین حدس اشتباه متوقف می‌شود. در مقابل، یک ساختار درختی در هر عمق چند کاندیدا پیشنهاد می‌دهد؛ هرجا پیش‌نویس نامطمئن باشد شاخه‌ها پهن‌تر می‌شوند و هرجا اطمینان بالاست، باریک می‌ماند. سپس مدل اعتبارسنج تمام گره‌ها را تنها در یک گذر رو به جلو (forward pass) ارزیابی می‌کند؛ آن هم با ماسکی که به هر گره فقط اجازه‌ی اتنشن به نیاکانش را می‌دهد. در نهایت طولانی‌ترین مسیر پذیرفته‌شده انتخاب می‌شود. هزینه‌ی اعتبارسنجی هم تقریباً تغییری نمی‌کند، چون کماکان فقط یک گذر رو به جلو داریم.

نسل سوم چه مشکلی را برطرف می‌کند؟

پیش‌نویس‌های وضعیت پنهان اولیه طوری آموزش داده می‌شدند که ویژگی‌های اعتبارسنج را بازتولید کنند؛ امری که سقف اثربخشیِ داده‌های آموزشی بیشتر را محدود می‌کرد. نسل سوم مستقیماً روی پیش‌بینی توکن آموزش می‌بیند و حین آموزش طی چندین گام متوالی، خروجی‌های قبلی خود پیش‌نویس را به آن برمی‌گرداند؛ یعنی دقیقاً همان رفتاری که هنگام استنتاج دارد. این سازوکار ورودی‌های زمان آموزش را با ورودی‌های زمان استنتاج هم‌راستا می‌کند و جلوی انباشت خطا را می‌گیرد؛ دقیقاً همان راه‌حلی که نمونه‌برداری برنامه‌ریزی‌شده (Scheduled sampling) برای مدل‌های توالی به همراه داشت. مقاله‌ی این روش تا 6.5 برابر سرعت سرتاسری (End-to-end) بیشتر در چت و 38 درصد بهبود نرخ پردازش (Throughput) را در دسته‌ی (batch) 64 روی یک موتور در محیط عملیاتی (Production) گزارش کرده است.

پیش‌نویس فقط به‌اندازه‌ی ترافیک ورودی‌اش خوب کار می‌کند

یک هدِ پیش‌نویس همه‌منظوره که روی داده‌های گفتگویی (Chat) آموزش دیده باشد، روی ترافیک مربوط به کد، متون پزشکی یا حقوقی با افت شدید نرخ پذیرش به 0.4 تا 0.6 مواجه می‌شود. ساخت یک هد تخصصی برای هر دامنه این افت را جبران می‌کند، و آموزش آن در مقایسه با فاین‌تیونینگ (Fine-tuning) مدل اعتبارسنج کار بسیار سبکی است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا تطبیق ویژگی‌های اعتبارسنج در نسل‌های اولیه کارایی داده‌ها را محدود می‌کرد؟ پاسخ مورد انتظار: تابع زیانِ ویژگی از پیش‌نویس می‌خواست به‌جای پیش‌بینی مستقیم توکن‌ها، وضعیت‌های پنهان را بازسازی کند؛ بنابراین داده‌های بیشتر کمکی به بهبود کارایی نمی‌کرد. نسل سوم مستقیماً روی توکن‌ها آموزش می‌بیند.
  • سطح 3: سوگیری مواجهه در این سناریو به چه معناست؟ پاسخ مورد انتظار: مدل پیش‌نویس با روش Teacher-forcing روی ورودی‌های اعتبارسنج آموزش دیده بود اما در زمان اجرا روی خروجی‌های خودش کار می‌کرد؛ این ناهماهنگی در طول گام‌های متوالیِ پیش‌نویس تشدید می‌شود.
  • سطح 4: ساختار درختی چه هزینه‌ای به سیستم اضافه می‌کند؟ پاسخ مورد انتظار: یک ماسک اتنشن غیرعلّی (Non-causal) متناسب با توپولوژی درخت، کلیدها و مقادیر (KV) اضافیِ ذخیره‌شده برای گره‌های درخت، و پیچیدگی بیشتر اسکژولر (Scheduler)؛ هرچند اعتبارسنج همچنان فقط یک بار اجرا می‌شود.
  • سطح 4: طراحی مبتنی بر هدهای اضافی را در مقایسه با پیش‌نویسِ وضعیت پنهان چگونه ارزیابی می‌کنید؟ پاسخ مورد انتظار: در مدل هدهای اضافی نیازی به استقرار مدل دوم نیست و سرویس‌دهی آسان‌تر است؛ اما در مقابل نرخ پذیرش تا حدی پایین‌تر می‌آید و به یک مرحله فاین‌تیونینگ نظارت‌شده روی خود اعتبارسنج نیاز دارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «بزرگ‌تر کردن مدل پیش‌نویسِ مجزا اهرم اصلی است.» هم‌راستایی با اعتبارسنج بسیار مهم‌تر از اندازه است؛ یک پیش‌نویس تک‌لایه‌ای روی وضعیت‌های پنهان، مدلی مستقل و بسیار بزرگ‌تر را شکست می‌دهد.
  • «پیش‌نویسِ وضعیت پنهان توزیع خروجی اعتبارسنج را تغییر می‌دهد تا نرخ پذیرش را بالا ببرد.» سازوکار رد/پذیرش، خروجی نهایی را کاملاً دقیق و دست‌نخورده نگه می‌دارد؛ پیش‌نویس فقط دفعات درست بودن حدس‌ها را بیشتر می‌کند.
  • «بررسی درخت به ازای هر branch به یک گذر اعتبارسنج نیاز دارد.» تمام شاخه‌ها هم‌زمان در یک گذر و با همان ماسک درختی اعتبارسنجی می‌شوند.

کجای دوره آموزش داده می‌شود

درس EAGLE-3 این مسیر تکامل و آزمون زمان آموزش را گام‌به‌گام بررسی می‌کند، درس دیکودینگ حدسی در فاز 10 بازاستفاده از ویژگی‌ها و اعتبارسنجی درختی را شرح می‌دهد، درس فاز 7 خانواده‌های مختلف پیش‌نویس را معرفی می‌کند و درس EAGLE-3 در محیط عملیاتی موضوع دریفت دامنه را پوشش می‌دهد.