سؤال مصاحبه

ادغام در پیش‌آموزش، آموزش پس از آن، یا استفاده از یک مدل کوچک؟

Bake in the draft, train it after, or borrow a small model

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

شما در آستانه‌ی پیش‌آموزش مدلی هستید که قرار است بعداً حجم بالایی از ترافیک را با دیکودینگ حدسی (Speculative Decoding) پردازش کند. سه راه برای آماده‌سازی مدل پیش‌نویس (draft) پیش رو دارید: ادغام ماژول‌های توالی چندتوکنی در پیش‌آموزش، آموزش یک هد پیش‌نویس مبتنی بر وضعیت پنهان (hidden-state draft head) پس از پیش‌آموزش، یا استفاده‌ی مجدد از یک مدل کوچک هم‌خانواده. تصمیم نهایی را همراه با هزینه‌های هر روش مشخص کنید و معیاری را نام ببرید که پیش از فعال‌سازی فلگ در محیط عملیاتی اندازه می‌گیرید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

اگر فرایند پیش‌آموزش در اختیار من باشد و اندازه‌ی وضعیت پنهان حداقل 4096 باشد، ماژول‌های متوالی را در دل پیش‌آموزش می‌گنجانم: حدود 10 درصد آموزش کندتر می‌شود، اما در ازای آن سیگنال نظارتی متراکم‌تر و پیش‌نویسی به دست می‌آید که در عمق یک، 80 درصد یا بیشتر پذیرش دارد. اگر وزن‌های مدل از قبل آماده باشند، یک هد پسینی (post-hoc) را روی ویژگی‌های مدل اعتبارسنج (verifier) با حدود 60 تا 200B توکن آموزش می‌دهم؛ این روش سازگاری با گذشته را حفظ می‌کند و در مکالمات عمومی به نرخ پذیرش 0.88 تا 0.92 می‌رسد. مدل کوچک هم‌خانواده نیازی به آموزش ندارد و پذیرش آن حدود 0.55 تا 0.70 است. انتخاب من هر چه باشد، شرط فعال‌سازی (gate) سنجش نرخ پذیرش روی ترکیب ترافیک واقعی با همروندی محیط عملیاتی است؛ اگر این عدد زیر 0.55 بیاید فلگ را خاموش می‌کنم و به‌جای میانگین، تاخیر دنباله (tail latency) را زیر نظر می‌گیرم.

پاسخ کامل

سه گزینه

گزینه زمان آموزش سازگاری با وزن‌های موجود پارامترهای پیش‌نویس نرخ پذیرش مزیت اضافه
ماژول‌های متوالی در پیش‌آموزش حین پیش‌آموزش خیر یک بلوک به‌همراه یک تصویر (projection) به ازای هر عمق 0.80 و بالاتر در عمق یک سیگنال آموزش متراکم‌تر
هد پسینی روی ویژگی‌های مدل اعتبارسنج پس از پیش‌آموزش بله یک یا دو لایه، آموزش‌دیده روی حدود 60 تا 200B توکن 0.88 تا 0.92 روی مکالمه مزیتی جز سرعت ندارد
مدل کوچک هم‌خانواده بدون آموزش بله یک مدل کوچک کامل 0.55 تا 0.70 مزیتی ندارد و حافظه هم مصرف می‌کند

درخت تصمیم

  1. آیا پیش‌آموزش در اختیار شماست؟ اگر بله و مدل به اندازه‌ی کافی بزرگ است، ماژول‌های متوالی تنها گزینه‌ای هستند که کیفیت مدل و کارایی سرویس‌دهی را هم‌زمان ارتقا می‌دهند؛ گزارشی که این روش را معرفی کرد، افزایش نرخ پردازش (throughput) تولید متن را صرفاً از سمت پیش‌نویس حدود 1.8 برابر ثبت کرده است. در مقیاس 1B پارامتر، بار اضافه بیشتر از سود آن آسیب می‌زند.
  2. آیا وزن‌های مدل از قبل آماده‌اند؟ در این حالت سراغ هد پسینی بروید. هزینه‌ی آموزش آن در مقایسه با مدل اعتبارسنج بسیار سبک است و خروجی‌های مدل اعتبارسنج را هم دستکاری نمی‌کند.
  3. هیچ بودجه‌ای برای آموزش ندارید؟ از مدل کوچک به‌عنوان پیش‌نمونه (prototype) استفاده کنید، با این آگاهی که سقف پذیرش پایین است و مدل دوم هم حافظه اشغال می‌کند.

شرط فعال‌سازی

دیکودینگ حدسی در موتور پردازش محیط عملیاتی اختیاری (opt-in) است؛ طبق قاعده‌ی درس محیط عملیاتی، روشن کردن فلگ بدون سنجش نرخ پذیرش روی ترافیک واقعی یک پادالگو (anti-pattern) است. برنامه‌ی اجرا به این ترتیب است:

  1. مدل مقصد را به‌شکل معمولی اجرا کنید و زمان تا اولین توکن، تاخیر بین توکن‌ها و نرخ پردازش را در همروندی هدف ثبت کنید.
  2. مدل پیش‌نویس را فعال کنید و همان بنچمارک را دوباره اجرا نمایید.
  3. تعداد توکن‌های پذیرفته‌شده‌ی پیش‌نویس و توکن‌های پیشنهادی پیش‌نویس را به‌ازای هر درخواست از موتور بخوانید و با تقسیم اولی بر دومی، نرخ پذیرش را به دست آورید.
  4. اگر نرخ در همروندی محیط عملیاتی زیر حدود 0.55 بود، فلگ را غیرفعال کنید یا هدی متناسب با دامنه‌ی تخصصی خود آموزش دهید.
  5. مطمئن شوید تاخیر دنباله در فاصله‌ی بین توکن‌ها بدتر نشده باشد؛ چراکه رد شدن پیش‌نویس، هزینه‌ی یک دور اعتبارسنجی و تولید مجدد را به سیستم تحمیل می‌کند.

ترکیب ترافیک

هدی که روی مکالمات عمومی آموزش دیده باشد، در همان حوزه نرخ پذیرش 0.6 تا 0.8 دارد، اما در ترافیک کدنویسی، پزشکی یا حقوقی تا 0.4 الی 0.6 افت می‌کند. پیش از تصمیم‌گیری، نرخ پذیرش را با توجه به سهم هر نوع ترافیک وزن‌دهی کنید و هر بخش را جداگانه بسنجید؛ یک عدد تلفیقی ممکن است بخشی از ترافیک را مخفی کند که دیکودینگ حدسی در آن عملاً نتیجه‌ی منفی دارد. تمرین پروژه‌ی پایانی دقیقاً همین سناریو را بررسی می‌کند: ترکیبی از 70 درصد مکالمه و 30 درصد کد با پذیرش‌های 0.7 و 0.4.

نگهداری در محیط عملیاتی

وقتی نسخه‌ی مدل مقصد عوض شود ولی مدل پیش‌نویس تغییری نکند، نرخ پذیرش دچار دریفت (drift) می‌شود؛ بنابراین برای هر بخش از ترافیک سیستم هشدار بگذارید و یک طرح پشتیبان (fallback) بدون پیش‌نویس یا مبتنی بر n-gram برای بخش‌هایی که هد دیگر صرفه ندارد حفظ کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: ترکیب ترافیک شامل 70 درصد مکالمه با پذیرش 0.7 و 30 درصد کد با پذیرش 0.4 است. چطور تصمیم می‌گیرید؟ پاسخ مورد انتظار: بر اساس سهم ترافیک وزن‌دهی کنید، سپس هر بخش را با حد کف مقایسه نمایید؛ بخش کدنویسی به‌تنهایی پایین‌تر از حد کف است، پس ترافیک کد را به رمزگشایی معمولی هدایت کنید یا هدی مخصوص کد آموزش دهید.
  • سطح 4: مدل مقصد در فصل آینده به نسخه‌ی جدیدی ارتقا می‌یابد. چه اتفاقی برای هر گزینه می‌افتد؟ پاسخ مورد انتظار: ماژول‌های درون‌ساخت هم‌گام با مدل منتقل می‌شوند؛ هد پسینی باید دوباره بر اساس مدل مقصد جدید آموزش ببیند؛ مدل کوچک بیشتر دچار دریفت می‌شود؛ روی نرخ پذیرش در هر نسخه هشدار تنظیم کنید.
  • سطح 4: یک هد مبتنی بر وضعیت پنهان در نسل فعلی چه ورودی‌هایی می‌خواند؟ پاسخ مورد انتظار: ویژگی‌هایی از چند لایه‌ی مختلف مدل مقصد، نه فقط لایه‌ی آخر، که همین موضوع یکی از دلایل بالا رفتن نرخ پذیرش است.
  • سطح 4: گزینه‌ی مدل کوچک هنوز در چه شرایطی برنده است؟ پاسخ مورد انتظار: در پیش‌نمونه‌ای بدون بودجه‌ی آموزش، یا استقرار روی CPU که موتور فقط از مسیر پیش‌نویس معمولی پشتیبانی می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «همیشه از جدیدترین هد پیش‌نویس مبتنی بر وضعیت پنهان استفاده کنید؛ قطعاً بهترین است.» این هد به آموزش بر اساس مدل مقصد شما نیاز دارد و پذیرش آن در ترافیک تخصصی ممکن است تا 0.4 افت کند؛ اگر پیش‌آموزش در اختیارتان باشد، ماژول‌های متوالی هم پیش‌نویس می‌دهند و هم خود مدل را تقویت می‌کنند.
  • «بعداً ماژول‌ها را با فاین‌تیون به مدل اضافه می‌کنیم.» این ماژول‌ها تصمیمی مربوط به مرحله‌ی پیش‌آموزش هستند؛ برای مدلی متراکم که از قبل ساخته شده، باید از هد پسینی استفاده کرد.
  • «بر اساس میزان افزایش سرعت در بنچمارک‌های عمومی انتخاب کنید.» نرخ پذیرش کاملاً به ترافیک شما بستگی دارد؛ ملاک نهایی، سنجش روی ترکیب ترافیک و همروندی واقعی خودتان است.

کجای دوره آموزش داده می‌شود

درس پیش‌بینی چندتوکنی و درس EAGLE-3 دو گزینه‌ی نیازمند آموزش و هزینه‌های آن‌ها را توضیح می‌دهند؛ درس EAGLE-3 در محیط عملیاتی شرایط سنجش و فعال‌سازی را تعیین می‌کند؛ و پروژه‌ی پایانی سرور دیکودینگ حدسی موضوعات دریفت و طرح پشتیبان را پوشش می‌دهد.