سؤال مصاحبه

میانگین تاخیر بهتر شده اما وضعیت دنباله بدتر شده است

Mean latency improved and the tail got worse

  • سطح ۴: استف
  • اشکال‌یابی
  • ۱۲ دقیقه

طی یک هفته، دو تغییر اعمال شد: مدل هدف (Target model) به نسخه‌ی بعدی ارتقا یافت، و ترافیک مشتری جدیدی که بیشتر درخواست‌هایش کد است به همین کلاستر هدایت شد. دیکودینگ حدسی (Speculative Decoding) ماه‌هاست که فعال است. از آن زمان به بعد، میانگین تاخیر بین‌توکنی (inter-token latency) 25 درصد کاهش یافته، اما صدک 99 (P99) به میزان 15 درصد بالا رفته و نرخ پردازش (Throughput) در همایندی (concurrency) همیشگی افت کرده است. مشکل را ریشه‌یابی کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر دو تغییر به نرخ پذیرش (acceptance rate) ضربه می‌زنند. هد (Head) پیش‌نویس بر اساس نسخه‌ی قبلی مدل هدف آموزش دیده بود؛ بنابراین توزیع آن دچار دریفت (Drift) شده و پیش‌نویس‌های بیشتری رد می‌شوند. از طرف دیگر، ترافیک کد باعث تغییر دامنه داده‌ها (Domain shift) نسبت به داده‌های گفت‌وگوی عمومی (که هد روی آن‌ها آموزش دیده بود) می‌شود، جایی که نرخ پذیرش به بازه‌ی 0.4 تا 0.6 سقوط می‌کند. هزینه‌ی یک پیش‌نویسِ ردشده، یک مرحله تایید (verify) و یک بار تولید مجدد توکن است؛ این دو مرحله در یک دسته (batch) پر به‌صورت متوالی اجرا می‌شوند، و این دقیقاً همان دلیلی است که دنباله (tail) بدتر می‌شود در حالی که میانگین هنوز در حال بهبود است. نرخ پذیرش را به تفکیک بخش‌های ترافیک و نسخه‌ی مدل هدف از معیارهای دیکودینگ حدسی انجین بخوانید، هد را دوباره آموزش دهید یا به هدی بازگردید که با مدل هدف جدید هماهنگ است، و دیکودینگ حدسی را برای هر کلاس درخواست با گیت‌های کنترلی (Gates) مدیریت کنید.

پاسخ کامل

چرا میانگین و دنباله در جهت عکس هم حرکت می‌کنند؟

بیشتر درخواست‌ها همچنان بیشتر پیش‌نویس‌ها را می‌پذیرند؛ در نتیجه تاخیر بین‌توکنی آن‌ها کم شده و میانگین کلی بهبود پیدا می‌کند. اما درخواست‌هایی که پیش‌نویس آن‌ها همان ابتدا رد می‌شود، هزینه‌ی گام‌های پیش‌نویس، تایید و یک دور اجرای دوباره‌ی مدل هدف برای تصحیح را می‌پردازند؛ زیر بار یک دسته‌ی پر، این مراحل پشت سر هم در صف قرار می‌گیرند. دنباله درست جایی است که این درخواست‌های ردشده در آن جا خوش کرده‌اند. حواستان به P99 باشد، نه P50.

علت اول: عقب ماندن پیش‌نویس به اندازه‌ی یک نسخه

یک هد پیش‌نویسِ مبتنی بر وضعیت پنهان (hidden-state draft) آموزش می‌بیند تا توکن بعدیِ یک مدل هدفِ مشخص را بر اساس ویژگی‌های همان مدل پیش‌بینی کند. با آمدن نسخه‌ی جدید مدل هدف، ویژگی‌ها و توزیع داده‌ها تغییر می‌کنند و هم‌خوانی هد با آن پایین می‌آید. تمرین اول پروژه‌ی پایانی دقیقاً اندازه‌گیری همین افت کارایی و ساخت هشدار برای آن است.

علت دوم: دامنه‌ای که هد هرگز ندیده است

هدی که روی گفت‌وگوی عمومی آموزش دیده، در همان فضا به نرخ پذیرش 0.6 تا 0.8 می‌رسد، اما روی ترافیک کد، پزشکی یا حقوقی بین 0.4 تا 0.6 متوقف می‌شود. توکن‌های کد برای هدی که روی کد آموزش دیده قابل پیش‌بینی‌اند، اما هدی که کد ندیده پیش‌بینی‌های ضعیفی از آن‌ها ارائه می‌دهد. در همایندی بالا، اگر نرخ پذیرش به زیر حدود 0.55 برسد، دیکودینگ حدسی خروجی معکوس می‌دهد؛ بنابراین مشتری جدید احتمالاً کلاستر را به زیر این کف رانده است.

فرایند ریشه‌یابی

  1. تعداد توکن‌های پیش‌نویس پذیرفته‌شده و پیشنهادی را به ازای هر درخواست از انجین بگیرید، اولی را بر دومی تقسیم کنید و خروجی را بر اساس نسخه‌ی مدل هدف و دسته‌بندی مشتری یا کلاس درخواست تفکیک نمایید. اکتفا به یک عدد برای کل کلاستر، هر دو علت را پنهان می‌کند.
  2. بخش ترافیک گفت‌وگو را قبل و بعد از ارتقا مقایسه کنید: اگر افت کرده باشد، دریفت ناشی از نسخه قطعی است.
  3. در همان نسخه، بخش ترافیک کد را با ترافیک گفت‌وگو مقایسه کنید: اگر بسیار پایین‌تر بود، تغییر دامنه داده‌ها قطعی است.
  4. با باکت‌بندی (Bucketing) صدک P99 بر اساس نرخ پذیرش، ماجرای دنباله را تایید کنید؛ بخش کُند دنباله باید همان ترافیک با پذیرش پایین باشد.

راهکار رفع مشکل

  • هد را متناسب با نسخه‌ی جدید مدل هدف بازآموزی کنید، یا مدل هدف را به عقب بازگردانید تا زمانی که هد هماهنگ آماده شود.
  • ترافیک مشتری کد را به استخر رمزگشایی (decode) ساده هدایت کنید، یا هدی اختصاصی برای کد آموزش دهید؛ هزینه‌ی این آموزش در مقایسه با فاین‌تیونینگ (Fine-tuning) مدل هدف ناچیز است.
  • دیکودینگ حدسی را بر اساس نرخ پذیرشِ اندازه‌گیری‌شده برای هر کلاس درخواست گیت‌بندی کنید و در صورت افت پذیرش به زیر کف مشخص، طرح پشتیبان (Fallback) یعنی مدل n-gram یا رمزگشایی بدون پیش‌نویس را در نظر بگیرید.
  • روی نرخ پذیرش در هر بخش از ترافیک هشدار بگذارید تا ارتقای بعدیِ نسخه نتواند بدون هد پیش‌نویس هماهنگ push شود.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چطور ممکن است میانگین تاخیر بهتر شود اما نرخ پردازش افت کند؟ پاسخ مورد انتظار: درخواست‌هایی که پیش‌نویس آن‌ها پذیرفته می‌شود سریع‌تر پیش می‌روند، اما درخواست‌های ردشده هر کدام دو مرحله از پردازش مدل هدف را مصرف می‌کنند؛ در یک دسته‌ی پر، این پردازشِ اضافه ظرفیت بقیه‌ی درخواست‌ها را اشغال می‌کند.
  • سطح 4: سیستم هشدار را در دو جمله طراحی کنید. پاسخ مورد انتظار: نرخ پذیرش را به ازای هر بخش از ترافیک و هر نسخه‌ی مدل هدف در یک بازه‌ی زمانی کوتاه محاسبه کنید و آن را با خط مبنا (Baseline) ثبت‌شده در زمان انتشار بسنجید؛ هرگاه یک بخش از کف مجاز رد شد یا افت ثابتی نسبت به خط مبنایش پیدا کرد، پیجر هشدار دهد.
  • سطح 4: اگر نرخ پذیرش فقط در یک بخش از ترافیک افت کند، طرح پشتیبان چیست؟ پاسخ مورد انتظار: در حین بازآموزی هد، پیش‌نویس آن بخش را به پیش‌نویس n-gram یا رمزگشایی ساده تغییر دهید و دیکودینگ حدسی را در جاهایی که هنوز بازدهی دارد نگه دارید.
  • سطح 4: این ماجرا چه تغییری در فرایند (Process) انتشار شما ایجاد می‌کند؟ پاسخ مورد انتظار: ارتقای مدل هدف همراه با هد پیش‌نویسِ هماهنگ با آن منتشر می‌شود، و بنچمارکی که گیت خروجی انتشار است باید نرخ پذیرش و P99 را به تفکیک هر بخش گزارش کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «طول پیش‌نویس را بیشتر کنید تا نرخ پردازش برگردد.» در نرخ پذیرش پایین، پیش‌نویس‌های بیشتر اغلب رد می‌شوند و هزینه‌شان هم پرداخته می‌شود؛ با این کار دنباله بدتر خواهد شد.
  • «دیکودینگ حدسی را همه‌جا خاموش کنید.» بخش گفت‌وگو شاید هنوز بازدهی داشته باشد؛ ترافیک را به تفکیک بخش گیت‌بندی کنید و هد را اصلاح نمایید.
  • «مدل هدف جدید ذاتاً کندتر است؛ ربطی به دیکودینگ حدسی ندارد.» یک بنچمارک رمزگشایی ساده از مدل هدف جدید ظرف چند دقیقه این مسئله را روشن می‌کند، و بهبود میانگین هم‌زمان با بدتر شدن دنباله دقیقاً به ریجکت شدن پیش‌نویس‌ها اشاره دارد.

کجای دوره آموزش داده می‌شود

تمرین‌های سنجش دریفت و طرح پشتیبان در پروژه‌ی پایانی سرور دیکودینگ حدسی، مفاهیم دنباله و کف نرخ پذیرش در درس عملیاتی EAGLE-3، و دلیل وابستگی هد پیش‌نویس به یک نسخه‌ی خاص از مدل هدف در درس EAGLE-3 آموزش داده شده‌اند.