سؤال مصاحبه

مسیریاب نیمی از هزینه‌ها را نجات داد، اما بعد نرخ ارجاع به بالا اوج گرفت

The router saved half the bill, then the escalations climbed

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

شش ماه پیش، یک مسیریاب آبشاری (cascading router) هزینه‌ها را بدون هیچ افت کیفیت محسوسی به کمتر از نصف رساند. از آن زمان تاکنون، نرخ ارجاع به بالا (escalation rate) کم‌کم از 8 درصد به 22 درصد رسیده است و یکی از مهندسان فروش گزارش می‌دهد که دموی محصول رقیب حالا بهتر از محصول شما پاسخ می‌دهد. مشکل را ریشه‌یابی کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ترافیک ورودی دچار دریفت (drift) شده، اما مسیریاب تغییری نکرده است. کلاسیفایرِ مسیریاب روی ترکیب سوالات شش ماه پیش آموزش دیده است؛ کاربران حالا سوالات طولانی‌تر و سخت‌تری می‌پرسند و در نتیجه، ارزیابی اولیه‌ی مدل ارزان‌قیمت بیشتر از قبل در بررسی میزان اطمینان خودش رد می‌شود؛ چیزی که افزایش نرخ ارجاع به بالا دقیقاً همان را ثبت می‌کند. از طرفی، کیفیت درخواست‌هایی که به بالا ارجاع داده نشده‌اند، در سکوت افت کرده است. باید هر مسیر را با گیت‌های کیفی آنلاین (online quality gates) کنترل کنید، کلاسیفایر را بر اساس ترافیک فعلی بازآموزی کنید، و نرخ ارجاع به بالای بیش از حدود 30 درصد را اثباتی بر مسیریابی بیش از حد به مدل ارزان بدانید.

پاسخ کامل

حالت شکستی که در درس درباره‌اش هشدار داده شد

یک مسیر بخش بزرگی از ترافیک را به یک مدل ضعیف‌تر می‌فرستد. طی چند ماه، توزیع وظایف (task distribution) دچار تغییر می‌شود: کاربران حرفه‌ای‌تر می‌شوند و سوالات طولانی‌تری می‌پرسند. مسیریاب متوجه این موضوع نمی‌شود، چون کلاسیفایر آن روی داده‌های فصل قبل آموزش دیده است. کیفیت مدل در وظایف استدلالی چند درصدی افت می‌کند، کسی آن‌قدر بلند اعتراض نمی‌کند، و تیم در نهایت ماجرا را از بنچمارک یک رقیب می‌فهمد. اعدادی که در درس برای این الگو آمده است: 40 درصد ترافیک به مدل ارزان هدایت می‌شود، 3 تا 5 درصد افت کیفیت رخ می‌دهد، و این وضعیت یک فصل کامل از دید پنهان می‌ماند.

سه دلیل بالا رفتن نرخ ارجاع به بالا

  1. تغییر توزیع (Distribution shift): پرامپت‌های طولانی‌تر و سوالات چندمرحله‌ای بیشتر. طبق سیگنال طول در درس، پرامپت‌های بالای 4K توکن اغلب به مدل پیشرو (frontier model) نیاز دارند و پرامپت‌های زیر 500 توکن معمولاً بی‌نیازند. اگر این ترکیب به سمت بالا رفته باشد، پاسخ‌های اولیه‌ی بیشتری شکست می‌خورند.
  2. تغییر در مدل ارزان: به‌روزرسانی ارائه‌دهنده پشت همان نام مستعار (alias)، یا یک ارتقای نسخه‌ی روتین، سیگنال اطمینان و رفتار امتناع مدل (refusal) را جابه‌جا می‌کند.
  3. کهنه شدن آستانه‌ها (Stale thresholds): حد آستانه‌ی اطمینان و مجموعه‌ی امبدینگ‌های سوالات سختِ شناخته‌شده، بر اساس ترافیک قدیمی تنظیم شده‌اند.

هر دلیل راهکار خودش را دارد: کلاسیفایر را روی ترافیک برچسب‌خورده‌ی اخیر بازآموزی کنید، نسخه‌ی مدل را ثابت (pin) کنید و مدل سرویس‌دهنده را در هر فراخوانی لاگ بیندازید، و در نهایت مجموعه‌ی سوالات سخت و حد آستانه را با یک ارزیابی (eval) جدید تازه کنید.

گیت‌های کنترلی روی ترافیک زنده

در این درس، مسیرها با سیگنال‌های زنده کنترل می‌شوند، نه با مجموعه‌داده‌های آفلاین:

  • لایک و دیس‌لایک (thumbs up and down) به تفکیک هر مسیر؛
  • یک داور خودکار روی نمونه‌ی 5 درصدی نگه‌داشته‌شده (held-out) به تفکیک هر مسیر؛
  • نرخ ارجاع به بالا، که در آن اگر ساختار آبشاری بیش از 30 درصد درخواست‌ها را به بالا بفرستد، نشانه‌ی مسیریابی بیش از حد است؛
  • نرخ امتناع مدل به تفکیک هر مسیر.

هزینه‌ی فعلی ساختار آبشاری چقدر است؟

الگوی آبشاری برای تاخیری در حدود 1.2 برابر میانه‌ی تاخیر (median latency) و حدود 2 برابر برای سهم ارجاع‌داده‌شده طراحی شده بود، با این فرض که تقریباً 10 درصد درخواست‌ها ارجاع داده شوند. با نرخ ارجاع 22 درصدی، یک‌پنجم درخواست‌ها تاوان دو فراخوانی مدل و مسیر کند را می‌پردازند؛ بنابراین هم‌زمان با افت کیفیت، میزان صرفه‌جویی در هزینه هم آب رفته است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا ارزیابی آفلاین متوجه این افت نشد؟ پاسخ مورد انتظار: مجموعه‌ی ارزیابی بر اساس توزیع قدیمی ساخته شده بود و مدل را روی سوالاتی می‌سنجد که کاربران دیگر نمی‌پرسند.
  • سطح 3: کدام متریک آنلاین زودتر از همه هشدار می‌دهد؟ پاسخ مورد انتظار: نرخ ارجاع به بالا در هر مسیر. این عدد با افزایش خطای مدل ارزان در بررسی اطمینان خودش بالا می‌رود، پیش از آنکه بازخورد کاربران یا نمونه‌گیری داور افت را نشان دهند.
  • سطح 4: ارائه‌دهنده، مدل ارزان را پشت همان نام مستعار به‌روزرسانی کرده است؛ چطور متوجه می‌شوید؟ پاسخ مورد انتظار: یک جهش پله‌ای در ارجاع‌ها یا امتیازات داور در تاریخی که هیچ دیپلویی (deploy) از سمت شما انجام نشده است. نسخه‌ی مدل را ثابت کنید و مدل سرویس‌دهنده را در تمام فراخوانی‌ها لاگ بیندازید.
  • سطح 4: هشدار (alarm) نرخ ارجاع به بالا را روی چه عددی تنظیم می‌کنید؟ پاسخ مورد انتظار: نزدیک به هدف طراحی، یعنی حدود 10 درصد ارجاع برای الگوی آبشاری، و در نظر گرفتن عدد 30 درصدیِ درس به عنوان خط قرمز قطعی برای مسیریابی بیش از حد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل ارزان بدتر شده است، عوضش کنید.» این احتمال وجود دارد، اما متهم ردیف اول، کلاسیفایر کهنه‌ی مسیریاب در برابر ترافیک تغییریافته است.
  • «کیفیت مشکلی ندارد، امتیاز ارزیابی تغییری نکرده است.» مجموعه‌ی ارزیابی متعلق به توزیع قدیمی است و سوالات جدید را نمی‌بیند.
  • «آستانه‌ی اطمینان را بالا ببرید تا درخواست‌های بیشتری به مدل پیشرو بروند.» این کار بدون پیدا کردن علت اصلی، صرفاً کیفیت را با صرف هزینه می‌خرد. مسیریاب را دوباره آموزش دهید و آن را با گیت‌های آنلاین مهار کنید.

کجای دوره آموزش داده می‌شود

در درس مسیریابی مدل به پدیده‌ی دریفت مدل ارزان و گیت‌های کیفی آنلاینی که جلوی آن را می‌گیرند اشاره شده است.