سؤال مصاحبه

یک هفته اجرای مدل در حالت سایه چه چیزی را ثابت می‌کند؟

What a week in shadow mode proves

  • سطح ۱: غربالگری
  • مفهومی
  • ۵ دقیقه

یکی از همکارانتان می‌خواهد از انتشار قناری (Canary) صرف‌نظر کند. مدل جدید یک هفته در حالت سایه (Shadow Mode) بدون هیچ خطایی کار کرده و هزینه‌ها هم تغییری نکرده است؛ به همین دلیل او مدل را کاملاً اثبات‌شده می‌داند. این یک هفته واقعاً چه چیزی را نشان می‌دهد و چه مسائلی را بی‌پاسخ می‌گذارد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

حالت سایه درخواست‌های محیط عملیاتی (Production) را برای مدل کاندید هم کپی و خروجی‌هایش را ثبت می‌کند، بدون اینکه کاربری آن‌ها را ببیند. این آزمون نشان می‌دهد که مدل کاندید کرش نمی‌کند، بیشتر از قبل دچار امتناع مدل (Refusal) نمی‌شود، هزینه‌ی بالاتری روی دستمان نمی‌گذارد و پاسخ‌های طولانی‌تری نمی‌نویسد. اما نمی‌تواند نشان دهد که کاربران این پاسخ‌ها را ترجیح می‌دهند یا نه، چون هیچ کاربری آن‌ها را نخوانده است. حالت سایه یک آزمون دود (Smoke Test) است و انتشار قناری، نخستین آزمون سنجش کیفیت به شمار می‌رود.

پاسخ کامل

آنچه حالت سایه ثبت می‌کند

به ازای هر درخواست، خروجی مدل کاندید در کنار خروجی محیط عملیاتی ثبت می‌شود:

  • متن خروجی، به‌صورت تفاوت‌های بازنگری (Diff) در مقایسه با محیط عملیاتی؛
  • تعداد توکن‌ها، که اختلاف هزینه را نشان می‌دهد؛
  • تاخیر (Latency)؛
  • امتناع مدل و خطاهای قطعی (Hard Errors).

مواردی که شناسایی می‌شوند

جهش ناگهانی هزینه‌ها، پس‌رفت در طول پاسخ‌ها، تغییر در نرخ امتناع مدل و خطاهای قطعی. این‌ها خرابی‌هایی هستند که انتشار مدل را بسیار پرهزینه یا مایه‌ی شرمساری می‌کنند و حالت سایه بدون هیچ اثری روی کاربران، آن‌ها را پیدا می‌کند.

مواردی که از دست می‌روند

هرگونه تغییر کیفیتی که کاربر متوجه آن شود. خروجی مدل کاندید هرگز به دست کاربر نمی‌رسد؛ بنابراین بازخورد منفی، تیکت پشتیبانی یا سیگنالی از حفظ کاربر وجود ندارد. مدلی که پاسخ‌های کوتاه‌تر، ارزان‌تر و غلط بدهد، به‌راحتی از حالت سایه عبور می‌کند.

گام بعدی چیست؟

در انتشار قناری، سهم رو‌به‌رشدی از کاربران در معرض مدل کاندید قرار می‌گیرند و در هر گام، گیت‌های کنترلی (Gates) اعمال می‌شوند. این درس بر پایه‌ی پنج معیار گیت‌ها را تنظیم می‌کند: صدک‌های تاخیر، هزینه به ازای هر درخواست، نرخ خطا و امتناع مدل، توزیع طول خروجی و نرخ بازخورد کاربران. مسیر پیشرفت انتشار از 1 درصد شروع می‌شود و به 10، 25، 50، 75 و در نهایت 100 درصد می‌رسد. نخستین بازخورد کاربران این‌جا نمایان می‌شود، نه در حالت سایه.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: حالت سایه چه سیگنالی می‌دهد که ارزیابی آفلاین (Offline Eval) نمی‌تواند بدهد؟ پاسخ مورد انتظار: رفتار مدل کاندید روی ترکیب واقعی درخواست‌ها، از جمله هزینه و طول خروجی به ازای هر درخواست.
  • سطح 2: اگر حالت سایه نشان دهد هزینه به ازای هر درخواست 40 درصد بیشتر از محیط عملیاتی است، چه می‌کنید؟ پاسخ مورد انتظار: پیش از شروع هرگونه انتشار قناری، فرایند را متوقف کنید. هزینه‌ای که بیش از 20 درصد بالاتر از خط مبنا (Baseline) باشد، نقض گیت‌های کنترلی است و مدلی که اقتصاد واحد (Unit Economics) را برهم بزند، مصداق بازگشت به عقب (Rollback) است.
  • سطح 2: چرا در حالت سایه نمی‌توان بازخورد کاربران را سنجید؟ پاسخ مورد انتظار: هیچ کاربری خروجی مدل کاندید را نمی‌بیند؛ بنابراین چیزی برای امتیاز دادن یا گزارش کردن وجود ندارد.
  • سطح 3: حالت سایه بار کاری سرویس مدل را دو برابر می‌کند. چطور هزینه‌ی آن را به‌صرفه نگه می‌دارید؟ پاسخ مورد انتظار: به‌جای همه‌ی درخواست‌ها، سهم ثابتی از آن‌ها را به مدل کاندید بفرستید و همان معیارها را برای این بخش ثبت کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل در حالت سایه قبول شده، پس کیفیت مشکلی ندارد.» در حالت سایه کاربری وجود ندارد؛ بنابراین فقط هزینه، طول خروجی، خطاها و امتناع مدل را می‌سنجد.
  • «حالت سایه همان انتشار قناری در سطح صفر درصد است.» در انتشار قناری، خروجی مدل کاندید به کاربران واقعی بازگردانده می‌شود و گیت‌ها روی بازخورد آن‌ها اعمال می‌شوند. حالت سایه هرگز خروجی را به کاربر بازنمی‌گرداند.
  • «یک هفته اجرای مدل در حالت سایه جایگزین ارزیابی آفلاین می‌شود.» ارزیابی آفلاین درستی پاسخ‌ها را روی یک مجموعه‌داده‌ی برچسب‌دار می‌سنجد. حالت سایه رفتار مدل را روی ترافیک زنده ثبت می‌کند. این دو به سوال‌های متفاوتی پاسخ می‌دهند.

کجای دوره آموزش داده می‌شود

در درس تحویل تدریجی، حالت سایه، پنج گیت کنترلی انتشار قناری و مسیر بازگشت به عقب تعریف شده‌اند.