سؤال مصاحبه

تنظیم گیت‌های کنترلی قناری بدون توقف روی نویز

Set canary gates that do not halt on noise

  • سطح ۳: ارشد
  • طراحی
  • ۱۲ دقیقه

می‌خواهید یک انتشار قناری (Canary) برای مدلی جدید راه بیندازید. تیم قانونی می‌خواهد که با کوچک‌ترین تفاوت بین قناری و خط مبنا (Baseline) روی هر معیاری، انتشار متوقف شود. گیت‌های کنترلی (Gates) را طوری طراحی کنید که افت عملکرد واقعی را به دام بیندازند و در عین حال اجازه دهند انتشاری سالم به کارش ادامه دهد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر گیت را به‌صورت ضریبی بالاتر از خط مبنا تعریف کنید، نه بر اساس برابری محض. گیت‌ها را روی پنج معیار بگذارید: صدک‌های تاخیر (Latency)، هزینه به ازای هر درخواست، نرخ خطا و امتناع مدل (Refusal)، توزیع طول خروجی و نرخ بازخورد کاربران. هر آستانه (Threshold) را فراتر از واریانس بین‌اجرایی قرار دهید؛ این واریانس در درس روی ورودی‌های یکسان تا 15 درصد اندازه‌گیری شد. همچنین هر گام را به اندازه‌ای نگه دارید که نمونه‌های لازم برای بررسی گیت جمع‌آوری شوند.

پاسخ کامل

چرا تکیه بر برابری محض شکست می‌خورد؟

ورودی‌های کاملاً یکسان خروجی‌های متفاوتی تولید می‌کنند. عملیات کاهش ممیز شناور روی GPU با توجه به ابعاد هر دسته (Batch) با ترتیبی متفاوت اجرا می‌شوند، اندازه دسته بین اجراها تغییر می‌کند و نمونه‌برداری با دمای (Temperature) بالاتر از صفر هم تصادفی بودن خودش را اضافه می‌کند. این درس تا 15 درصد نوسان دقت بین اجراهای مختلف روی یک مجموعه ارزیابی یکسان را گزارش می‌کند؛ بنابراین، «پایدار بودن» یعنی ماندن درون واریانس مورد انتظار، نه تطابق مو‌به‌مو با خط مبنا.

پنج گیت کنترلی

معیار تخطی
صدک‌های تاخیر P50، P95 و P99 صدک P99 قناری بالاتر از 1.5 برابر خط مبنا باشد
هزینه به ازای هر درخواست بیش از 20 درصد بالاتر از خط مبنا باشد
نرخ خطا و امتناع مدل 2 برابر خط مبنا باشد
طول خروجی، میانگین و P99 تغییر در توزیع رخ دهد
بازخورد کاربران، دیس‌لایک‌ها و تیکت‌ها 1.5 برابر خط مبنا باشد

اول کف نویز را اندازه بگیرید

پیش از اجرای قناری، دو شاخه مجزا از همان مدل خط مبنا را اجرا کنید و میزان پراکندگی هر معیار را بین این دو بسنجید. این پراکندگی همان کف نویز (Noise Floor) است. اگر گیتی پایین‌تر از این کف نویز تنظیم شود، هر فرآیند انتشاری را متوقف می‌کند؛ حتی یک انتشار کاملاً سالم را. تمرین این درس ضرایب لازم را برای شرایطی می‌خواهد که نویز ارزیابی مثبت یا منفی 7 درصد باشد؛ پاسخ درست، تنظیم گیت بالاتر از این بازه است.

هر گام را به اندازه کافی نگه دارید

روند پیشرفت شامل پله‌های 1، 10، 25، 50، 75 و 100 درصدی است. گیت‌ها هر 5 تا 15 دقیقه داده‌ها را بررسی می‌کنند. در بار کاریِ 1,000 درخواست در دقیقه، ترافیک 1 درصدی معادل 10 درخواست در دقیقه برای قناری است، یعنی در هر بازه بررسی 50 تا 150 نقطه داده ثبت می‌شود. این حجم برای بررسی تاخیر و خطاها کافی است، اما سرنوشت صدک P99 را فقط یک یا دو نمونه تعیین می‌کنند؛ بنابراین گیت P99 باید بیش از یک بازه زمانی پایش شود. این تعداد داده برای بازخورد کاربران هم بسیار کم است. هر گام باید آن‌قدر مکث کند تا گیت به حد نصاب نمونه‌هایش برسد.

بازگشت به عقب را ارزان و بی‌دردسر نگه دارید

توقف تنها زمانی به درد می‌خورد که بازگشت به عقب (Rollback) سریع باشد. سهم ترافیک را در یک پرچم سیاست (Policy flag) نگه دارید و مدل را در یک رجیستری با دایجست ثابت (Pinned digest) ثبت کنید، تا در صورت هرگونه تخطی، بازگشت به عقب در عرض چند ثانیه انجام شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چطور پیش از شروع قناری، مقدار نویز را به دست می‌آورید؟ پاسخ مورد انتظار: دو بازوی قناری از همان مدل خط مبنا اجرا کنید و میزان پراکندگی هر معیار را بین آن‌ها بسنجید.
  • سطح 3: بازخورد کاربران در پله اول کمتر از آن است که بتوان روی آن گیت گذاشت. چه کار می‌کنید؟ پاسخ مورد انتظار: پله‌های اول را بر اساس تاخیر، هزینه، خطاها و طول خروجی بسنجید و گیت بازخورد کاربر را از پله‌ای وارد مدار کنید که نمونه کافی داشته باشد.
  • سطح 4: گیتی در یک گام فعال می‌شود، ولی در بررسی بعدی دوباره مقدار معیار عادی می‌شود. ادامه می‌دهید یا متوقف می‌کنید؟ پاسخ مورد انتظار: کار را متوقف و مسئله را بررسی کنید. گیتی که وضعیتش نوسان دارد (Flap می‌زند)، یا در دل نویز نشسته یا با افتی مقطعی روبه‌رو شده است؛ در هر دو حالت، باید پیش از هدایت کاربران بیشتر به سمت مدل درباره‌اش تصمیم گرفت.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «با هر تفاوتی نسبت به خط مبنا، کار متوقف شود.» دو اجرای مختلف از یک مدل همیشه با هم فرق دارند؛ این قانون هر بار انتشار را متوقف می‌کند.
  • «گیت بر اساس میانگین تاخیر تنظیم شود.» میانگین دم توزیع را پنهان می‌کند. همیشه روی صدک‌ها گیت بگذارید.
  • «هیچ‌گونه افزایش هزینه‌ای مجاز نیست.» یک مدل بهتر ممکن است گران‌تر تمام شود. این درس حد تخطی را روی 20 درصد گذاشته است و این تیم محصول است که تصمیم می‌گیرد آیا این بهبود ارزش هزینه بیشتر را دارد یا نه.

کجای دوره آموزش داده می‌شود

درس تحویل مرحله‌به‌مرحله به بررسی این پنج گیت، سقف غیرقطعی بودن (Non-determinism) و ریتم پله‌ها می‌پردازد.