سؤال مصاحبه

شبیه‌سازی طرح سایه، قناری و بازگشت به عقب

Simulate a shadow, canary and rollback plan

  • سطح ۴: استف
  • پروژه‌ی خانگی
  • ۶۰ دقیقه

تکلیف خانگی. یک مدل کاندید، یک مدل خط مبنا (Baseline)، و لاگ‌های یک هفته از درخواست‌های محیط عملیاتی (Production) شامل تاخیر (Latency)، تعداد توکن‌ها (Token) و بازخورد کاربران برای هر درخواست در اختیارتان قرار می‌گیرد. باید یک مسیر پیش‌روی شبیه‌سازی‌شده (Rollout) همراه با یک شبیه‌ساز ارائه دهید که این مراحل را اجرا کند: یک فاز سایه (Shadow)، یک شیب افزایش ترافیک قناری (Canary) مجهز به گیت‌های کنترلی (Gates)، و فرایند بازگشت به عقب (Rollback). حداقل دو مورد پس‌رفت (Regression) تزریق کنید و نشان دهید این طرح در چه نقطه‌ای برای هر کدام متوقف می‌شود. از آن‌جا که لاگ‌ها تنها حاوی بازخورد کاربران برای پاسخ‌هایی هستند که واقعاً دیده‌اند، مشخص کنید شبیه‌ساز چطور برای مدل کاندید بازخورد تولید می‌کند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

شبیه‌سازی بسازید که لاگ‌ها را روی هر دو مدل بازپخش (Replay) کند، معیارهای پنج‌گانه‌ی گیت‌های کنترلی را در هر گام بسنجد، و شیب ترافیک را تنها زمانی بالا ببرد که تمام گیت‌ها برای تعداد بازه‌های (Windows) الزامی پایدار بمانند. هر آستانه (Threshold) را بالاتر از واریانس طبیعی اجراهای خود خط مبنا تنظیم کنید؛ مقداری که با بازپخش خط مبنا در برابر خودش به‌دست می‌آورید. یک پس‌رفت در هزینه و یک پس‌رفت در کیفیت تزریق کنید و نشان دهید هر کدام در چه گامی متوقف می‌شوند و فرایند بازگشت به عقب پس از آن چگونه خواهد بود.

پاسخ کامل

محتویات یک پروژه‌ی کامل

  1. کف نویز (Noise Floor). خط مبنا را در برابر خودش بازپخش کنید و پراکندگی هر معیار را گزارش دهید. این مقدار، کف نویز زیر تک‌تک گیت‌های کنترلی است.
  2. گیت‌های کنترلی. صدک‌های تاخیر، هزینه به‌ازای هر درخواست، نرخ خطا و امتناع مدل (Refusal)، توزیع طول خروجی، و نرخ بازخورد کاربران. هر کدام را به‌صورت یک ضریب بالاتر از کف نویز بنویسید. پیش‌فرض‌های درس عبارت‌اند از: صدک P99 بالاتر از 1.5 برابر، هزینه بیش از 20 درصد بالاتر از خط مبنا، نرخ خطا 2 برابر، تغییر در توزیع طول پاسخ، و بازخورد 1.5 برابر.
  3. فاز سایه. مدل کاندید تمام درخواست‌ها را می‌بیند ولی هیچ پاسخی به کاربر برنمی‌گرداند. تفاوت هزینه، توزیع طول، موارد امتناع مدل و خطاهای سخت (Hard errors) را در مقایسه با خط مبنا گزارش کنید.
  4. شیب افزایش ترافیک. گام‌های 1، 10، 25، 50، 75 و 100 درصدی. مدت ماندگاری در هر گام (Dwell time) را بر اساس تعداد نمونه‌ها در هر بازه حساب کنید تا هیچ گیتی بر اساس چند نقطه‌ی داده‌ی محدود تصمیم نگیرد.
  5. بازگشت به عقب. آن را طبق توضیحات درس مدل‌سازی کنید: برگرداندن یک فلگ به صفر و قفل کردن سیستم روی دایجست (Digest) قبلی. شبیه‌ساز باید گام وقوع و زمان لازم برای این کار را نشان دهد.
  6. دو مورد پس‌رفت. تمرین درس یک پس‌رفت 25 درصدی در هزینه تزریق می‌کند؛ یک خروجی قوی نشان می‌دهد که این خطا در همان گام اول متوقف می‌شود. پس‌رفت دوم فقط روی معیار بازخورد تاثیر می‌گذارد؛ خروجی باید نشان دهد که این مورد در گام اول پنهان می‌ماند و تنها زمانی متوقف می‌شود که حجم نمونه‌ها به اندازه‌ی کافی بزرگ شده باشد.
  7. یک تصمیم مکتوب. تمرین دوم درس: کاندیدی با 3 درصد بهبود دقت، ولی 18 درصد هزینه‌ی بیشتر نسبت به خط مبنا. هر دو مسیر خط‌مشی را بنویسید (انتشار دادن یا ندادن) و مشخص کنید چه کسی تصمیم‌گیرنده است.

ارزیاب پروژه به دنبال چه مواردی می‌گردد؟

  • کف نویز اندازه‌گیری شده باشد، نه این‌که فرض شود.
  • گیت‌های کنترلی بر پایه‌ی ضریب باشند و آستانه‌ها بالاتر از کف نویز قرار بگیرند.
  • زمان ماندگاری از روی حجم نمونه‌ها محاسبه شود، نه بر اساس ساعت.
  • پس‌رفتی که گام نخست قادر به دیدن آن نیست، پنهان نشود و نشان داده شود.
  • فرایند بازگشت به عقب داخل شبیه‌سازی تمرین شود.

چه مواردی برای محیط عملیاتی نگه داشته می‌شوند؟

کد ارزیابی گیت‌های کنترلی و نحوه‌ی سنجش کف نویز، به چک‌های کنترلر واقعی قناری تبدیل می‌شوند. بستر آزمایشی (harness) بازپخش نیز به آزمون پیش از انتشار برای تمام مدل‌های کاندید بعدی بدل خواهد شد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: پس‌رفت مربوط به بازخورد دیر شناسایی شد. آیا طرح ایراد دارد؟ پاسخ مورد انتظار: خیر. این موضوع محدودیت گیت بازخورد را نشان می‌دهد؛ راه‌حل، افزایش زمان ماندگاری در گامی است که بازخورد برای اولین بار حجم نمونه‌ی کافی پیدا می‌کند، یا استفاده از یک معیار جایگزین (Proxy metric) با حجم داده‌ی بیشتر.
  • سطح 4: هزینه و لحن مدل کاندید کاملاً مشابه خط مبنا است. چه تغییری در طرح ایجاد می‌شود؟ پاسخ مورد انتظار: صرف‌نظر کردن از مرحله‌ی A/B بعد از قناری؛ مرحله‌ای که درس آن را برای نسخه‌ای ارتقایافته با رفتاری کاملاً یکسان، اختیاری می‌داند.
  • سطح 4: چه بخش‌هایی از شبیه‌ساز به محیط عملیاتی منتقل می‌شوند؟ پاسخ مورد انتظار: کد ارزیابی گیت‌های کنترلی و سنجش کف نویز، که به چک‌های کنترلر قناری تبدیل می‌شوند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «از همان آستانه‌های آورده‌شده در درس استفاده کنیم.» اعداد درس صرفاً پیش‌فرض هستند؛ کف نویز از دل خط مبنای خودتان به دست می‌آید.
  • «پیش‌روی پله‌ها طبق یک برنامه‌ی زمانی ثابت انجام شود.» شیبی که بر اساس ساعت جلو می‌رود، این موضوع را نادیده می‌گیرد که آیا گیت به تعداد نمونه‌ی کافی رسیده است یا خیر.
  • «مدل‌سازی بازگشت به عقب در قالب یک استقرار مجدد (Redeploy).» شبیه‌ساز باید همان سازوکاری را مدل کند که در عمل به کار می‌برید؛ در حالی که استقرار مجدد دقیقاً همان سازوکاری است که درس می‌گوید باید آن را حذف کنید.

کجای دوره آموزش داده می‌شود

درس تحویل تدریجی گیت‌های کنترلی، شیب‌های ترافیکی و تمرین‌هایی را پوشش می‌دهد که این تکلیف خانگی بر پایه‌ی آن‌ها توسعه یافته است.