سؤال مصاحبه

انتشار قناری یک‌درصدی چه تعداد نمونه در اختیار گیت می‌گذارد؟

How many samples a one percent canary gives a gate

  • سطح ۲: میانی
  • تخمین
  • ۸ دقیقه

سرویس شما در هر دقیقه 1,000 درخواست را پردازش می‌کند. انتشار قناری (Canary) با سهم 1 درصد آغاز می‌شود و گیت‌های کنترلی (Gates) هر 5 دقیقه یک‌بار اجرا می‌شوند. هر بررسی گیت تقریباً چه تعداد نقطه‌ی داده دریافت می‌کند و در این مرحله به کدام گیت‌ها می‌توان اعتماد کرد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

1 درصد از 1,000 درخواست در دقیقه برابر با 10 درخواست در دقیقه برای قناری است؛ بنابراین در یک پنجره‌ی 5 دقیقه‌ای حدود 50 نقطه و در یک پنجره‌ی 15 دقیقه‌ای حدود 150 نقطه جمع‌آوری می‌شود. این مقدار داده برای خواندن تاخیر (Latency) و نرخ خطا کافی است، اما برای سنجش بازخورد کاربران بسیار کم است. در گام اول، تصمیم‌گیری گیت را بر پایه‌ی تاخیر، هزینه، خطاها و طول خروجی بگذارید و گیت بازخورد را در مراحل بعدی اعمال کنید.

پاسخ کامل

محاسبات ریاضی

توالی زمانی مدنظر درس برای بررسی گیت‌ها، بسته به حجم ترافیک، هر 5 تا 15 دقیقه یک‌بار است. در 1 درصد از بار ترافیکی 1,000 درخواست در دقیقه، نسخه‌ی قناری 10 درخواست در دقیقه دریافت می‌کند که نتیجه‌ی آن 50 تا 150 نقطه‌ی داده در هر پنجره است.

نیاز هر گیت به این نقاط داده

گیت وضعیت در حدود 50 نقطه
صدک‌های تاخیر P50 و P95 قابل‌خواندن، اما با بازه‌ی اطمینان عریض
صدک تاخیر P99 یک یا دو نمونه تکلیف آن را مشخص می‌کنند؛ بنابراین باید بیش از یک پنجره را نگه داشت
هزینه به ازای هر درخواست هر درخواست توکن‌های خود را گزارش می‌دهد؛ بنابراین تغییرات بزرگ خود را نشان می‌دهند
نرخ خطا و امتناع مدل (Refusal) خط مبنای (Baseline) چنددرصدی تنها چند رویداد تولید می‌کند؛ بنابراین داده‌ها نویز زیادی دارند
توزیع طول خروجی تقریبی است، اما تغییرات بزرگ مشخص می‌شوند
بازخورد کاربران فقط برخی از کاربران به پاسخ‌ها امتیاز می‌دهند؛ بنابراین در هر پنجره نهایتاً چند امتیاز معدود ثبت می‌شود

تغییر وضعیت در گام بعدی

در سهم 10 درصد، قناری در هر پنجره حدوداً 10 برابر داده‌ی بیشتری دریافت می‌کند. در این مرحله است که گیت بازخورد قابل‌استفاده می‌شود. به همین دلیل روند پیشروی در هر مرحله موقتاً متوقف می‌شود: این مکث یک تشریفات صوری نیست، بلکه زمانی است که گیت برای جمع‌آوری نمونه‌های خود نیاز دارد.

قانون زمان ماندگاری را ثبت کنید

برای هر گام مشخص کنید که چند پنجره‌ی زمانی باید با وضعیت سبزِ تمام گیت‌ها سپری شود تا بتوان سهم ترافیک را افزایش داد. اگر گیتی برای تایید نقض شرایط به دو پنجره نیاز داشته باشد، میزان در معرض قرار گرفتن سیستم در برابر یک پسرفت واقعی دو برابر می‌شود؛ پس حتماً این بده‌بستان را در کنار قانون مکتوب کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: گیت بازخورد کاربران از کدام مرحله قابل‌استفاده می‌شود؟ پاسخ مورد انتظار: در سهم 10 درصد، جایی که قناری در هر پنجره حدوداً 10 برابر نقطه‌ی داده‌ی بیشتری می‌بیند.
  • سطح 2: چرا افزایش طول پنجره مشکل مرحله‌ی اول را حل نمی‌کند؟ پاسخ مورد انتظار: پنجره‌ی طولانی‌تر داده‌ها را به‌کندی اضافه می‌کند و پیش از واکنش گیت، یک پسرفت در تمام طول پنجره ادامه پیدا می‌کند.
  • سطح 3: ترافیک در طول شب به یک‌دهم کاهش می‌یابد. برنامه چه تغییری می‌کند؟ پاسخ مورد انتظار: با همان سهم، تقریباً 1 درخواست در دقیقه دریافت می‌شود؛ بنابراین باید زمان ماندگاری را طولانی‌تر کرد، کار را با سهم بالاتری شروع نمود، یا افزایش تدریجی ترافیک را در طول روز اجرا کرد.
  • سطح 3: شرط واکنش گیت، تداوم نقض شرایط در دو پنجره است. این تصمیم چه هزینه‌ای دارد؟ پاسخ مورد انتظار: یک پسرفت واقعی تا زمان توقف، در طول هر دو پنجره ادامه می‌یابد؛ بنابراین این قانون در ازای هشدارهای کاذب کمتر، سیستم را به مدت طولانی‌تری در معرض خطر می‌گذارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «1 درصد امن است، پس گیت‌ها روی 1 درصد کار می‌کنند.» این سهم برای کاربران امن است، اما بیشتر گیت‌ها با این حجم نمونه کاملاً نابینا هستند.
  • «بررسی هر یک دقیقه انجام شود تا شناسایی سریع‌تر اتفاق بیفتد.» پنجره‌ی یک‌دقیقه‌ای در این مرحله حدود 10 نقطه دارد که برای محاسبه‌ی هیچ صدکی کافی نیست.
  • «شروع با 25 درصد برای به‌دست‌آوردن داده‌های آماری بهتر.» در این حالت، پیش از اینکه حتی یک گیت یک‌بار واکنش نشان دهد، یک‌چهارم کاربران مدل جدید را دیده‌اند.

کجای دوره آموزش داده می‌شود

درس تحویل تدریجی چرخه‌ی ارزیابی متریک‌ها و تعداد نمونه‌ها در هر پنجره را آموزش می‌دهد.