سؤال مصاحبه

سازوکارهای کنترلی برای جلوگیری از هدررفت بودجه‌ی ماهانه بر اثر باگ

Controls that stop a bug from spending the month

  • سطح ۲: میانی
  • طراحی
  • ۱۰ دقیقه

ماه گذشته یک باگ در حلقه‌ی تلاش مجدد (retry loop)، کل بودجه‌ی ماهانه‌ی مدل را ظرف دو روز سوزاند و تا زمان صدور فاکتور هم هیچ‌کس متوجه آن نشد. سازوکارهای کنترلی لازم برای جلوگیری از تکرار این اتفاق را به همراه آستانه‌ها و نحوه‌ی عملکرد هر آستانه طراحی کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

روی تک‌تک فراخوانی‌ها یک ردیاب هزینه بگذارید و نردبانی از آستانه‌ها برای آن تعریف کنید: در 70 درصدِ بودجه هشدار دهید؛ در 85 درصد با هدایت همه‌ی درخواست‌ها به ارزان‌ترین مدل نرخ را مهار کنید (throttle)؛ و در 95 درصد سیستم را متوقف کنید تا فقط پاسخ‌های کش‌شده بازگردانده شوند و درخواست‌های جدید رد شوند. علاوه بر این نردبان، یک محدودیت نرخ درخواست (rate limit) و یک سقف هزینه‌ی روزانه به ازای هر مستاجر (tenant) قرار دهید، به‌همراه یک سوییچ قطع اضطراری (kill switch) که اگر هزینه‌ی یک مستاجر جهش شدیدی نسبت به سابقه‌ی خودش داشت، فعالیت آن را متوقف کند.

پاسخ کامل

ردیاب هزینه

هر فراخوانی مواردی مثل برچسب زمانی، مدل، توکن‌های ورودی و خروجی، تاخیر، هزینه‌ی محاسبه‌شده، کاربر، وضعیت کش و دسته‌بندی درخواست را ثبت می‌کند. مجموع هزینه‌های جاری در مقایسه با بودجه‌ی ماهانه، ورودیِ تمام سازوکارهای کنترلی زیر است. بررسی شبانه بسیار کند است؛ چون یک حلقه‌ی تلاش مجدد می‌تواند بودجه‌ی یک روز را ظرف چند دقیقه تمام کند.

نردبان بودجه

سهم مصرف‌شده اقدام
70 درصد ارسال هشدار
85 درصد مهار نرخ: هدایت همه‌ی درخواست‌ها به ارزان‌ترین مدل
95 درصد توقف: ارائه‌ی صرفِ پاسخ‌های کش‌شده، رد درخواست‌های جدید

هر پله برای پله‌ی بعدی زمان می‌خرد. هشدار به افراد فرصت اقدام می‌دهد؛ مهار نرخ سرویس را با کیفیتی پایین‌تر سرپا نگه می‌دارد تا سرعت مصرف هزینه کم شود؛ و توقف سیستم هم در صورتی که کسی واکنشی نشان نداد، از بودجه محافظت می‌کند.

نردبان مهار هزینه به ازای هر مستاجر

درس فین‌آپس (FinOps) برای یک محصول چندمستاجری (multi-tenant) سه سازوکار کنترلی به ازای هر مستاجر پیشنهاد می‌دهد:

  1. یک محدودیت نرخ درخواست معادل 2 تا 3 برابر اوج مصرفِ پیش‌بینی‌شده، همراه با وضعیت محدودیت نرخ و هدرِ تلاش مجدد. با این کار مستاجر اصطکاک (friction) را حس می‌کند و در پایان ماه با صورت‌حسابی غیرمنتظره روبه‌رو نمی‌شود.
  2. سقف هزینه‌ی روزانه معادل 1.5 تا 3 برابر سقف قرارداد. عبور از این سقف، محدودیت نرخ درخواست را سخت‌تر می‌کند و به تیم موفقیت مشتری هشدار می‌دهد.
  3. یک سوییچ قطع اضطراری برای زمانی که امتیاز استاندارد (z-score) هزینه در مقایسه با خط مبنای (baseline) خود مستاجر از 4 عبور کند. این سوییچ مستاجر را موقتاً متوقف می‌کند و به فردِ در نوبت پاسخگویی (آنکال) پیام پیج ارسال می‌کند.

اهمیت z-score در این است که ابعاد مصرف مستاجران چندین مرتبه‌ی بزرگی با هم فرق دارد. یک عدد ثابت ممکن است برای یک مستاجر بزرگ اصلاً به چشم نیاید، ولی برای یک مستاجر کوچک معادل بودجه‌ی یک ماه باشد.

آزمودن نردبان

تمرین درس کش‌کردن، 1,000 درخواست را در برابر یک بودجه‌ی 1.00 دلاری شبیه‌سازی می‌کند و فعال شدن تک‌تک آستانه‌ها را می‌سنجد. تمرین تصویر (projection) آن هم وضعیت ماه را بر اساس میانگین 7 روز گذشته پیش‌بینی می‌کند و اگر پیش‌بینی بیش از 20 درصد از بودجه فراتر برود، هشدار می‌دهد. هر دو آزمون باید در مجموعه‌ی آزمون‌ها (test suite) باشند؛ چون مدارشکنی (circuit breaker) که قطع شدنش را عمداً امتحان نکرده باشید، صرفاً یک آرزوست.

محل اجرا

در درگاه (gateway)، یعنی جایی که همه‌ی فراخوانی‌ها از آن رد می‌شوند. سازوکار کنترلی اگر داخل یک برنامه‌ی کاربردی خاص قرار بگیرد، از برنامه‌ای که باگ دارد جا می‌ماند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا سه آستانه و نه یک توقف ناگهانی؟ پاسخ مورد انتظار: هشدار به تیم زمان می‌دهد، مهار نرخ با کیفیتی پایین‌تر زمان بیشتری می‌خرد، و توقف هم بودجه را نجات می‌دهد. یک توقف ناگهانی، کاربران را بدون هیچ اخطار قبلی غافلگیر می‌کند.
  • سطح 3: در مرحله‌ی مهار نرخ، چه چیزی برای کاربران تغییر می‌کند؟ پاسخ مورد انتظار: کیفیت؛ چون همه‌ی درخواست‌ها به سمت ارزان‌ترین مدل هدایت می‌شوند. در نتیجه سرویس سرپا می‌ماند و هزینه‌ها مهار می‌شود.
  • سطح 3: چرا سوییچ قطع اضطراری بر اساس سابقه‌ی خود مستاجر عمل می‌کند؟ پاسخ مورد انتظار: چون مقیاس کار مستاجران چندین مرتبه‌ی بزرگی با هم فرق دارد. شاخص z-score جهش مصرفِ یک مستاجر کوچک را بلافاصله شکار می‌کند، در حالی که روز معمولی یک مستاجر بزرگ را نادیده می‌گیرد.
  • سطح 4: باگ تلاش مجدد بودجه را ظرف دو روز تمام کرده است. کدام سازوکار کنترلی اول از همه فعال می‌شود؟ پاسخ مورد انتظار: سقف هزینه‌ی روزانه یا سوییچ قطع اضطراریِ z-score در همان روز اول فعال می‌شوند؛ نردبان ماهانه تازه در 70 درصد فقط یک هشدار می‌داد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «یک محدودیت سخت‌گیرانه سمت سرویس‌دهنده بگذارید و کار را تمام کنید.» محدودیت ارائه‌دهنده، سرویس همه‌ی مستاجرها را هم‌زمان و بدون هیچ اخطاری قطع می‌کند. نردبان ابتدا کیفیت را کاهش می‌دهد و مستاجر خاطی را مجزا می‌کند.
  • «ارسال یک هشدار به کانال تیم کافی است.» این حادثه به خاطر یک باگ شبانه پیش آمده است. مهار نرخ و توقف سیستم بدون نیاز به دخالت انسان وارد عمل می‌شوند.
  • «بررسی شبانه‌ی بودجه کافی است.» یک حلقه‌ی تلاش مجدد کل بودجه‌ی یک روز را در عرض چند دقیقه خرج می‌کند. ردیاب هزینه باید روی تک‌تک فراخوانی‌ها اجرا شود.

کجای دوره آموزش داده می‌شود

در درس کش‌کردن و هزینه سه آستانه‌ی بودجه آموزش داده شده و در درس فین‌آپس نیز نردبان مهار هزینه به ازای هر مستاجر اضافه شده است.