سؤال مصاحبه

جلوگیری از تبدیل آزمایش آشوب در محیط عملیاتی به یک حادثه

Keep a production chaos experiment from becoming an incident

  • سطح ۴: استف
  • طراحی
  • ۱۸ دقیقه

شما در حال اجرای یک آزمایش مهندسی آشوب (Chaos Engineering) در محیط عملیاتی (Production) هستید. یکی از ارائه‌دهندگان مدل برای بخشی از ناوگان خطای محدودیت نرخ (Rate-limit) برمی‌گرداند تا رفتار طرح پشتیبان (Fallback) را زیر نظر بگیرید. هم‌زمان با اجرای آزمایش، آلارم‌ها به صدا درمی‌آیند. لایه‌ی ایمنی (Safety plane) لازم برای جلوگیری از تبدیل این وضعیت به یک حادثه را طراحی کنید و توضیح دهید که فرد حاضر در نوبت پاسخگویی (آنکال) چگونه خطای ناشی از آزمایش را از خطای طبیعی سیستم تشخیص می‌دهد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سه سازوکار محافظتی در لایه‌ی ایمنی قرار می‌گیرند: یک هشدار نرخ مصرف بودجه (Burn-rate alert) که با عبور مصرف روزانه‌ی بودجه‌ی خطا از 2 برابر حد انتظار، آزمایش را متوقف می‌کند؛ پنجره‌های خاموش‌سازی (Suppression windows) که هشدارهای غیرمرتبط با آزمایش را فقط در محدوده‌ی شعاع تخریب (Blast radius) بی‌صدا می‌کنند؛ و نشانه یا برچسبی روی شناسه‌ی ردگیری (Trace ID) تمامی خطاهایی که آزمایش ایجاد می‌کند. فرد آنکال این برچسب را می‌خواند. هر خطای بدون برچسبی در این بازه، طبیعی است و طبق روال عادی به آن رسیدگی می‌شود.

پاسخ کامل

لایه‌ها

این درس سیستم را به چهار لایه تقسیم می‌کند: لایه‌ی کنترل (Control plane) که آزمایش را زمان‌بندی و اجرا می‌کند؛ لایه‌ی هدف (Target plane) شامل سرویس‌ها، پادها و پایگاه‌های داده؛ لایه‌ی ایمنی مجهز به سوییچ قطع اضطراری (Kill switch)، پنجره‌های خاموش‌سازی، محدودیت‌های شعاع تخریب و گیت‌های کنترلی (Gates) بودجه‌ی خطا؛ و لایه‌ی مشاهده‌پذیری (Observability plane) که تک‌تک خطاها را با یک شناسه‌ی ردگیری مرتبط می‌سازد. این یافته‌ها دوباره به بهبود SLOها، ران‌بوک‌ها (Runbooks) و کدهای برنامه برمی‌گردند.

سه سازوکار محافظتی

  1. توقف خودکار بر اساس نرخ مصرف بودجه. آزمایش مجاز است بودجه‌ی خطا مصرف کند، چون شکست کنترل‌شده ذاتاً همین کار را می‌کند. اما گیت کنترلی وقتی فعال می‌شود که مصرف روزانه از 2 برابر نرخ مورد انتظار فراتر برود؛ در این حالت آزمایش خودبه‌خود متوقف (Pause) می‌شود.
  2. پنجره‌های خاموش‌سازی. هشدارهایی که آزمایش عمداً برای تحریک آن‌ها طراحی شده، فقط در محدوده‌ی شعاع تخریب و در طول مدت آزمایش بی‌صدا می‌شوند. هیچ هشداری خارج از این شعاع بی‌صدا نخواهد شد.
  3. ارتباط‌دهی با شناسه‌ی ردگیری. هر خطایی که مستقیماً بر اثر آزمایش رخ می‌دهد، برچسب مشخصی می‌خورد تا فرد آنکال بتواند بدون نیاز به هماهنگی و گفت‌وگو با دیگران، آن را از خطاهای طبیعی جدا کند.

سوییچ قطع اضطراری، ابزار کنترلی چهارم و کاملاً دستی است. این سوییچ آزمایش را بی‌درنگ متوقف می‌کند و اختیار فعال‌سازی آن فقط در دست فرد آنکال است، نه اسکژولر (Scheduler).

نحوه‌ی خواندن هشدارها توسط فرد آنکال در طول پنجره‌ی آزمایش

  • خطای برچسب‌دار درون شعاع تخریب: یعنی آزمایش دارد درست کار می‌کند. در لاگ‌ها ثبت می‌شود، اما پیجر آنکال را به صدا درنمی‌آورد.
  • خطای بدون برچسب درون پنجره‌ی آزمایش: طبیعی است و پاسخ و رسیدگی عادی را می‌طلبد.
  • خطای خارج از شعاع تخریب: طبیعی است، چون آزمایش اصلاً به آن دست نزده است.
  • اگر نرخ مصرف بودجه پس از توقف همچنان بالا رفت: منشأ خطا طبیعی است، یا این‌که آزمایش چیزی را از کار انداخته که خودبه‌خود ترمیم نمی‌شود. در این وضعیت، فرایند پاسخ به حادثه را اجرا کنید و آخرین تغییرات را برگردانید (Rollback).

درس‌هایی که این آزمایش باید بدهد

در درس آمده که بیشتر تیم‌ها متوجه می‌شوند طرح پشتیبان آن‌ها هرگز در سناریوی واقعی محک نخورده است. زمانِ سپری‌شده از اولین خطای محدودیت نرخ تا اولین پاسخ موفقیت‌آمیز طرح پشتیبان را ثبت و آن را با توافق‌نامه‌ی سطح خدمت (SLA) مقایسه کنید. همچنین بررسی کنید که آیا تلاش‌های مجدد درگاه پیش از وارد عمل شدن طرح پشتیبان، بار کاری را تشدید نکرده باشند.

تعیین ابعاد شعاع تخریب

سهمی از ناوگان را انتخاب کنید که به‌اندازه‌ی کافی کوچک باشد تا ظرفیت طرح پشتیبان روی سایر ارائه‌دهندگان آن را پوشش دهد؛ این سهم را دقیقاً در تعریف آزمایش بنویسید. در نظر گرفتن سهمی بزرگ‌تر، سیستم را بیشتر محک می‌زند، اما اگر طرح پشتیبان کندتر از تصور شما باشد، خطر بروز یک قطعی واقعی را به همراه دارد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا گیت کنترلی روی دو برابر نرخ مصرف مورد انتظار تنظیم می‌شود و نه روی هرگونه مصرف بودجه؟ پاسخ مورد انتظار: چون قرار است آزمایش بخشی از بودجه را مصرف کند. گیت کنترلی جلوی حالتی را می‌گیرد که مصرف بودجه بسیار بیشتر از برنامه‌ریزی اولیه پیش برود.
  • سطح 4: اگر نرخ مصرف بودجه پس از توقف آزمایش همچنان بالا برود، چه معنایی دارد؟ پاسخ مورد انتظار: علت آن طبیعی است، یا این‌که آزمایش بخشی از سیستم را تخریب کرده که خودبه‌خود بازیابی نمی‌شود. فرایند پاسخ به حادثه را پیش ببرید و آخرین تغییر را بازگردانید.
  • سطح 4: شعاع تخریب را برای آزمایش قطعیِ یک ارائه‌دهنده چگونه انتخاب می‌کنید؟ پاسخ مورد انتظار: سهمی به‌اندازه‌ی کافی کوچک که ظرفیت طرح پشتیبان پاسخگوی آن باشد، در تعریف آزمایش ثبت شده و پیش‌تر با فرد آنکال بازبینی شده باشد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «بی‌صدا کردن تمام هشدارها در طول آزمایش.» در این حالت، یک حادثه‌ی طبیعی در همان بازه از چشم پنهان می‌ماند. فقط شعاع تخریب را بی‌صدا کنید و خطاهای برچسب‌دار را در دیدرس نگه دارید.
  • «اجرای آزمایش در استیجینگ تا نیازی به لایه‌ی ایمنی نباشد.» استیجینگ نمی‌تواند رفتار طرح پشتیبان را زیر بار ترافیک واقعی نشان دهد. لایه‌ی ایمنی دقیقاً همان عاملی است که اجرای آن را در محیط عملیاتی پذیرفتنی می‌کند.
  • «هشدار نرخ مصرف بودجه همان سوییچ قطع اضطراری است.» هشدار نرخ مصرف صرفاً آزمایش را متوقف (Pause) می‌کند. سوییچ قطع اضطراری آزمایش را درجا متوقف می‌سازد و باید یک ابزار کنترلی مجزا و دستی باشد.

کجای دوره آموزش داده می‌شود

درس مهندسی آشوب که چهار لایه، توقف بر اساس نرخ مصرف بودجه، پنجره‌های خاموش‌سازی و ارتباط‌دهی با شناسه‌ی ردگیری را تشریح می‌کند.