سؤال مصاحبه

پیش‌نیازهای اجرای اولین آزمایش آشوب

What must exist before the first chaos experiment

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

تیم جدیدی می‌خواهد هفته‌ی آینده اولین آزمایش مهندسی آشوب (Chaos Engineering) خود را روی سرویس مدل اجرا کند. قبل از موافقت چه مواردی را بررسی می‌کنید، و اگر حتی یکی از این بخش‌ها غایب باشد چه مشکلی پیش می‌آید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پنج بخش حیاتی باید آماده باشد: شاخص‌های سطح سرویس همراه با اهداف کیفی (SLI و SLO)، مشاهده‌پذیری (observability) با ردگیری محاسبات (traces)، معیارها و لاگ‌ها، بازگشت به عقب (rollback) خودکار، ران‌بوک‌های (runbooks) ساختاریافته و مسئول نوبت پاسخگویی (آنکال). هر کدام از این موارد به شما امکان می‌دهند آزمایش را بسنجید، متوقفش کنید یا آسیب‌های ناشی از آن را برطرف سازید. اگر یکی از این‌ها نباشد، کار شما دیگر یک آزمایش نیست؛ بلکه حادثه‌ای است که با دست خودتان برای وقوعش برنامه‌ریزی کرده‌اید.

پاسخ کامل

پنج پیش‌نیاز اصلی

  1. شاخص‌های SLI و اهداف SLO. بدون داشتن هدف مشخص، اصلاً نمی‌توانید بگویید آیا آزمایش به سیستم آسیبی زده است یا نه.
  2. مشاهده‌پذیری. ردگیری محاسبات، معیارها و لاگ‌ها روی یک داشبورد. باید بتوانید اثر آزمایش را درست در لحظه‌ی وقوع ببینید.
  3. بازگشت به عقب خودکار. همان سازوکار بازگشت با فلگ‌های سیاستی که در درس تحویل تدریجی خواندید. بازگشتی که نیازمند استقرار مجدد (redeploy) باشد، برای آزمایش بیش از حد کُند است.
  4. ران‌بوک‌ها. بخش‌بندی ساختاریافته: نشانه، فرضیه (hypothesis)، راستی‌آزمایی، اقدام. فرد آنکال زیر فشار بحران آن‌ها را می‌خواند.
  5. مسئول آنکال. فردی که وقتی آزمایش نقصی را آشکار کرد، پاسخگو باشد و وارد عمل شود.

اولین آزمایش‌ها

کار را با متوقف کردن (kill) یک پاد از رپلیکاهای رمزگشایی (decode) زیر بار ترافیک یکنواخت شروع کنید و نحوه‌ی مسیریابی (routing) مجدد و بازیابی را زیر نظر بگیرید. اگر همه‌چیز امن به نظر رسید، سراغ آشوب در شبکه بروید. اولین آزمایش ویژه‌ی مدل این است که یک ارائه‌دهنده چند دقیقه خطای محدودیت نرخ برگرداند، تا ببینید آیا طرح پشتیبان (fallback) فعال می‌شود یا نه. بیشتر تیم‌ها تازه در همین مرحله متوجه می‌شوند که طرح پشتیبانشان هیچ‌وقت به‌طور کامل آزمایش نشده بود.

چرخه‌ی تکرار آزمایش‌ها

آزمایش‌های کوچک هفتگی در محیط پیش‌تولید (staging) یا روی سهم بسیار کوچکی از محیط عملیاتی (production). روز مانور (game day) ماهانه روی یک سناریو همراه با تحلیل پس از حادثه. بازبینی فصلی بین‌تیمی همراه با نقشه‌ی وابستگی‌ها.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: اولین آزمایش باید چه باشد و چرا؟ پاسخ مورد انتظار: قطع کردن یک رپلیکای رمزگشایی زیر بار ترافیک یکنواخت؛ زیرا مسیریابی مجدد و بازیابی را با شعاع تخریب (blast radius) کوچک می‌سنجد.
  • سطح 2: خطایی را نام ببرید که ابزارهای عمومی آشوب شبکه نمی‌توانند برای یک سرویس مدل بازسازی کنند. پاسخ مورد انتظار: طوفان تخلیه‌ی کش کلید-مقدار (KV cache) زیر بار ترافیکی ناگهانی، یا پرامپتی (prompt) که توکنایزر را متوقف و معطل نگه می‌دارد.
  • سطح 2: چرا هنگام آزمایش، بازگشت به عقب اهمیت بیشتری نسبت به داشبورد دارد؟ پاسخ مورد انتظار: داشبورد آسیب را نشان می‌دهد، اما بازگشت به عقب جلوی آسیب را می‌گیرد. بدون بازگشت به عقب، آسیب ادامه پیدا می‌کند تا زمانی که فردی دستی آن را رفع کند.
  • سطح 3: تیم فقط محیط پیش‌تولید را می‌خواهد. چه زمانی محیط عملیاتی بستر مناسبی است؟ پاسخ مورد انتظار: زمانی که پیش‌تولید نتواند الگوی ترافیک، وضعیت کش یا رفتار ارائه‌دهنده را بازسازی کند؛ آن هم فقط به شرطی که سپرهای ایمنی فعال باشند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «بی‌خیال پیش‌نیازها شویم و در عمل یاد بگیریم.» بدون SLO، بازگشت به عقب و مسئول آنکال، این آزمایش یک قطعی سرویس است که عمداً ایجاد کرده‌اید.
  • «داشتن داشبورد همان مشاهده‌پذیری است.» آشوب به ردگیری محاسبات، معیارها و لاگ‌هایی نیاز دارد که با trace-id همبسته شده باشند؛ تا بتوانید خطاهای حاصل از آزمایش را از خطاهای طبیعی تفکیک کنید.
  • «اول بزرگ‌ترین آزمایش را اجرا کنیم تا بزرگ‌ترین ریسک را پیدا کنیم.» کار را با قطع کردن یک رپلیکا شروع کنید و سپس شعاع تخریب را گسترش دهید.

کجای دوره آموزش داده می‌شود

درس مهندسی آشوب پنج پیش‌نیاز، سطوح چهارگانه و اولین آزمایش‌ها را فهرست کرده است.