سؤال مصاحبه

کدام اقدامات اصلاحی را می‌توان به تنهایی به یک ایجنت عملیاتی سپرد؟

Which fixes an operations agent may run alone

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۲ دقیقه

در دموی یک شرکت ارائه‌دهنده، ایجنت عملیاتی (operations agent) نشان داده می‌شود که حوادث را به‌تنهایی برطرف می‌کند. مدیرتان می‌پرسد بدون حضور انسان در چرخه (human-in-the-loop)، اجازه‌ی انجام چه اقداماتی را روی سرویس مدل به چنین ایجنتی می‌دهید. مرز اختیارات را مشخص کنید و از آن دفاع کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

فقط مجموعه‌ی محدودی از اقدامات را مجاز کنید که از قبل تأیید شده‌اند: ری‌استارت یک پاد (pod)، بازگردانی (revert) یک استقرار مشخص، تغییر مقیاس یک استخر (pool) در محدوده‌ی مجاز تعیین‌شده و تغییر وضعیت یک فیچرفلگ (feature flag) تأییدشده. هر اقدامی که ساختار سیستم را دستخوش تغییر کند به تأیید انسان واگذار کنید: توپولوژی، محدودیت‌های منابع، کد جدید، سطوح دسترسی و پایگاه‌های داده. ایجنت پیشنهاد می‌دهد، انسان تصمیم‌های نیازمند قضاوت را تأیید می‌کند و دامنه‌ی اقدامات ایمن تنها زمانی گسترش می‌یابد که ایجنت سابقه‌ی موفقی از خود نشان دهد.

پاسخ کامل

دو دسته‌ی اقدامات

ایمن و خودکار ناایمن، فقط با دخالت انسان
ری‌استارت یک پاد تغییر توپولوژی سرویس
بازگردانی یک استقرار مشخص تغییر محدودیت‌های منابع
تغییر مقیاس استخر در محدوده‌های از قبل تأییدشده استقرار کد جدید
فعال‌سازی فیچرفلگ از قبل تأییدشده تغییر سطوح دسترسی
تغییر در پایگاه داده

چه چیزی یک اقدام را «ایمن» می‌کند؟

اقدامی ایمن است که برگشت‌پذیر باشد، شعاع تخریب (blast radius) آن از قبل محدود و مشخص باشد و دقیقاً با یکی از مراحل یک ران‌بوک (runbook) نوشته‌شده توسط انسان همخوانی داشته باشد. نمونه‌ی مطرح‌شده در این درس، جهش ناگهانی کش کلید-مقدار (KV cache) است که موتور سرویس‌دهی را با کمبود حافظه مواجه کرد. ری‌استارت پاد این مشکل را حل می‌کند و ری‌استارت در فهرست اقدامات ایمن قرار دارد. افزایش سقف حافظه هم شاید مشکل را رفع کند، اما روی نحوه‌ی اجرای همه‌ی پادها از آن لحظه به بعد اثر می‌گذارد؛ بنابراین تصمیم‌گیری درباره‌ی آن به عهده‌ی انسان می‌ماند.

یک اقدام چگونه مجوز خودکارسازی می‌گیرد؟

  1. ران‌بوک را ساختاریافته بنویسید: نشانه، فرضیه، راستی‌آزمایی و اقدام.
  2. برای اقدام، معیار موفقیت تعیین کنید و مرحله‌ی راستی‌آزمایی (verify) را بعد از اجرای آن بگنجانید.
  3. همه‌ی پیشنهادها و همه‌ی تصمیم‌های انسانی را ثبت کنید.
  4. اقدام را پس از یک توالی از حوادث که در آن‌ها پیشنهاد ایجنت با تصمیم اپراتور انسانی همخوانی داشته، از حالت «پیشنهادی» به «خودکار» ارتقا دهید.

دروازه‌ی تأییدیه پابرجا می‌ماند

معماری این سیستم شامل این بخش‌هاست: یک ناظر روی ایجنت‌های لاگ، متریک و ران‌بوک؛ یک فرضیه همراه با شواهد؛ یک تأیید انسانی؛ و در نهایت اجرای اقدامی از میان همان مجموعه‌ی محدود. حتی وقتی دو مدل مستقل روی علت وقوع حادثه توافق دارند، برای هر اقدامی خارج از فهرست ایمن، دروازه‌ی تأییدیه (approval gate) پابرجا می‌ماند. این درس صراحتاً درباره‌ی ارائه‌دهندگانی صحبت می‌کند که سیستم‌های بدون نیاز به نظارت می‌فروشند: آن‌ها دارند اغراق می‌کنند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا افزایش مقیاس (scale-up) در محدوده‌ی مجاز ایمن است، اما تغییر محدودیت منابع ایمن نیست؟ پاسخ مورد انتظار: محدوده‌ها از قبل تأیید شده‌اند و اقدام بدون دردسر برمی‌گردد. اما تغییر محدودیت، رفتار اجرای همه‌ی پادها را تغییر می‌دهد و ممکن است باعث حادثه‌ی بعدی شود.
  • سطح 3: چه پیش‌شرط‌هایی باید محقق شود تا ایجنت بتواند اقدامی را بدون نظارت اجرا کند؟ پاسخ مورد انتظار: وجود ران‌بوک ساختاریافته، مرحله‌ی راستی‌آزمایی به همراه معیار موفقیت، لاگ‌های حسابرسی (audit record) و سابقه‌ای از پیشنهادها که با تصمیمات انسانی همخوانی داشته‌اند.
  • سطح 4: ایجنت در اوج ترافیک، پرمشغله‌ترین پاد را ری‌استارت کرد چون یک آزمون ارزیابی (probe) ناموفق بود. آیا طبق قوانین عمل کرده است؟ پاسخ مورد انتظار: نوع اقدام مجاز بوده اما شرط راه‌انداز آن اشتباه بوده است. ری‌استارت زیر بار سنگین، درخواست‌های جاری را قطع می‌کند؛ بنابراین قاعده علاوه بر نوع اقدام، به شرطی برای میزان بار و نوع آزمون ارزیابی نیز نیاز دارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اگر دقت ایجنت به اندازه‌ی کافی بالاست، بگذاریم همه‌کار بکند.» دقت روی حوادث گذشته، جلوی تخریب ناشی از یک اقدام گسترده‌ی اشتباه را نمی‌گیرد.
  • «تا وقتی ایجنت بی‌نقص نشده، هیچ اتوماسیونی مجاز نیست.» ری‌استارت و بازگردانی، اقدامات ایمن همین امروز هستند و بخش اول بیشتر بررسی‌ها را از دوش ما برمی‌دارند.
  • «وجود مرحله‌ی تأییدیه، ایجنت را در شیفت‌های شبانه بی‌فایده می‌کند.» ایجنت کماکان کار بررسی را انجام می‌دهد. اپراتور انسانی به‌جای اینکه همه‌چیز را از اول روی داشبوردها بررسی کند، فقط یک اقدام پیشنهادی را تأیید می‌کند.

کجای دوره آموزش داده می‌شود

درس SRE برای هوش مصنوعی مرز بین اقدامات اصلاحی محدود و گسترده را مشخص می‌کند و بر حفظ دروازه‌ی تأییدیه‌ی انسانی تأکید دارد.