سؤال مصاحبه

چه زمانی ایجنت تریاژ باید بگوید مطمئن نیست

When the triage agent should say it is unsure

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

یک ایجنت تریاژ حوادث، برای هر هشدار یک علت ریشه‌ای پیشنهاد می‌دهد. تیم نوبت پاسخگویی (آنکال) پس از چند پاسخ غلط اما قاطعانه، دیگر به آن اعتماد ندارد. کدام الگو از درس SRE میزان اعتماد به خروجی آن را بالا می‌برد، و وقتی الگو نشان می‌دهد ایجنت مطمئن نیست، تیم چه کار می‌کند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

دو مدل را به‌صورت مستقل روی یک حادثه اجرا کنید. وقتی هر دو بر سر علت ریشه‌ای توافق دارند، اطمینان بالاست. وقتی اختلاف‌نظر دارند، سیستم به‌جای انتخاب یکی از آن‌ها، مسئله را همراه با هر دو فرضیه و شواهدشان به یک انسان ارجاع می‌دهد. این الگو علل ریشه‌ای ساختگی را با هزینه‌ای اندک فیلتر می‌کند، و خودِ این اختلاف‌نظر به پاسخ‌دهنده نشان می‌دهد که وضعیت حادثه نامشخص است.

پاسخ کامل

ارزیابی مقابله‌ای

این درس، الگو را بر اساس محصولی نام‌گذاری می‌کند که آن را پیاده کرده است: دو مدل یک حادثه را به‌طور جداگانه تحلیل می‌کنند. توافق یعنی اطمینان بالا؛ عدم توافق یعنی ارجاع به انسان همراه با نمایش هر دو فرضیه. این روش ساده و فیلتری کارآمد در برابر پاسخ‌های غلطِ قاطعانه است؛ چون دو تحلیل مستقل به‌ندرت علت ساختگی یکسانی سرهم می‌کنند.

جایگاه الگو در معماری

یک ناظر، حادثه را به چند زیرپرسش تقسیم می‌کند. ایجنت‌های تخصصی مجهز به ابزار، لاگ‌ها را جست‌وجو می‌کنند، کوئری‌های متریک را اجرا می‌نمایند و ران‌بوک‌ها را فراخوانی می‌کنند. ناظر فرضیه‌ای همراه با شواهد سرهم می‌کند و آن را به یک انسان نشان می‌دهد؛ فردی که یا آن را تأیید می‌کند یا بازهدایت‌ها را انجام می‌دهد. فقط پس از آن است که اقدامی اجرا می‌شود، آن هم صرفاً از میان مجموعه‌ای محدود و تأییدشده. بررسیِ مبتنی بر دو مدل، دقیقاً در مرحله‌ی فرضیه و پیش از نمایش آن به انسان قرار می‌گیرد.

اقدام فرد در زمان اختلاف‌نظر

هر دو فرضیه و شواهدی را که هرکدام ارائه داده‌اند می‌خواند. سپس یکی را انتخاب می‌کند، ایجنت‌ها را مجدداً هدایت می‌نماید، یا بررسی دستی را به‌جای شروع از صفر، با دو سرنخ آغاز می‌کند. تقسیم وظایف مطرح‌شده در درس همچنان پابرجاست: ایجنت فرضیه‌ها و کوئری‌ها را پیشنهاد می‌دهد و انسان قضاوت نهایی را به عهده می‌گیرد.

آنچه ایجنت‌ها به خاطر می‌سپارند

ران‌بوک‌ها و گزارش‌های پس از حادثه (Postmortems) در یک پایگاه داده‌ی برداری نگهداری می‌شوند و هر دو مدل در هر حادثه اطلاعات را از آن بازیابی می‌کنند. حافظه‌ی عملیاتی با جابه‌جایی یا رفتن اعضای تیم از دست نمی‌رود، و یک مهندس تازه‌وارد در اولین حادثه‌ی کاری‌اش، کل این تاریخچه را در اختیار دارد.

محدودیت توافق

دو مدلی که داده‌های آموزشی مشترکی دارند، ممکن است هم‌زمان با هم توافق کنند و در اشتباه باشند. توافق فقط سطح اطمینان را بالا می‌برد؛ اثبات نیست. الزامی کنید که هر فرضیه خطوط لاگ و کوئری‌های متریک پشتیبان خود را مستند کند تا پاسخ‌دهنده بتواند شواهد را بررسی کند، نه فصاحت و شیوایی کلام را.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا یک حکم ارزیابی دوگانه برای پاسخ‌دهنده مفید است؟ انتظار می‌رود: حادثه را به‌عنوان موردی نامشخص علامت‌گذاری می‌کند و دو علت کاندید را همراه با شواهدشان به پاسخ‌دهنده می‌دهد.
  • سطح 3: هر دو مدل توافق دارند اما هر دو در اشتباه‌اند. چطور متوجه آن می‌شوید؟ انتظار می‌رود: الزامی کنید که هر فرضیه شواهدی ارائه دهد که پاسخ‌دهنده بتواند آن‌ها را بررسی کند، و تأیید انسانی را پیش از هرگونه اقدامی حفظ کنید.
  • سطح 3: این الگو چقدر هزینه دارد؟ انتظار می‌رود: اجرای دو مدل به ازای هر حادثه به‌اضافه‌ی تاخیر مدل کندتر؛ این مقدار در برابر 20 دقیقه‌ی اول بررسی دستی که طبق درس قابل خودکارسازی است، ناچیز به شمار می‌رود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «از یک مدل، دو بار با دمای صفر بپرسید.» اجرای دوباره‌ی یک مدل، همان نقاط کور را تکرار می‌کند. این الگو نیازمند تحلیل‌های مستقل است.
  • «اجازه دهید فرضیه‌ی مورد توافق، خودش اقدام اصلاحی را اجرا کند.» توافق فقط اطمینان را بالا می‌برد. تأیید اقدام همچنان با انسان است و در کل فقط اقدامات محدود و مشخصی خودکارسازی می‌شوند.
  • «اختلاف‌نظر ثابت می‌کند ایجنت بی‌استفاده است.» این اختلاف نشان می‌دهد که وضعیت حادثه نامشخص است، و این دقیقاً همان جایی است که یک انسان باید مسئله را بررسی کند.

کجای دوره آموزش داده می‌شود

درس SRE برای هوش مصنوعی الگوی ارزیابی مقابله‌ای و معماری ناظر همراه با تأیید انسانی را شرح می‌دهد.