سؤال مصاحبه

واکنش سیستم به پیش‌بینی قطعی

What the system does with a predicted outage

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

مدلی که روی لاگ‌ها، دمای GPU و الگوهای خطای شما آموزش دیده است، بیشتر قطعی‌ها را 10 تا 15 دقیقه پیش از وقوع پیش‌بینی می‌کند. تیم می‌خواهد آن را در قالب یک قاب (Pane) داشبورد تحویل دهد. طراحی کنید که سیستم با این پیش‌بینی چه می‌کند و از طراحی خود دفاع کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پیش‌بینی بدون اقدام عملی صرفاً یک داشبورد است، و ساعت سه صبح هیچ‌کس داشبورد را نگاه نمی‌کند. برای هر کلاسِ پیش‌بینی یک خط‌مشی مشخص بنویسید: پیج کردن فرد در نوبت پاسخگویی (آنکال)، تخلیه‌ی نود یا استخر (Pool) مشکوک پیش از خرابی، یا مقیاس‌دهی در محدوده‌ی مصوب؛ و هر پیش‌بینی را همراه با نتیجه‌اش ثبت کنید. کار را با پیج کردن شروع کنید، دقت (Precision) را روی حوادث واقعی بسنجید، و تنها زمانی یک کلاس را به تخلیه‌ی خودکار ارتقا دهید که نرخ هشدار اشتباه آن پذیرفتنی باشد و یک نفر آن تخلیه را به‌عنوان اقدامی از‌پیش‌تأییدشده در ران‌بوک (Runbook) تصویب کرده باشد.

پاسخ کامل

نتیجه و محدودیت آن

این درس به یک نتیجه‌ی پژوهشی اشاره می‌کند: مدلی که روی لاگ‌های گذشته، ارقام دمای GPU و الگوهای خطای API آموزش دیده بود، 89 درصد قطعی‌ها را در مجموعه‌ی آزمون (Test set) خود 10 تا 15 دقیقه زودتر پیش‌بینی کرد. بلافاصله واقعیت ماجرا در درس مطرح می‌شود: پیش‌بینی بدون اقدام، فقط داشبورد است. پرسش عملیاتی این است که وقتی پیش‌بینی فعال می‌شود، چه می‌کنید.

طراحی

  1. دسته‌بندی پیش‌بینی. چه خرابی‌ای در راه است: اتمام حافظه، افت سرعت ناشی از حرارت (Thermal slowdown)، یا طغیان خطای ارائه‌دهنده. میزان اطمینان (Confidence) را هم ضمیمه کنید.
  2. نگاشت هر کلاس به یک اقدام. مجموعه‌ی اقدامات امن درس محدود است: راه‌اندازی مجدد پاد (Pod)، بازگردانی استقرار (Revert deploy)، یا مقیاس‌دهی در محدوده‌ی از‌پیش‌تأییدشده. تخلیه در این فهرست نیست، پس قبل از اجرای خودکار به تأیید نیاز دارد. پاد را از توزیع‌کننده‌ی بار (Load balancer) خارج و تخلیه کنید و پیش از آنکه زمین بخورد، آن را مجدداً راه بیندازید. استخر منابع را در محدوده‌ی تأییدشده مقیاس‌دهی کنید. به همراه پیش‌بینی و شواهد (Evidence)، به یک نفر پیج بفرستید.
  3. گنجاندن اقدام در زمان پیش‌هشدار (Lead time). تخلیه به‌همراه جایگزینی باید ظرف 10 تا 15 دقیقه کامل شود؛ بنابراین نمونه‌ی جایگزین باید از قبل گرم (Warm) باشد. شروع سرد (Cold start) یک مدل بزرگ چند دقیقه طول می‌کشد و می‌تواند کل این بازه را بسوزاند.
  4. ثبت نتایج. هر پیش‌بینی، کلاس آن، اقدام انجام‌شده و اینکه آیا قطعی رخ داد یا خیر را ثبت کنید. دقت و بازخوانی (Recall) هر کلاس از این لاگ‌ها به‌دست می‌آید، نه از مقاله.
  5. مهار شعاع تخریب (Blast radius). هرگز دو تخلیه‌ی خودکار را هم‌زمان در یک استخر اجرا نکنید، و زیر بار جهش ترافیکی (Load spike)، بدون داشتن یک منبع آماده‌باشِ گرم دست به تخلیه نزنید.

چرا اول پیج بفرستیم؟

پیج کردن به قیمت بی‌خوابی تمام می‌شود. تخلیه‌ی اشتباه به اندازه‌ی مدت‌زمان تخلیه ظرفیت را هدر می‌دهد. مقیاس‌دهی اشتباه به سمت بالا هزینه می‌تراشد. تا زمانی که دقت هر کلاس در محیط عملیاتی (Production) سنجیده نشود، ارزان‌ترین اقدام نادرست، همان پیج کردن است. هر زمان که سابقه‌ی یک کلاس آن را توجیه کرد، اقدام آن را به سطح خودکار ارتقا دهید؛ دقیقاً همان نردبانی که درس برای بازسازی و رفع مشکل به کار می‌گیرد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: هزینه‌ی یک هشدار اشتباه در هر خط‌مشی چقدر است؟ انتظار می‌رود: پیج کردن به قیمت بی‌خوابی است، تخلیه ظرفیت سیستم را در طول زمان تخلیه می‌گیرد، و مقیاس‌دهی رو به بالا هزینه‌ی مالی دارد. خط‌مشی هر کلاس را بر اساس مقایسه‌ی این هزینه در برابر هزینه‌ی قطعی انتخاب کنید.
  • سطح 4: اگر زمان پیش‌هشدار 10 دقیقه باشد و آماده‌سازی نمونه‌ی جایگزین بیشتر طول بکشد، چه تغییری رخ می‌دهد؟ انتظار می‌رود: یک نمونه‌ی جایگزینِ گرم نگه دارید یا بر اساس سیگنالی ضعیف‌تر زودتر دست‌به‌کار شوید. تخلیه بدون جایگزینِ گرم، فقط قطعی را جابه‌جا می‌کند نه اینکه جلوی آن را بگیرد.
  • سطح 4: پس از تغییرات سرویس، از کجا می‌فهمید پیش‌بین هنوز کار می‌کند؟ انتظار می‌رود: دقت و بازخوانی هر کلاس را روی حوادث زنده رصد کنید، و وقتی توزیع ورودی دچار تغییر توزیع (Distribution Shift) شد، مدل را دوباره آموزش دهید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «قاب را تحویل دهید و بگذارید فرد آنکال تصمیم بگیرد.» شب‌ها هیچ‌کس به مانیتور نگاه نمی‌کند. نکته‌ی درس این است که پیش‌بینی بدون اقدام، صرفاً یک داشبورد است.
  • «تخلیه را از روز اول برای هر پیش‌بینی خودکار کنید.» در این صورت، هشدار اشتباه ظرفیت سیستم را هدر می‌دهد، و هیچ‌چیز نرخ هشدار اشتباه را روی ترافیک شما نسنجیده است.
  • «آمار پژوهش یعنی جلوی بیشتر قطعی‌ها را خواهیم گرفت.» آن عدد روی مجموعه‌ی آزمون بوده است. تا وقتی دقت را در محیط عملیاتی اندازه نگیرید، رقم واقعی نامشخص است.

کجای دوره آموزش داده می‌شود

درس SRE برای هوش مصنوعی نتیجه‌ی تشخیص زودهنگام را گزارش می‌دهد و می‌پرسد سیستم هنگام پیش‌بینی چه می‌کند.