سؤال مصاحبه

طراحی ممیزی فصلی شکست‌ها برای یک تیم ایجنت

Design the quarterly failure audit for an agent team

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

محصولی مبتنی بر چند ایجنت به مدت دو فصل در محیط عملیاتی (production) فعال بوده است. شکست‌ها مثل جریانی از تیکت‌های نامرتبط سرازیر می‌شوند و هیچ‌چیز به‌صورت سیستماتیک برطرف نمی‌شود. ممیزی‌ای طراحی کنید که این جریان آشفته را به فهرستی رتبه‌بندی‌شده از راهکارهای اصلاحی تبدیل کند، و بگویید حتی اگر یک دسته از شکست‌ها بیشترین فراوانی را نداشته باشد، به کدام دسته بالاترین وزن را می‌دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر فصل حدود 1000 نمونه از ردگیری محاسبات (trace) واقعی را بردارید؛ هر شکست را ذیل سه دسته‌ی ریشه‌ای در رده‌بندی (taxonomy) منتشرشده و پنج الگوی تفکر گروهی دسته‌بندی کنید؛ نرخ شکست را در هر دسته بسنجید؛ راهکارهای اصلاحی را بر اساس تعداد شکست‌هایی که حذف می‌کنند رتبه دهید؛ و در نهایت اجرای 2 یا 3 راهکار را برای آن فصل commit کنید. به شکاف‌های اعتبارسنجی (verification gaps) بیشترین وزن را بدهید، حتی اگر از نظر تعداد کوچک‌ترین دسته باشند؛ زیرا این خطاها خاموش‌اند: یک خروجی اشتباه اما به‌ظاهر معقول، هیچ استثنایی (exception)، هشداری یا تیکتی ایجاد نمی‌کند تا زمانی که یک انسان متوجه آن شود.

پاسخ کامل

خط مبنایی که با آن سنجیده می‌شوید

رده‌بندی مرجع بر اساس 1642 ردگیری محاسبات در 7 سیستم چندایجنت متن‌باز تدوین شده و نرخ شکست را بین 41 درصد تا 86.7 درصد برآورد کرده است. سه دسته‌ی ریشه‌ای عبارت‌اند از:

دسته سهم نشانه‌های ظاهری
مشکلات مشخصات (Specification problems) 41.77 درصد ابهام در نقش، وظیفه‌ای با جزئیات ناکافی، معیارهای موفقیت ضمنی
شکست‌های هماهنگی (Coordination failures) 36.94 درصد نوشتن‌های همگام‌نشده در وضعیت مشترک (shared state)، پیام‌های مفقودشده، دریفت وضعیت
شکاف‌های اعتبارسنجی (Verification gaps) 21.30 درصد ایجنتی ادعای موفقیت می‌کند و کسی آن را بررسی نمی‌کند، اعتماد کورکورانه‌ی هر ایجنت به ایجنت قبلی

کنار این‌ها، پنج الگوی تفکر گروهی قرار دارند: تک‌محصولی (monoculture)، همرنگی با جماعت، نداشتن مدلی از باورهای یکدیگر، دریفت سازشکارانه و شکست‌های آبشاری.

گام‌های ممیزی

  1. نمونه‌گیری. حدود 1000 ردگیری محاسبات واقعی را بردارید و داده‌ها را بر اساس نوع وظیفه دسته‌بندی لایه‌ای (stratified) کنید؛ نه اینکه فقط سراغ مواردی بروید که تیکت ثبت کرده‌اند.
  2. دسته‌بندی. هر شکست را به یک دسته‌ی ریشه‌ای و در صورت وجود، به الگوی تفکر گروهی متناظر وصل کنید. تا زمانی که دسته‌بندی‌ها به ثبات برسند، برای هر ردگیری دو بازبین در نظر بگیرید.
  3. محاسبه. نرخ شکست را برای هر دسته در سیستم خودتان به دست آورید. سهم‌های منتشرشده در مقالات صرفاً یک پیشین (prior) هستند، نه ارقام دقیق سیستم شما.
  4. رتبه‌بندی. برای هر راهکار پیشنهادی، تعداد شکست‌هایی را که با اجرای آن برطرف می‌شدند بشمارید.
  5. تعهد به اجرا. برای فصل پیش رو 2 یا 3 راهکار را commit کنید؛ هر کدام با یک مسئول مشخص و تاریخی برای ممیزی مجدد.

پایبندی به نظمِ این فرایند از خود انتخاب‌ها مهم‌تر است. بدون این ممیزی، شکست‌ها لابه‌لای نوفه‌ی سیستم گم می‌شوند.

گزینه‌های مهار و اصلاح

  • مشخصات: قراردادهای شفاف برای نقش‌ها که دقیقاً مشخص می‌کنند یک ایجنت چه کارهایی انجام می‌دهد و چه کارهایی را انجام نمی‌دهد، نوشتن تست‌های پذیرش قبل از ارسال وظیفه، و اعتبارسنجی پیش‌پرواز (pre-flight check) برای تعریف وظیفه.
  • هماهنگی: وضعیت مشترک نسخه‌بندی‌شده با همزمانی خوش‌بینانه، تأیید دریافت برای پیام‌های حیاتی، و چک‌پوینت‌های دوره‌ای برای همگام‌سازی وضعیت.
  • اعتبارسنجی: یک مدل اعتبارسنج (verifier) مستقل و فقط‌خواندنی با دسترسی اختصاصی به منابع، قراردادهای دست‌به‌دست‌کردن وظایف (handoff contracts) که شروع کار ایجنت بعدی را منوط به بررسی صحت کار قبلی می‌کنند، و لاگ‌گیری از نتایج نهایی.
  • شکست‌های آبشاری: مدارشکن‌ها (circuit breakers) روی تمام فراخوانی‌های خروجی با آستانه‌ی باز شدن پیش‌فرض روی نرخ خطای 5 تا 10 درصد، و سقف‌گذاری برای بودجه‌ی تلاش مجدد.

چرا شکاف‌های اعتبارسنجی وزن بیشتری دارند؟

تشخیص شکستی پر سر و صدا، مثل کرش کردن یا خطای مهلت زمانی (timeout)، هزینه‌ی چندانی ندارد. اما شکست خاموش در درستی عملکرد را نمی‌توان در لاگ‌های استثنا پیدا کرد. به همین دلیل شکاف‌های اعتبارسنجی به ازای هر خطا، پرهزینه‌ترین دسته‌اند. روی بازبینی‌های انسانی مبتنی بر نمونه‌گیری، یک مجموعه‌داده‌ی طلایی کوچک که به‌صورت هفتگی و دستی ممیزی می‌شود، و اعتبارسنجی متقابل بین ایجنت‌ها روی خروجی‌های مهم سرمایه‌گذاری کنید.

شناسایی خطاهای کند قبل از ممیزی

معیارهای نیابتی را برای پایش دریفت ابزارگذاری کنید: نرخ توافق میان ایجنت‌های موازی، نرخ تلاش مجدد، توزیع طول خروجی‌ها، و فاصله‌ی ویرایشی (edit distance) بین نسخه‌های پیاپی ایجنت. در این درس همچنین به ترکیب سه‌گانه‌ای از ایجنت‌های تخصصی اشاره شده است (تشخیص، ریشه‌یابی و اعتبارسنجی) که موفقیت راهکارهای اصلاحی را 1.5 برابر بیشتر کردند؛ کار را فقط با ایجنت تشخیص شروع کنید و زمانی که نشانه‌ها مبهم و پرنوفه شدند، ایجنت ریشه‌یابی را به کار بگیرید.

ضمانت اجرایی ایجاد کنید

برای هر دسته یک بودجه‌ی شکست در نظر بگیرید؛ یعنی هدفی صریح برای نرخ خطا. وقتی خطاهای یک دسته از سقف بودجه فراتر رفت، انتشار نسخه‌ی بعدی متوقف می‌شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا به‌جای بررسی تیکت‌ها سراغ نمونه‌گیری از ردگیری‌ها می‌رویم؟ پاسخ مورد انتظار: تیکت‌ها نشان‌دهنده‌ی خطاهای پر سر و صدا هستند، در حالی که خطاهای خاموش هیچ‌وقت تیکتی ایجاد نمی‌کنند؛ بنابراین نمونه‌گیری لایه‌ای تنها راه دیدن آن‌ها است.
  • سطح 3: اول از همه کدام معیار نیابتی را ابزارگذاری می‌کنید؟ پاسخ مورد انتظار: نرخ توافق میان ایجنت‌های موازی؛ چون جهش ناگهانی آن نشانه‌ی همرنگی با جماعت و افت شدید آن نشانه‌ی دریفت است، و هر دو پیش از بروز خطاهای مشهود رخ می‌دهند.
  • سطح 4: ممیزی نشان می‌دهد که مشکلات مشخصات سهم غالب را دارند. کم‌هزینه‌ترین راهکار چیست؟ پاسخ مورد انتظار: اعتبارسنجی پیش‌پرواز روی تعریف وظیفه توسط یک ایجنت مجزا قبل از توزیع کار، همراه با قراردادهای نقشی که به صراحت کارهایی را که ایجنت نباید انجام دهد مشخص می‌کنند.
  • سطح 4: چگونه مانع از این می‌شوید که گزارش ممیزی خاک بخورد و کاری رویش انجام نشود؟ پاسخ مورد انتظار: تعیین بودجه‌ی شکست همراه با قانون توقف انتشار نسخه، مشخص کردن مسئول برای هر اقدام اصلاحی، و ثبت تاریخ ممیزی بعدی در تقویم کاری، پیش از شروع فصل.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اول دسته‌ای را درست کنید که بیشترین فراوانی را دارد.» فراوانی به معنای هزینه نیست؛ هزینه‌ی هر خطای خاموش ناشی از شکاف‌های اعتبارسنجی، بسیار بیشتر از هزینه‌ی مشکلات پر سر و صدای مشخصات است.
  • «سالی یک بار ممیزی کنید، وقتی سیستم به پایداری رسید.» هم‌زمان با رشد سیستم دسته‌ها جابه‌جا می‌شوند، و یک سال تحمل خطاهای رتبه‌بندی‌نشده، شما را به همان جریان آشفته‌ی اول بازمی‌گرداند.
  • «ایجنت‌های بیشتری اضافه کنید تا کار یکدیگر را بررسی کنند.» ایجنت‌هایی که از یک مدل مشترک استفاده می‌کنند، نقاط کور مشترکی هم دارند؛ بررسی‌ای ارزشمند است که توسط یک مدل اعتبارسنج مستقل با دسترسی اختصاصی به منابع انجام شود.

کجای دوره آموزش داده می‌شود

درس حالت‌های شکست به تشریح این رده‌بندی، مراحل ممیزی و معیارهای نیابتی شناسایی شکست‌های کند می‌پردازد.