سؤال مصاحبه

خرابی سرویس پرداخت، سرویس موجودی را از کار انداخت

A payment failure took the inventory service down

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

سرویس پرداخت ناگهان در حدود 10 درصد از درخواست‌هایش با خطا مواجه می‌شود. ظرف چند دقیقه، سرویس موجودی کالا که خودش هیچ خطایی نداشت کاملاً از کار می‌افتد و ایجنت‌های ثبت سفارش که هر دو سرویس را فراخوانی می‌کنند، متوقف می‌شوند. خودِ سرویس پرداخت پس از مدتی خودبه‌خود بازیابی می‌شود. این زنجیره را تحلیل کنید، دسته‌ی این حالت شکست (Failure mode) را نام ببرید و بگویید چه راهکاری اضافه می‌کنید تا جلوی تکرار آن گرفته شود.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این سناریو یک «طوفان تلاش مجدد» (Retry storm) و نمونه‌ای از «شکست آبشاری در پایایی» (Cascading reliability failure) است. ایجنت سفارش برای هر پرداختِ ناموفق دوباره تلاش کرد، هر تلاش مجدد یک بررسی جدید از موجودی گرفت، در نتیجه بار سرویس موجودی دو برابر حد معمول شد و شروع به تایم‌اوت دادن کرد؛ سپس هر سفارش تلاش مجدد برای بررسی موجودی را هم شروع کرد و بار موجودی به 10 برابر حد معمول رسید و سیستم از پا درآمد. راه‌حل این مسئله کلاسیک است: قرار دادن یک مدارشکن (Circuit Breaker) روی تک‌تک فراخوانی‌های خروجی؛ به طوری که اگر نرخ خطای سرویس مقصد از یک آستانه (Threshold) عبور کند، مدارشکن فعال شود و یک نتیجه‌ی کش‌شده یا پیش‌فرض را برگرداند. علاوه بر این، باید سقف مشخصی برای بودجه‌ی تلاش مجدد به ازای هر درخواست تعیین شود.

پاسخ کامل

زنجیره

payment fails about 10 percent of requests
  -> the order agent retries payment, with backoff but no cap
  -> each retry runs a new order-inventory check
  -> inventory sees about twice its normal load
  -> inventory starts to time out
  -> every order retries the inventory check
  -> inventory sees about ten times its normal load
  -> the cluster goes down

هیچ بخشی از این زنجیره ناشی از خطای مدل نیست؛ بلکه یک شکست در هماهنگی بین مؤلفه‌هایی است که منطق تلاش مجدد آن‌ها جداگانه و تک‌به‌تک نوشته شده است.

دسته

در رده‌بندی (Taxonomy) این درس، این اتفاق جزو شکست‌های آبشاری در پایایی قرار می‌گیرد؛ یعنی یکی از 5 الگویی که در آن ایجنت‌ها خطاهای یکدیگر را تشدید می‌کنند. این الگو در کنار تک‌محصولی (Monoculture)، همرنگی با جماعت (Conformity)، فقدان مدل درک از باورهای یکدیگر، و دریفت (Drift) مصالحه قرار دارد. در میان همه‌ی راهکارهای این رده‌بندی، مدارشکن جزو معدود ابزارهایی است که مستقیماً از سیستم‌های توزیع‌شده وام گرفته می‌شود، بدون آنکه نیازی به تغییر داشته باشد.

مدارشکن

وضعیت رفتار
بسته (Closed) فراخوانی‌ها عبور می‌کنند و مدارشکن نتیجه‌ی هر فراخوانی را در یک بازه‌ی زمانی ثبت می‌کند
باز (Open) فراخوانی‌ها رد می‌شوند و تا زمان پایان دوره‌ی خنک‌سازی (Cooldown)، نتیجه‌ی کش‌شده یا پیش‌فرض برگردانده می‌شود
نیمه‌باز (Half-open) یک آزمون ارزیابی (Probe) عبور داده می‌شود؛ در صورت موفقیت، مدار بسته می‌شود و در صورت شکست، دوباره باز می‌ماند

تنظیم پیش‌فرضِ این درس برای محیط عملیاتی، باز شدن مدار در نرخ خطای 5 تا 10 درصد است. در شبیه‌سازی این درس، مدارشکن جلوی تشدید بار را می‌گیرد: ممکن است تعداد پاسخ‌های موفق کاهش یابد، اما سرویس مقصد زنده می‌ماند.

بودجه‌ی تلاش مجدد

مدارشکن از سرویس فراخوانده‌شده (Callee) محافظت می‌کند. در مقابل، «بودجه‌ی تلاش مجدد» (Retry budget) به ازای هر درخواست، سیستم را در برابر سرویس فراخواننده (Caller) محافظت می‌کند: به این صورت که تعداد تلاش‌ها محدود می‌شود و اگر به سقف رسید، درخواست شکست می‌خورد و خطای آن ثبت می‌شود. تلاش‌های مجددِ بدون سقف، عامل اصلی شکل‌گیری طوفان هستند.

تشخیص زودهنگام

نرخ تلاش مجدد، درست در کنار نرخ توافق، توزیع طول خروجی و فاصله‌ی ویرایشی میان نسخه‌های ایجنت، یکی از شاخص‌های غیرمستقیم برای شناسایی «شکست‌های تدریجی» است. یک ایجنت پایشگر که جهش نرخ تلاش مجدد را زیر نظر دارد، می‌تواند این الگو را پیش از آنکه سرویس موجودی از پا بیفتد شناسایی و نام‌گذاری کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا سرویس موجودی از کار می‌افتد در حالی که خطا از سمت سرویس پرداخت است؟ پاسخ مورد انتظار: حلقه‌ی تلاش مجدد در ایجنت سفارش با هر بار تلاش برای پرداخت، بررسی موجودی را هم از اول تکرار می‌کند؛ در نتیجه بار سرویس موجودی همگام با خطاهای پرداخت بالا می‌رود.
  • سطح 3: وقتی مدارشکن در وضعیت باز است، چه پاسخی برمی‌گرداند؟ پاسخ مورد انتظار: یک پاسخ کش‌شده یا مقدار پیش‌فرض که ایجنت سفارش بتواند با استفاده از آن در حالت کاهش‌یافته (Degraded mode) به کارش ادامه دهد؛ تا کاربر به‌جای اینکه هیچ پاسخی نگیرد، پاسخی کندتر دریافت کند.
  • سطح 4: آستانه‌ی مدارشکن باید کجا تنظیم شود و مسئولیت آن با کیست؟ پاسخ مورد انتظار: در پیکربندی سرویس فراخواننده به ازای هر سرویس مقصد؛ مسئولیت آن با تیمی است که سرویس فراخواننده را مدیریت می‌کند و هر زمان نرخ خطای عادی سرویس وابسته تغییر کند، این آستانه باید بازبینی شود.
  • سطح 4: چطور بدون ایجاد حادثه در محیط عملیاتی (Production)، این اصلاحیه را آزمایش می‌کنید؟ پاسخ مورد انتظار: با یک شبیه‌ساز که نرخ خطای 10 درصدی را به سرویس مقصد تزریق می‌کند و تعداد کل فراخوانی‌ها را در دو حالتِ با و بدون مدارشکن می‌سنجد؛ دقیقاً همان کاری که در این درس انجام شد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اضافه کردن عقب‌گرد نمایی (Exponential Backoff) به تلاش‌های مجدد پرداخت.» عقب‌گرد (Backoff) فقط سرعت طوفان را کم می‌کند ولی جلوی آن را نمی‌گیرد، ضمن اینکه بررسی موجودی همچنان در هر تلاش مجدد اجرا می‌شود.
  • «اسکیل کردن سرویس موجودی برای مهار بار ناگهانی.» این افزایش بار، 10 برابر حد معمول و حاصل تلاش‌های مجدد هدررفته است؛ اسکیل کردن فقط هزینه‌ی این طوفان را تقبل می‌کند به‌جای آنکه متوقفش کند.
  • «این یک مشکل در مدل است، پس پرامپت (Prompt) ایجنت را بهبود دهید.» هیچ تصمیم مدلی در این زنجیره دخیل نیست و پرامپت هم دیدی به نرخ خطای سرویس مقصد ندارد.

کجای دوره آموزش داده می‌شود

درس حالت‌های شکست طوفان تلاش مجدد را در دو حالت با مدارشکن و بدون آن شبیه‌سازی می‌کند.