سؤال مصاحبه

افت سرعت سرویس‌دهنده و از کار افتادن سرویس شما

The provider slowed down and your service fell over

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

در پی افت سرعت سرویس‌دهنده، خطاهای محدودیت نرخ درخواست (Rate limit) شروع به بازگشت کردند. با اینکه ترافیک ورودی سرویس شما تغییری نکرده بود، ظرف چند دقیقه حافظه پر شد و سرویس از کار افتاد (Crash کرد). ماجرا را بازسازی کنید و سیاست تلاش مجدد (Retry policy) را اصلاح کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

درگاه (Gateway) تمام فراخوانی‌های مواجه‌شده با محدودیت نرخ درخواست را دوباره امتحان کرد و هر تلاش مجددِ در حال انتظار، اتصال، بافرها و وضعیت درخواست خود را در حافظه نگه داشت. این تلاش‌های مجدد، هم‌زمانی درخواست‌های در جریان (In-flight requests) را به چند برابر ترافیک واقعی رساندند و حافظه هم به همین نسبت پر شد. این سیاست را با عقب‌گرد نمایی (Exponential Backoff) و نوسان تصادفی (Jitter)، تعداد اندک و ثابتی از دفعات تلاش، تعیین سقف برای درخواست‌های در جریان و یک زنجیره جایگزین (Fallback Chain) اصلاح کنید تا به‌جای منتظر ماندن، بار کاری منتقل شود (Failover رخ دهد).

پاسخ کامل

زنجیره رویدادها

  1. سرویس‌دهنده برای بخشی از فراخوانی‌ها خطای 429 برمی‌گرداند.
  2. درگاه هر کدام را دوباره امتحان می‌کند. هر تلاش مجدد در زمان انتظار، یک اتصال، بافر و وضعیت درخواست را اشغال می‌کند.
  3. تعداد درخواست‌های در جریان برابر می‌شود با ترافیک ضربدر دفعات تلاش مجدد. در درس مهندسی آشوب، به این پدیده «هم‌زمانی تشدیدشده با تلاش مجدد» می‌گویند.
  4. مصرف حافظه همپای تعداد درخواست‌های در جریان بالا می‌رود و سرویسی که تا یک دقیقه پیش بدون مشکل کار می‌کرد، با کمبود حافظه مواجه می‌شود و حافظه‌اش تمام می‌شود.

سیاست تلاش مجدد در پروژه پایانی برنامه محیط عملیاتی

عقب‌گرد نمایی همراه با نوسان تصادفی: حدود 1 ثانیه صبر کنید، بعد 2 ثانیه، بعد 4 ثانیه، همراه با یک بازه تصادفی که به هر انتظار اضافه می‌شود؛ و در نهایت پس از 3 بار تلاش مجدد، کار را متوقف کنید و پاسخ طرح پشتیبان (Fallback) را برگردانید. جدول این درس حالت‌ها را تفکیک می‌کند:

نوع خطا تلاش مجدد طرح پشتیبان
429، محدودیت نرخ درخواست بله، با عقب‌گرد قرار دادن درخواست در صف و اعلام در جریان بودن آن به کاربر
500، خطای سرور بله، 3 بار تلاش جابه‌جایی به مدل پشتیبان
تایم‌اوت بیش از 30 ثانیه بله، 1 بار تلاش پرامپت کوتاه‌تر یا مدلی کوچک‌تر

اهمیت نوسان تصادفی کمتر از عقب‌گرد نیست. بدون آن، همه‌ی کلاینت‌ها دقیقاً در یک لحظه دوباره درخواست می‌فرستند و سرویس‌دهنده در هر چرخه با موجی از ترافیک روبه‌رو می‌شود.

محدود کردن هم‌زمانی، نه فقط دفعات تلاش

تعداد تلاش‌ها صرفاً تکرار یک درخواست را محدود می‌کند؛ اما هیچ سقفی برای تعداد درخواست‌هایی که هم‌زمان منتظر می‌مانند وجود ندارد. روی درگاه، یک سقف برای درخواست‌های در جریان و یک بودجه تلاش مجدد به‌صورت درصدی از ترافیک در نظر بگیرید. وقتی سقف پر شد، به‌جای اشغال حافظه، بلافاصله درخواست را متوقف کنید (Fail fast) و به صف یا طرح پشتیبان بفرستید.

زنجیره جایگزین

مدل اصلی، سپس مدل ثانویه، سپس پاسخ کش‌شده و در آخر یک پیام کوتاه مبنی بر در دسترس نبودن سرویس. در هر مرحله، برای حفظ دردسترس‌بودن از کیفیت خروجی کم می‌شود و کاربر هیچ‌وقت دست‌خالی نمی‌ماند.

پیش از کندی بعدی آن را بیازمایید

اولین آزمایش مختص مدل در درس مهندسی آشوب، اعمال چنددقیقه‌ای محدودیت نرخ درخواست روی سرویس‌دهنده و رصد رفتار طرح پشتیبان است. بیشتر تیم‌ها تازه آنجا می‌فهمند طرح پشتیبان‌شان هیچ‌وقت در شرایط واقعی به‌طور کامل آزمایش نشده بوده است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا عقب‌گرد به‌تنهایی جلوی پر شدن حافظه را نمی‌گیرد؟ انتظار می‌رود: عقب‌گرد زمان تلاش‌های مجدد را پخش می‌کند، اما هر تلاشِ در حال انتظار همچنان وضعیت خود را نگه می‌دارد. راهکار اصلی، تعیین سقف برای درخواست‌های در جریان است.
  • سطح 3: صف چه کاری انجام می‌دهد که تلاش مجدد نمی‌تواند؟ انتظار می‌رود: درخواست را بدون اشغال اتصال یا پردازشگر (Worker) ذخیره می‌کند و به‌جای ایجاد تایم‌اوت، پیام در جریان بودن عملیات را به کاربر می‌دهد.
  • سطح 4: مدل پشتیبان ارزان‌تر و ضعیف‌تر است. چه کسی تعیین می‌کند استفاده از آن مجاز است و چطور آن را زیر نظر می‌گیرید؟ انتظار می‌رود: مالک محصول (Product Owner) مشخص می‌کند کدام مسیرها اجازه افت کیفیت دارند. نرخ استفاده از طرح پشتیبان را برای هر مسیر ثبت کنید و در صورت بالا ماندن مداوم آن، هشدار بفرستید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «سریع‌تر دوباره امتحان کنید تا صف پیش از پر شدن حافظه خالی شود.» تلاش‌های سریع‌تر، نرخ درخواست را در برابر سرویس‌دهنده‌ای که در حال حاضر شما را محدود کرده، باز هم بالاتر می‌برد.
  • «سقف تلاش‌های مجدد را بالا ببرید تا کاربر هیچ‌وقت خطا نبیند.» هر تلاش، حافظه اشغال می‌کند. افزایش دفعات تلاش، وضعیت‌های در جریان را چند برابر می‌کند.
  • «مشکل از سرویس‌دهنده بوده و چیزی در این سمت برای اصلاح وجود ندارد.» سرویس‌دهنده فقط خطاها را ایجاد کرد؛ سیاست تلاش مجدد بود که این خطاها را به یک قطعی کامل (Outage) تبدیل کرد.

کجای دوره آموزش داده می‌شود

درس برنامه محیط عملیاتی مباحث عقب‌گرد، محدودیت‌های تلاش مجدد و زنجیره جایگزین را پوشش می‌دهد، و در درس مهندسی آشوب از طوفان تلاش مجدد (Retry storm) به‌عنوان نقصی یاد شده که حتماً باید آزمایش شود.