سؤال مصاحبه

ورکر حین اجرا کرش کرد و هزینه‌ی اجرا از کاربر کسر شد

A worker died mid-run, and the user paid for the run

  • سطح ۳: ارشد
  • طراحی
  • ۱۵ دقیقه

پیش‌نمونه‌ی چندایجنت شما در قالب یک فرایند و با یک حلقه‌ی رویداد (event loop) درون‌حافظه‌ای کار می‌کند. در محیط عملیاتی، اجراها ساعت‌ها منتظر ورودی انسان می‌مانند، فرایندهای ورکر کرش می‌کنند و همه‌چیز از دست می‌رود، بار اوج سیستم 10 برابر میانگین است و از کاربران به ازای هر اجرا هزینه کسر می‌شود؛ بنابراین اجرای مجدد یک اثر جانبی (side effect) به معنای دو بار کسر هزینه خواهد بود. لایه‌ی زیرین ایجنت‌ها را طراحی کنید و بگویید ابتدا چه چیزی می‌سازید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک لایه‌ی اجرای پایدار (durable execution) زیر پای ایجنت‌ها قرار دهید: وضعیت کامل اجرا را پس از هر گام با یک شناسه‌ی اجرا ذخیره کنید، تا در صورت کرش کردن یک ورکر، اجاره‌ی (lease) آن منقضی شود و ورکر دیگری کار را از آخرین چک‌پوینت (checkpoint) ادامه دهد. این کار نیازمند وضعیتی با قابلیت سریال‌سازی، ادامه‌ی قطعی (deterministic resume) و اثرهای جانبی بی‌اثر در تکرار (idempotent) است. برای کسر هزینه، از یک کلید حذف موارد تکراری (deduplication key) به ازای هر اجرا و الگوی Outbox استفاده کنید تا اثرهای جانبی ابتدا به شکل نیت (intent) ثبت شده و فقط یک‌بار اجرا شوند؛ برای فراخوانی مدل‌ها از I/O غیرهمزمان بهره ببرید و نسخه‌های جدید را کنار نسخه‌های قدیمی مستقر کنید تا اجراهای در حال انجام هرگز متوقف نشوند. ابتدا ساده‌ترین نسخه را بسازید: یک وب‌سرویس با پایگاه داده‌ی رابطه‌ای، و زمانی به سراغ موتور جریان کاری (workflow engine) بروید که مشکلی اندازه‌گیری‌شده شما را ناچار کند.

پاسخ کامل

مسیر ادامه‌ی اجرا

worker crashes mid-step
  -> lease times out
  -> another worker picks up the run id
  -> resumes from the last checkpoint
  -> no duplicate side effect

سه پیش‌نیاز برای کارکرد درست این سازوکار لازم است:

  1. وضعیت با قابلیت سریال‌سازی. هر چیزی که ایجنت در خود دارد باید قابل‌ذخیره‌سازی باشد. یک کلوژر (closure) با اتصال زنده به پایگاه داده از کرش جان سالم به در نمی‌برد.
  2. ادامه‌ی قطعی. در ازای وضعیت یکسان و ورودی‌های یکسان، ایجنت کارهای مشابهی انجام می‌دهد، یا برای فراخوانی‌های مدل به نتیجه‌ی ثبت‌شده‌ی قبلی رجوع می‌کند.
  3. اثرهای جانبی بی‌اثر در تکرار. هر فراخوانی خارجی کلیدی با خود دارد، یا ابتدا درون یک جدول نوشته می‌شود و فرایندی مجزا آن را اجرا می‌کند.

محیط‌های اجرای گرافی بعد از هر مرحله یک چک‌پوینت را با یک شناسه‌ی رشته (thread id) ذخیره می‌کنند. موتورهای جریان کاری بعد از هر فعالیت (activity) وضعیت را می‌نویسند. محیط‌های اجرای مبتنی بر Event-sourcing ژورنال (journal) نگه می‌دارند. الگو در همه‌ی این‌ها یکسان است.

اجرای در حال انتظار

اجرایی که ساعت‌ها منتظر ورودی انسان می‌ماند، نباید یک ورکر را معطل نگه دارد. محیط اجرا وضعیت را ذخیره می‌کند، ورکر را آزاد می‌سازد و به محض رسیدن ورودی، هر ورکری می‌تواند ادامه‌ی کار را به دست بگیرد. همین نکته باعث می‌شود چک‌پوینت به واحد اصلی سیستم تبدیل شود، نه فرایند سیستم‌عامل.

دقیقاً یک‌بار، در عمل

تحویل حداقل یک‌بار به همراه مصرف‌کننده‌ی بی‌اثر در تکرار، تنها شکلی از «دقیقاً یک‌بار» است که به آن می‌رسید.

راهکار کارکرد
کلید حذف موارد تکراری به ازای هر اجرا در هر فراخوانی اثر جانبی گنجانده می‌شود تا تلاش مجدد قابل‌تشخیص باشد
الگوی Outbox نیت ابتدا در یک جدول نوشته می‌شود، سپس یک مجری مجزا آن را انجام می‌دهد و علامت اتمام می‌زند
تراکنش جبرانی (Compensating transaction) اگر اثر جانبی موفق بود اما ثبت وضعیت شکست خورد، عمل معکوس زمان‌بندی می‌شود

این‌ها الگوهای پایگاه داده هستند. تنها هزینه‌ی اختصاصی دنیای ایجنت‌ها این است که فراخوانی مدل‌ها کند پیش می‌رود.

همروندی

فراخوانی مدل‌ها به شدت وابسته به I/O (یا I/O bound) است و نخی که منتظر توکن بعدی می‌ماند، 99 درصد مواقع بیکار است. در 10000 فراخوانی همزمان، نخ‌هایی با حجم تقریبی 1 مگابایت، فقط حدود 10 گیگابایت حافظه صرفاً برای استک‌های خود نیاز دارند؛ در حالی که فیبرهای تعاملی (cooperative fibers) همگی در یک فرایند جا می‌گیرند. برای لایه‌ی مدل از I/O غیرهمزمان استفاده کنید و نخ‌ها یا فرایندها را فقط برای کارهای وابسته به پردازنده (CPU-bound) مانند امبدینگ (embedding) نگه دارید.

استقرارها

ایجنت‌های وضعیت‌دار با اجرای طولانی را نمی‌توان با تعویض آنی (hot-swap) به‌روزرسانی کرد. چند نسخه از محیط اجرا را همزمان اجرا کنید، بخشی از اجراهای جدید را به نسخه‌ی جدید بفرستید و نسخه‌ی قدیمی را پس از پایان اجراهایش از مدار خارج کنید.

اول چه چیزی بسازیم؟

نکته‌ی کلیدی درس این است که بیشتر تیم‌ها پیش از اندازه‌گیری دقیق، سیستم را بیش از حد پیچیده طراحی می‌کنند. یک وب‌سرویس و یک پایگاه داده‌ی رابطه‌ای، همراه با ثبت هر اجرا در قالب یک سطر، همروندی خوش‌بینانه روی وضعیت، یک ورکر ساده در پس‌زمینه و تلاش‌های مجدد در سطح برنامه، بارهای کاری زیر 100 اجرای همزمان روی کارهای مدیریت‌پذیر را تاب می‌آورد. زمانی به سراغ موتور اجرای پایدار بروید که با مشکلی واقعی مواجه شوید که طرح ساده از پس آن برنمی‌آید: انتظارهای چندساعته در مقیاس بالا، هماهنگی میان چند ناحیه‌ی جغرافیایی، یا سیاست‌های پیچیده‌ی جبران خطا.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا فراخوانی مدل، بخش سخت ادامه‌ی قطعی است؟ پاسخ مورد انتظار: چون مدل رفتار قطعی ندارد، بنابراین هنگام ادامه‌ی کار باید به جای اجرای دوباره‌ی فراخوانی، نتیجه‌ی ضبط‌شده‌ی آن بازپخش (replay) شود.
  • سطح 3: وظیفه‌ی اجاره چیست؟ پاسخ مورد انتظار: یک اجرا را برای زمانی محدود در انحصار یک ورکر قرار می‌دهد، تا در صورت کرش کردن ورکر، اجرا برای ورکر دیگری آزاد شود بدون این‌که دو ورکر همزمان روی آن کار کنند.
  • سطح 4: الگوی Outbox را چطور آزمایش می‌کنید؟ پاسخ مورد انتظار: یک اثر جانبی یکسان را دو بار از طریق مجری اجرا کنید و مطمئن شوید فقط یک فراخوانی خارجی صورت گرفته است؛ سپس مجری را میان اعمال اثر جانبی و ثبت علامت اتمام متوقف کنید و مطمئن شوید که تراکنش جبرانی یا تکرارِ بی‌اثر در تکرار، تنها یک اثر بر جای می‌گذارد.
  • سطح 4: پیاده‌سازی دستی کدام ویژگی یک موتور جریان کاری سخت‌تر است و آیا این دلیلی برای استفاده از آن محسوب می‌شود؟ پاسخ مورد انتظار: انتخابی مستدل مانند تایمرهای پایدار برای انتظارهای چندساعته یا سیاست‌های جبران خطا، همراه با این قاعده که استفاده از موتور باید به دنبال شکستِ اثبات‌شده‌ی طرح ساده باشد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اگر ورکر کرش کرد، کل اجرا را از اول دوباره انجام دهید.» این کار تمام اثرهای جانبی قبلی را دوباره تکرار می‌کند و همان مشکل دو بار کسر هزینه از کاربر در صورت‌مسئله را پیش می‌آورد.
  • «به ازای هر اجرا از یک نخ استفاده کنید؛ ساده‌تر است.» نخ‌ها موقع انتظار برای توکن‌ها بیکار می‌مانند و در 10000 فراخوانی همزمان، استک‌ها به‌تنهایی حافظه را تمام می‌کنند.
  • «از روز اول یک موتور جریان کاری به کار بگیرید تا خیالتان راحت باشد.» طرح ساده حدود 100 اجرای همزمان را مدیریت می‌کند و تشریفات راه‌اندازی این موتورها وقت‌گیر است، تا زمانی که نیازی واقعی و اندازه‌گیری‌شده این هزینه را توجیه کند.

کجای دوره آموزش داده می‌شود

درس مقیاس‌پذیری در محیط عملیاتی مخزن چک‌پوینت، صف اختصاصی برای هر ایجنت و دمو غیرهمزمان را می‌سازد و قاعده‌ی «ساده شروع کن» را تثبیت می‌کند.