سؤال مصاحبه

ده هزار فراخوانی هم‌زمان مدل روی تردها

Ten thousand concurrent model calls on threads

  • سطح ۲: میانی
  • تخمین
  • ۸ دقیقه

یک محیط اجرای ازدحام (swarm runtime) به‌ازای هر فراخوانی مدلِ در جریان (in-flight)، از یک ترد (thread) استفاده می‌کند. در ساعات اوج بار، این سیستم حدود 10,000 فراخوانی را هم‌زمان باز نگه می‌دارد. حافظه‌ای را که این تردها پیش از انجام هر کاری مصرف می‌کنند تخمین بزنید، بگویید این تردها بیشتر زمان خود را صرف چه کاری می‌کنند و توضیح دهید شما چه تغییری در این ساختار ایجاد می‌کردید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

استک (stack) هر ترد حدود 1 MB است؛ بنابراین 10,000 ترد فقط برای استک‌های خود، پیش از رسیدن حتی اولین توکن، به حدود 10 GB حافظه نیاز دارند. این تردها حدود 99 درصد از زمان خود را بیکارند و منتظر دریافت توکن بعدی از سرویس مدل می‌مانند. فراخوانی‌های مدل را با استفاده از ورودی/خروجی ناهمگام (asynchronous I/O) به فایبرهای همیارانه (cooperative fibers) منتقل کنید؛ جایی که همین 10,000 فراخوانی درون یک فرایند جا می‌شوند. تردها یا فرایندها را فقط برای کارهای وابسته به پردازنده (CPU-bound) مانند امبدینگ نگه دارید.

پاسخ کامل

تخمین

کمیت مقدار
استک به‌ازای هر ترد حدود 1 MB
فراخوانی‌های هم‌زمان 10,000
حافظه‌ی موردنیاز برای استک‌ها حدود 10 GB

این فقط هزینه‌ی باز نگه داشتن فراخوانی‌هاست، نه انجام کاری روی آن‌ها. فراخوانی مدل وابسته به ورودی/خروجی (I/O-bound) است. ترد درخواستی می‌فرستد و سپس منتظر توکن‌ها می‌ماند؛ در واقع حدود 99 درصد از طول عمرش کاملاً بیکار است.

فایبرها چه تغییری ایجاد می‌کنند

فایبرهای همیارانه هنگام انتظار برای I/O، اجرا را واگذار می‌کنند (yield) و دیگر استک را حین انتظار اشغال نگه نمی‌دارند. در دموی این درس، 500 فراخوانی شبیه‌سازی‌شده‌ی هم‌زمان در نسخه‌ی ناهمگام زیر یک ثانیه تمام می‌شوند؛ در حالی که اجرای نسخه‌ی مبتنی بر ترد چند ثانیه طول می‌کشد و به‌ازای هر واحد هم‌زمانی، چند مرتبه‌ی بزرگی (orders of magnitude) حافظه‌ی بیشتری مصرف می‌کند. در مقیاس ایجنت، I/O ناهمگام خودِ معماری است، نه یک بهینه‌سازی.

استثنا

پس‌پردازش‌های وابسته به پردازنده نیازمند ترد یا فرایند هستند: امبدینگ، ترفندهای توکنایزر، یا هر چیزی که به‌جای انتظار کشیدن، محاسبه انجام می‌دهد. لایه‌ی I/O را از لایه‌ی CPU جدا کنید و برای هرکدام مدل هم‌زمانی ویژه‌ی خودش را در نظر بگیرید.

هماهنگی با باقی بخش‌های محیط اجرا

لایه‌ی ناهمگام، فراخوانی‌های در جریان را مدیریت می‌کند. پایایی (durability) دغدغه‌ی مجزایی است: ثبت یک چک‌پوینت به‌ازای هر گام ذیل شناسه‌ی اجرا (run id) تا در صورت کرش کردن فرایند، فقط فراخوانی‌های در جریان از دست بروند و نه چیز دیگری؛ به‌این‌ترتیب هر ورکر می‌تواند کار را از آخرین چک‌پوینت ادامه دهد. وقتی اوج بار به ده برابرِ میانگین می‌رسد، وجود هر دو بخش ضروری است: فایبرها برای باز نگه‌داشتن ارزان فراخوانی‌ها، و صف‌ها به همراه اجاره‌ها (leases) برای توزیع بار میان ورکرها.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا تعداد تردها مهم‌تر از تعداد درخواست‌هاست؟ پاسخ مورد انتظار: هر ترد چه کاری انجام دهد و چه ندهد، یک استک را اشغال می‌کند؛ بنابراین مصرف حافظه با میزان هم‌زمانی مقیاس می‌گیرد، نه با نرخ پردازش.
  • سطح 2: اگر مرحله‌ی امبدینگ را روی حلقه‌ی ناهمگام اجرا کنید چه مشکلی پیش می‌آید؟ پاسخ مورد انتظار: یک وظیفه‌ی وابسته به پردازنده حلقه را مسدود می‌کند و تمام فراخوانی‌های در حال انتظار پشت سر آن متوقف می‌شوند؛ به همین دلیل کارهای محاسباتی باید به تردها یا فرایندها واگذار شوند.
  • سطح 3: بعد از اعمال تغییرات، مشکل حافظه حل می‌شود. محدودیت بعدی چیست؟ پاسخ مورد انتظار: محدودیت نرخ درخواست در سرویس مدل و عمق صف؛ بنابراین محیط اجرا به‌جای هم‌زمانی بیشتر، به فشار معکوس و یک اجاره به‌ازای هر اجرا نیاز دارد.
  • سطح 3: چطور پیش از انتشار در محیط عملیاتی، درستی این تغییر را اثبات می‌کنید؟ پاسخ مورد انتظار: مقایسه‌ی درس را روی الگوی فراخوانی‌های واقعی خودتان اجرا کنید، زمان واقعی و اوج مصرف حافظه را برای هر دو نسخه در همان سطح هم‌زمانی بسنجید و این ارقام را کنار مستندات تصمیم‌گیری خود نگه دارید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «آن‌قدر حافظه اضافه می‌کنیم تا تردها جا شوند.» حافظه برای استک‌های بیکار یعنی هدررفت، و در اوج بار بعدی به حافظه‌ی بیشتری نیاز خواهد بود؛ در حالی که فایبرها این هزینه را کلاً از بین می‌برند.
  • «اندازه‌ی استک تردها را کوچک‌تر می‌کنیم.» استک کوچک‌تر باز هم به‌ازای هر فراخوانی بیکار یک استک است، و آن 99 درصد زمان بیکاری نیز سر جای خود باقی می‌ماند.
  • «از فایبرها برای همه‌چیز، از جمله امبدینگ، استفاده می‌کنیم.» یک مرحله‌ی وابسته به پردازنده روی حلقه‌ی همیارانه، تمام فراخوانی‌های در حال انتظار را متوقف می‌کند؛ بنابراین لایه‌ی پردازشی باید از تردها یا فرایندها استفاده کند.

کجای دوره آموزش داده می‌شود

در درس مقیاس‌پذیری در محیط عملیاتی، نسخه‌های ناهمگام و مبتنی بر ترد شانه به شانه‌ی هم اجرا می‌شوند.