سؤال مصاحبه

سرو دسته‌ای یا برخط برای محدودیت کهنگی داده‌ی دو ساعته

Batch or online serving for a two-hour freshness limit

  • سطح ۲: میانی
  • بده‌بستان
  • ۱۲ دقیقه

امتیاز رتبه‌بندی فید برای 5,000,000 آیتم نباید بیش از دو ساعت کهنه باشد، و اوج ترافیک سرو 120 درخواست بر ثانیه است. با مدل هزینه‌ی این درس، سرو دسته‌ای (batch) و برخط (online) را قیمت‌گذاری کنید، یکی را برگزینید و بگویید چه چیزی این انتخاب را تغییر می‌دهد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

با یک جاب دسته‌ای یک‌ساعته و سقف کهنگی داده‌ی دو ساعته، جاب باید هر یک ساعت یک‌بار اجرا شود. مدل هزینه‌ی درس، این سناریو را 24.0 اجرا در روز روی 5,000,000 آیتم برآورد می‌کند که هزینه‌ی آن روزانه $48.50 است. دو نسخه‌ی فعال (replicas) برخط متناسب با اوج 120 QPS، روزانه $24.00 هزینه دارند و تازه‌ترین داده را سرو می‌کنند. در اینجا سرو برخط برنده است؛ اگر محدودیت کهنگی آن‌قدر آسان‌تر شود که دفعات اجرا کاهش یابد، یا اوج ترافیک آن‌قدر بالا برود که به نسخه‌های زیادی نیاز باشد، ورق برمی‌گردد.

پاسخ کامل

نحوه‌ی قیمت‌گذاری هر طرح

ویژگی دسته‌ای برخط
تازگی داده به کهنگیِ آخرین اجرا به‌علاوه‌ی مدت‌زمان اجرای جاب داده‌های لحظه‌ی ارسال درخواست
تاخیر درخواست یک خواندن کلید-مقدار، در حد چند میلی‌ثانیه واکشی ویژگی‌ها به‌علاوه‌ی زمان مدل، 35 میلی‌ثانیه در مدل
عامل اصلی هزینه تعداد موجودیت‌ها ضرب‌در دفعات اجرا در روز نسخه‌های فعال بر اساس اوج QPS، با حداقل دو نسخه
موجودیت‌های جدید تا اجرای بعدی امتیازی ندارند در همان اولین درخواست امتیازدهی می‌شوند
رفتار هنگام خرابی امتیازهای قبلی همچنان قابل خواندن می‌مانند درخواست‌ها با خطا روبه‌رو می‌شوند یا مهلت زمانی سر می‌آید

پردازش دسته‌ای باید حتماً پیش از سرآمدن سقف کهنگی تمام شود؛ بنابراین فاصله‌ی بین اجراها برابر است با سقف کهنگی منهای مدت‌زمان جاب. در هر بار اجرا، تمام موجودیت‌ها چه درخواستی برایشان باشد و چه نباشد امتیازدهی می‌شوند. سرو برخط هزینه‌ی نسخه‌های بیکار را در فواصل بین اوج ترافیک می‌پردازد و دست‌کم دو نسخه را برای دسترسی‌پذیری (availability) حفظ می‌کند.

محاسبات برای این بار کاری

سقف کهنگی داده‌ی دو ساعته منهای جاب یک‌ساعته، فاصله‌ی یک‌ساعته میان اجراها باقی می‌گذارد؛ یعنی 24.0 اجرا در روز. در هر اجرا، تمام 5,000,000 آیتم امتیازدهی می‌شوند. به همین دلیل طرح دسته‌ای روزانه $48.50 هزینه برمی‌دارد، در حالی که طرح برخط روی کفِ دو نسخه‌ای خود یعنی $24.00 می‌ماند؛ چون اوج ترافیک 120 QPS کاملاً در ظرفیت دو نسخه جا می‌شود.

چه عواملی تصمیم را برمی‌گرداند

  • بالا رفتن سقف کهنگی داده، تعداد دفعات اجرا و هزینه‌ی پردازش دسته‌ای را به همان نسبت کم می‌کند؛ جاب شبانه‌ی ریزش کاربران (churn) در همین درس زیر یک دلار تمام می‌شود.
  • اگر سقف کهنگی داده کوتاه‌تر از مدت‌زمان یک جاب دسته‌ای باشد، روش دسته‌ای با هر هزینه‌ای ناممکن است.
  • اوج ترافیکِ بسیار بالاتر نسخه‌های بیشتری می‌طلبد و هزینه‌ی برخط را متناسب با ترافیک اوج به‌صورت خطی بالا می‌برد.
  • اگر سقف تاخیر (latency budget) کمتر از زمان اجرای مدل در مسیر برخط باشد، گزینه‌ی برخط کنار می‌رود و یک طرح ترکیبی (hybrid) باید آیتم‌های شناخته‌شده را از پایگاه داده و آیتم‌های جدید را به‌صورت برخط سرو کند.

این تصمیم درباره‌ی چه چیزهایی نیست

معیارهای تعیین‌کننده صرفاً تازگی داده و هزینه هستند؛ کیفیت مدل در هر دو طرح تفاوتی ندارد. حالت‌های شکست (failure modes) با هم فرق دارند: خرابی جاب دسته‌ای امتیازهای قدیمی اما خواندنی بر جای می‌گذارد، در حالی که خرابی سرویس برخط درخواست‌ها را با شکست روبه‌رو می‌کند؛ بنابراین، معماری برخط به یک گزینه‌ی جایگزینِ پیش‌فرض مثل آخرین امتیاز ذخیره‌شده یا روش‌های اکتشافی (heuristic) نیاز دارد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا طرح برخط در این سناریو در حداقل ظرفیت خود قرار دارد؟ پاسخ مورد انتظار: دو نسخه کفِ لازم برای دسترسی‌پذیری است و اوج 120 QPS در ظرفیت این دو نسخه می‌گنجد؛ بنابراین ترافیک عامل تعیین تعداد نسخه‌ها نیست.
  • سطح 2: اگر اجرای جاب بیشتر از سقف کهنگی داده طول بکشد، زمان‌بند (planner) چه برمی‌گرداند؟ پاسخ مورد انتظار: ناممکن (infeasible)؛ هیچ زمان‌بندی‌ای نمی‌تواند این سقف را رعایت کند، پس یا بودجه‌ها یا خود جاب باید تغییر کنند.
  • سطح 3: طرح ترکیبی را طراحی کنید. پاسخ مورد انتظار: پردازش دسته‌ای با یک زمان‌بندی آزادتر به آیتم‌های شناخته‌شده امتیاز می‌دهد، و سرویس برخط به آیتم‌های جدید و درخواست‌هایی که داده‌ی تازه می‌خواهند امتیاز می‌دهد؛ هزینه‌ی آن مجموع یک طرح دسته‌ای ارزان‌تر و یک لایه‌ی برخط جمع‌وجور است.
  • سطح 3: این ارزیابی خروجی‌اش را به کدام بررسی در سند طراحی می‌دهد؟ پاسخ مورد انتظار: بررسی تناسب مدل سرو (serving-fit check)، که هزینه‌ی حالت انتخابی را در برابر سقف‌های کهنگی داده، تاخیر و هزینه می‌سنجد و اگر با هر کدام نسازد آن حالت را رد می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «روش دسته‌ای همیشه ارزان‌تر است.» هزینه‌ی دسته‌ای با حاصل‌ضرب تعداد اجرا در روز در تعداد موجودیت‌ها رشد می‌کند؛ یک محدودیت سخت‌گیرانه‌ی کهنگی داده، آن را به گزینه‌ای گران تبدیل می‌کند.
  • «روش برخط همیشه تازه‌تر است، پس همیشه بهتر است.» داده‌ی تازه‌تر مستلزم هزینه‌ی نسخه‌های بیشتر است، و یک فرایند (process) شبانه نمی‌تواند از تازگیِ داده‌ای که اصلاً نمی‌خواند استفاده کند.
  • «انتخاب بر اساس دقت مدل.» دقت در هر دو طرح یکسان است؛ انتخاب فقط بر مبنای تازگی داده، تاخیر و هزینه انجام می‌شود.

کجای دوره آموزش داده می‌شود

درس طراحی سیستم‌های یادگیری ماشین مدل هزینه‌ی روش‌های دسته‌ای و برخط را می‌سازد و آن را روی بار کاری رتبه‌بندی فید اجرا می‌کند.