سؤال مصاحبه

بررسی سند طراحی یادگیری ماشین و مشخص کردن موارد مسدودکننده

Review an ML design document and name the blockers

  • سطح ۴: استف
  • طراحی
  • ۲۰ دقیقه

فرض کنید شما بازبین اسناد طراحی یادگیری ماشین (ML) قبل از شروع هرگونه فرآیند آموزش مدل هستید. تیمی سندی برای اعتبارسنجی و کشف تقلب در پرداخت به شما تحویل می‌دهد که پیشنهاد اجرای دسته‌ای (batch scoring) دارد؛ به‌طوری‌که اجرای هر جاب یک ساعت طول می‌کشد، سقف کهنگی داده 3 دقیقه است، معیار AUC آفلاین را گزارش کرده، یک خط مبنای اکثریت‌کلاس (majority-class baseline) آورده و هیچ بخشی برای مسیر پیش‌روی شبیه‌سازی‌شده (rollout) ندارد. روند بررسی خود را توضیح دهید: چه بخش‌هایی را انتظار دارید؟ چه کمبودهایی جلوی پیشرفت کار را می‌گیرند (مسدودکننده‌اند)؟ چگونه به سند امتیاز می‌دهید و به تیم چه می‌گویید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این سند به 9 بخش نیاز دارد و 6 مورد جلوی تأیید بررسی را می‌گیرند (مسدودکننده‌اند)، چرا که نبود هر یک از آن‌ها سیستم را ناامن یا بی‌فایده می‌کند: تصمیمی که پیش‌بینی را به کار می‌گیرد، یک معیار کسب‌وکار، یک خط مبنای اکتشافی یا مبتنی بر سیستم فعلی، تأیید وجود همه‌ی ویژگی‌ها در لحظه‌ی پیش‌بینی، مرحله‌ی سایه (shadow) یا قناری (canary) همراه با بازگشت به عقب (rollback)، و یک اقدام پیش‌فرض برای هر حالت شکست. سند فعلی حداقل در 3 مورد از این‌ها مردود می‌شود: تنها خط مبنای موجود پیش‌پاافتاده است، خبری از مسیر پیش‌روی شبیه‌سازی‌شده و بازگشت به عقب نیست، و انتخاب نحوه‌ی سرویس‌دهی هم در بررسی سازگاری رد می‌شود؛ چون وقتی اجرای هر جاب یک ساعت زمان می‌برد، پردازش دسته‌ای به هیچ وجه نمی‌تواند به محدودیت 3 دقیقه‌ای برسد. من سند را همراه با فهرست موارد مسدودکننده پس می‌فرستم و به جای AUC، دقت (precision) را در آستانه‌ی تصمیم‌گیری مطالبه می‌کنم.

پاسخ کامل

9 بخش اصلی

بخش سؤالی که پاسخ می‌دهد مورد مسدودکننده
مسئله چه چیزی پیش‌بینی می‌شود، کدام تصمیم از آن استفاده می‌کند، چرا قواعد ایستا کافی نیستند تصمیم
معیارها معیارهای آفلاین، آنلاین، کسب‌وکار و معیار محافظتی (guardrail metric) معیار کسب‌وکار
خطوط مبنا خطوط مبنای پیش‌پاافتاده، اکتشافی و سیستم فعلی خط مبنای اکتشافی یا سیستم فعلی
داده‌ها منبع برچسب، تاخیر، در دسترس بودن ویژگی‌ها در لحظه‌ی پیش‌بینی عدم وجود نشت داده
بودجه‌ها و استقرار تاخیر، اوج QPS، هزینه، کهنگی داده و شیوه‌ی متناسب استقرار ندارد
مسیر پیش‌روی شبیه‌سازی‌شده سایه، قناری، A/B و بازگشت به عقب سایه یا قناری همراه با بازگشت به عقب
حلقه‌های بازخورد چطور تصمیم‌های مدل داده‌های آموزشی بعدی آن را تغییر می‌دهند ندارد
حالت‌های شکست اقدام پیش‌فرض برای هر شکست اقدام پیش‌فرض برای همه‌ی حالت‌های شکست
مانیتورینگ مواردی که پس از راه‌اندازی پایش می‌شوند ندارد

امتیازدهی

هر یک از موارد چک‌لیست یک وزن، یک نشانگر مسدودکنندگی و یک بررسی کیفی دارد. وزن موارد مسدودکننده 2 است. امتیاز نهایی از تقسیم مجموع وزن موارد پذیرفته‌شده بر کل وزن‌ها به دست می‌آید؛ حکم ارزیابی تنها زمانی «آماده برای بررسی» خواهد بود که امتیاز به 0.85 برسد و هیچ مورد مسدودکننده‌ای رد نشده باشد. سندی می‌تواند در موارد غیرمسدودکننده امتیاز بالایی بیاورد اما به‌خاطر یک مسدودکننده رد شود؛ فلسفه‌ی این نشانگر دقیقاً همین است.

بررسی سازگاری شیوه‌ی استقرار

این ارزیابی از همان مدل هزینه استفاده می‌کند. ارقام بار کاری را از سند می‌خواند، قیمت شیوه‌ی استقرار انتخابی را درمی‌آورد و اگر آن شیوه نتواند سقف کهنگی داده، سقف تاخیر (latency budget) یا بودجه‌ی هزینه‌ی روزانه را برآورده کند، آن را رد می‌کند. جاب دسته‌ای که یک ساعت طول می‌کشد، با هیچ هزینه‌ای نمی‌تواند به محدودیت 3 دقیقه‌ای برسد؛ بنابراین سندی که برای این محدودیت، گزینه‌ی دسته‌ای را مطرح کند در این ارزیابی مردود می‌شود. برای تصمیم‌گیری پرداختی که در لحظه‌ی درخواست انجام می‌شود، گزینه‌ی مناسب حالت آنلاین است و سند باید اوج QPS و سقف تاخیر صدک 99 (p99) را برای تعیین ابعاد منابع آن مشخص کند.

آنچه به تیم می‌گویم

  1. اول مسدودکننده‌ها: مشخص کنید هر امتیاز دقیقاً آغازگر چه اقدامی است؛ همان قاعده‌ای را که تیم مقابله با تقلب در حال حاضر استفاده می‌کند به عنوان خط مبنای اکتشافی بیاورید و حداقل بهبود (lift) لازم را تعیین کنید؛ مراحل سایه و قناری را به همراه امکان بازگشت به عقب برای پیکربندی بیفزایید؛ و برای اتمام مهلت زمانی (timeout)، نبود یک ویژگی، کارت جدید و جهش ناگهانی امتیازها یک اقدام پیش‌فرض تعیین کنید.
  2. سپس بخش استقرار: شیوه را به حالت آنلاین تغییر دهید، سقف بودجه‌ها را مشخص کنید و هزینه‌اش را بسنجید.
  3. سپس معیارها: شاخص AUC روی آستانه‌هایی میانگین‌گیری می‌کند که اصلاً کسی از آن‌ها استفاده نمی‌کند؛ دقت و بازخوانی (recall) را در آستانه‌های تأیید، بازبینی و مسدودسازی گزارش دهید و معیار کسب‌وکار و گاردریل‌ها را مشخص کنید.
  4. در آخر، حلقه‌ی بازخورد و مانیتورینگ: مواردی که هرچند مسدودکننده نیستند، اما تکلیف سیستم را در فصل دوم کاری مشخص می‌کنند.

چرا بررسی پیش از مرحله‌ی آموزش انجام می‌شود؟

تک‌تک شکست‌های ماجرای ریزش مشتری (churn) در ابتدای درس طراحی سیستم، پیش از مرحله‌ی آموزش رخ دادند: مشخص نبودن تصمیم، دوره‌ی به‌روزرسانی کهنه، نشت داده در یک ویژگی و مقایسه‌نشدن با قوانین موجود. یک سند تک‌صفحه‌ای درباره‌ی همه‌ی این‌ها سؤال می‌پرسد؛ درحالی‌که بازبینی سند تنها 1 روز زمان می‌برد، تاوان این شکست‌ها هدر رفتن یک فصل کاری است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: تیم می‌گوید خط مبنای اکثریت‌کلاس کافی است چون نمره‌ی F1 آن صفر می‌شود. چرا این خط مبنا اشتباه است؟ پاسخ مورد انتظار: این یک خط مبنای پیش‌پاافتاده و معمولاً ضعیف است؛ رقیب واقعی که بهبود عملکرد باید نسبت به آن سنجیده شود، سیستم اکتشافی یا سیستم فعال فعلی است.
  • سطح 4: چرا بررسی سازگاری شیوه‌ی استقرار باید در مرحله‌ی بازبینی سند انجام شود نه هنگام آزمون بار؟ پاسخ مورد انتظار: این موضوع صرفاً یک حساب‌وکتاب ساده روی بودجه‌ها و هزینه‌های اعلام‌شده است، بنابراین پیش از این‌که حتی یک خط کد برای سرویس‌دهی نوشته شود، جلوی یک طراحی غیرعملیاتی را می‌گیرد.
  • سطح 4: سند، شیوه‌ی استقرار ترکیبی (hybrid) را پیشنهاد می‌دهد. ابزار ارزیابی چه می‌کند و شما چه واکنشی نشان می‌دهید؟ پاسخ مورد انتظار: در مدل هزینه‌ی این درس، پلن ترکیبی وجود ندارد، بنابراین تا زمان ارائه‌ی یک پلن ترکیبی، بررسی رد می‌شود؛ از تیم بخواهید هزینه‌ی بخش دسته‌ای و بخش آنلاین را جداگانه محاسبه کند و این طرح را به سند بیفزاید.
  • سطح 4: کدام بخش غیرمسدودکننده را در یک سیستم کشف تقلب باز هم به‌هیچ‌وجه نادیده نمی‌گیرید؟ پاسخ مورد انتظار: حلقه‌های بازخورد؛ زیرا تراکنش‌های مسدودشده هرگز برچسب واقعی دریافت نمی‌کنند و در غیاب یک نمونه‌ی دست‌نخورده و بدون سوگیری، مدل به سمت تکرار تصمیم‌های قبلی خود دچار دریفت می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «یک معیار آفلاین قوی، نبودِ بخش مسیر پیش‌روی شبیه‌سازی‌شده را جبران می‌کند.» مدلی که مرحله‌ی سایه و امکان بازگشت به عقب نداشته باشد، بدون هیچ راه برگشتی به دست کاربران می‌رسد؛ به همین دلیل است که مسیر پیش‌روی شبیه‌سازی‌شده یک مورد مسدودکننده است.
  • «به سند امتیاز بدهید و در صورت بالا بودن نمره‌ی کل، آن را تأیید کنید.» رد شدن حتی در یک مورد مسدودکننده، بدون در نظر گرفتن امتیاز نهایی، بررسی را با شکست مواجه می‌کند.
  • «شیوه‌ی استقرار، جزئیات پیاده‌سازی است و بعداً می‌توان به آن پرداخت.» بررسی سازگاری نشان می‌دهد پردازش دسته‌ای اصلاً توانایی برآورده کردن محدودیت زمانی را ندارد و همین موضوع، کل معماری و هزینه‌ها را تغییر می‌دهد.

کجای دوره آموزش داده می‌شود

درس طراحی سیستم‌های یادگیری ماشین سند طراحی، 6 مورد مسدودکننده‌ی آن، آستانه‌ی امتیازدهی و بررسی سازگاری شیوه‌ی استقرار را تعریف می‌کند.