سؤال مصاحبه

چه زمانی به ساخت مدل «نه» بگوییم

When to say no to a model

  • سطح ۱: غربالگری
  • مفهومی
  • ۸ دقیقه

مدیر محصول (Product Owner) از تیم شما می‌خواهد برای تصمیم‌گیری درباره‌ی ارجاع تیکت‌های پشتیبانی (Escalation) «یک مدل» بسازید. پیش از آنکه دست‌به‌کار طراحی شوید، با چه پرسش‌هایی مشخص می‌کنید که آیا این مسئله اصلاً به یک مدل یادگیرنده نیاز دارد یا نه، و چه شرایطی باعث می‌شود به‌جای آن یک قانون (Rule) پیشنهاد دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

من این پرسش‌ها را مطرح می‌کنم: آیا یک قانون کوتاه به هدف می‌رسد؟ آیا برچسب‌ها وجود دارند یا می‌توان آن‌ها را جمع‌آوری کرد؟ آیا کسی بر اساس این پیش‌بینی اقدامی انجام می‌دهد؟ آیا داده‌ها در لحظه‌ی تصمیم‌گیری حاوی سیگنال لازم هستند؟ و آیا وقوع حتی یک خطا پذیرفتنی است؟ زمانی مدل می‌بازد که چند شرط ساده درست کار کنند و خودشان توضیح‌پذیر باشند، برچسبی در کار نباشد، یا هزینه‌ی ساخت و اجرای سیستم از ارزش تصمیم‌های بهتر بیشتر شود. مدل زمانی برنده می‌شود که قانون بیش‌ازحد طولانی و شکننده شده باشد؛ چرا که به‌روزرسانی یک مدل یادگیرنده آسان‌تر از دستکاری یک روش ابتکاری (Heuristic) پیچیده است.

پاسخ کامل

مواردی که نباید سراغ مدل رفت

شرایط چرا قانون برنده می‌شود
منطق مسئله در چند شرط جا می‌گیرد و درست کار می‌کند اجرای ارزان‌تر، تست ساده‌تر و توضیح‌پذیری آسان‌تر
هیچ برچسبی وجود ندارد و راه عملی هم برای جمع‌آوری‌شان نیست چیزی برای یادگیری وجود ندارد
هیچ‌کس بر اساس پیش‌بینی اقدامی انجام نمی‌دهد امتیاز بهتر هیچ تغییری ایجاد نمی‌کند
داده‌ها در لحظه‌ی تصمیم‌گیری حاوی سیگنال لازم نیستند مدل نمی‌تواند موارد مهم را ببیند
وقوع حتی یک خطا هم پذیرفتنی نیست و هیچ انسانی خروجی را بررسی نمی‌کند سیستم مبتنی بر احتمالات گاهی اشتباه خواهد کرد
هزینه‌ی سیستم از ارزش تصمیم‌های بهتر بیشتر است بازگشت سرمایه‌ی منفی
مسئله سریع‌تر از آموزش مجدد (Retraining) تغییر می‌کند مدل همیشه بیات و قدیمی است

یک جدول جستجو (Lookup Table) یا یک آستانه (Threshold) که 99% موارد را پوشش دهد، سیستم درست است؛ اضافه‌کردن مدل فقط هزینه‌ی نگهداری را بالا می‌برد و سود چندانی ندارد.

مواردی که باید سراغ مدل رفت

راهنمای قواعد که در درس طراحی به آن اشاره شد، می‌گوید از راه‌اندازی بدون یادگیری ماشین (Machine learning) نترسید و همچنین مدل را به روش ابتکاری پیچیده ترجیح دهید. نقطه‌ی عطف زمانی است که قانون branchهای زیادی پیدا می‌کند، با ورود موارد جدید می‌شکند و هیچ‌کس نمی‌تواند دلیل تصمیم‌های آن را توضیح دهد. مدل یادگیرنده بازآموزی می‌شود؛ قانون طولانی را باید از نو نوشت.

نحوه‌ی اجرای پروژه‌ی تیکت‌ها در عمل

  1. بپرسید تصمیم ارجاع چیست، چه کسی آن را می‌گیرد و ویژگی‌ها (Features) چه زمانی وجود دارند.
  2. قانونی را که تیم پشتیبانی در حال حاضر به کار می‌برد (حتی اگر در یک فایل اکسل باشد) پیاده کنید و عملکردش را بسنجید.
  3. پیش از هرگونه آموزش، حداقلِ بهبودی (Lift) را که مدل باید نسبت به آن قانون نشان دهد مشخص کنید.
  4. فقط پس از آن، برچسب‌ها را جمع‌آوری کنید، مدل را آموزش دهید و با همان معیار در برابر قانون بسنجید.

این قانون در صورت از کار افتادن سرویس مدل، به‌عنوان پیش‌فرض امن (Safe default) نیز عمل می‌کند؛ بنابراین در هر صورت اول ساخته می‌شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: برچسب‌های ارجاع تیکت از کجا می‌آیند و تأخیر آن‌ها چقدر است؟ پاسخ موردانتظار: از تصمیم‌های گذشته‌ی ارجاع یا نتایج نهایی که پس از بسته‌شدن تیکت به دست می‌آیند؛ این تأخیر مشخص می‌کند داده‌های آموزشی چقدر تازه خواهند بود.
  • سطح 2: تیم هیچ تاریخچه‌ای از ارجاع تیکت‌ها ندارد. ابتدا چه چیزی می‌سازید؟ پاسخ موردانتظار: همان قانون، همراه با ثبت لاگ تصمیم و ورودی‌هایش، تا برچسب‌ها کم‌کم جمع شوند.
  • سطح 2: نهاد ناظر یا رگولاتور الزام کرده که هر تصمیم ارجاع باید توضیح‌پذیر باشد. چه چیزی تغییر می‌کند؟ پاسخ موردانتظار: یا باید همان قانون را نگه داشت، یا مدل را به ساختارهای تفسیرپذیر مثل یک درخت کوچک یا مدل خطی محدود کرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اگر داده‌ی کافی داشته باشیم، مدل همیشه بر قانون پیروز می‌شود.» وقتی ویژگی‌ها سیگنال ضعیفی دارند، قانون می‌تواند برنده باشد؛ بهبود را باید اندازه گرفت، نه اینکه فرض را بر وجودش گذاشت.
  • «بعداً داده‌ها را جمع‌آوری می‌کنیم؛ فعلاً مدل را بفرستید.» بدون برچسب، چیزی برای آموزش و معیاری برای ارزیابی وجود ندارد.
  • «خط مبنای (Baseline) ابتکاری صرفاً یک بررسی اولیه (Sanity check) است.» این خط مبنا رقیب واقعی مدل و پیش‌فرض امن شما در زمان خرابی است.

کجای دوره آموزش داده می‌شود

در مقدمه‌ای بر یادگیری ماشین فلوچارت تصمیم‌گیری برای زمان‌هایی که نباید از مدل استفاده کرد آمده است، و در درس طراحی سیستم‌های یادگیری ماشین مواردی که قانون بر مدل برتری دارد و نحوه‌ی تعیین حداقل بهبود فهرست شده است.