سؤال مصاحبه

مدل پیش‌بینی ریزش مشتری با AUC خوب که هیچ‌کس از آن استفاده نمی‌کند

A churn model with a good AUC that nobody uses

  • سطح ۱: غربالگری
  • مفهومی
  • ۸ دقیقه

دانشمند داده‌ای مدلی برای دسته‌بندی ریزش مشتری (churn) با AUC برابر 0.91 گزارش می‌کند. سه ماه پس از عرضه، هیچ‌کس در تیم حفظ مشتری (retention) از این امتیازها استفاده نمی‌کند. الگوریتم مشکلی نداشت. تصمیم‌های طراحی را که نادیده گرفته شده بودند نام ببرید و بگویید چه معیاری باید به‌جای آن گزارش می‌شد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

شکست‌ها پیش از آموزش رخ دادند: هیچ‌کس مشخص نکرد هر امتیاز چه اقدامی را کلید می‌زند، امتیازها هفتگی می‌رسیدند در حالی که تیم روزانه با مشتریان تماس می‌گرفت، یک ویژگی از طریق «علت لغو» برچسب را نشت می‌داد (leakage)، و هیچ‌کس مدل را با قانونی که تیم از قبل استفاده می‌کرد مقایسه نکرده بود. AUC میانگین عملکرد را روی همه‌ی آستانه‌ها حساب می‌کند، از جمله آستانه‌هایی که هرگز استفاده نمی‌شوند؛ تصمیم بر این بود که هر شب با 5 درصد برتر تماس گرفته شود، بنابراین عدد آفلاینِ درست، دقت (precision) در همان 5 درصد برتر بود، در کنار معیارهای آنلاین، کسب‌وکاری و گاردریل‌ها (guardrail metrics).

پاسخ کامل

چهار لایه‌ی معیارها

لایه زمان اندازه‌گیری مثال در ریزش مشتری
آفلاین پیش از عرضه، روی داده‌های گذشته‌ی نگه‌داشته‌شده (held-out) دقت در 5 درصد برتر در آستانه‌ی ارائه پیشنهاد
آنلاین حین عرضه، روی ترافیک زنده نرخ پذیرش پیشنهاد، سهم کاربران امتیازدهی‌شده
کسب‌وکار هفته‌ها بعد، با یک آزمایش ریزش 30روزه در گروه دریافت‌کننده‌ی پیشنهاد در مقایسه با گروه نگه‌داشته‌شده
گاردریل همیشه هزینه‌ی پیشنهاد به‌ازای هر کاربر حفظ‌شده، نرخ لغو اشتراک، تاخیر صدک 99 (p99 latency)

این لایه‌ها اغلب با هم هم‌خوانی ندارند. امتیاز آفلاین از گذشته‌ای می‌آید که مدل در آن وجود نداشته است. معیار آنلاین به واکنش افراد به این تصمیم بستگی دارد. معیار کسب‌وکاری به‌کندی تغییر می‌کند و نویز همه‌ی بخش‌های دیگر شرکت را به دوش می‌کشد. گاردریل‌ها هم نباید بدتر شوند.

انتخاب معیار آفلاین بر اساس تصمیم

این فرایند با سهم مشخص و ثابتی از کاربران تماس می‌گیرد، بنابراین معیار سنجش همان دقت در آن سهم مشخص است. AUC همه‌ی جفت‌های کاربران را رتبه‌بندی می‌کند، در حالی که بیشتر آن‌ها اصلاً به مرحله‌ی تصمیم‌گیری نمی‌رسند. راهنمای قوانینی که در درس نقل شده آن را اولویت اول می‌داند: پیش از تصمیم‌گیری درباره‌ی کاری که سیستم انجام می‌دهد، معیارها را طراحی کنید.

خطوط مبنا

امتیاز F1 برابر 0.56 در برابر بهترین گزینه‌ی جایگزین با امتیاز 0.30 خوب است، اما در مقایسه با قانونی که به 0.60 می‌رسد ضعیف به‌شمار می‌رود. به سه خط مبنا (baseline) نیاز داریم: خط مبنای بدیهی (trivial)، یک روش شهودی (heuristic) مثل قانون «روزهای عدم فعالیت» که تیم پشتیبانی استفاده می‌کرد، و سیستم فعلی. بهبود مدل (lift) نسبت به قوی‌ترین گزینه سنجیده می‌شود و حداقلِ بهبود قابل‌قبول نیز پیش از دیدن نتایج تعیین خواهد شد.

سه دلیل دیگرِ شکست

  • تازگی داده (Freshness): ارائه‌ی هفتگی امتیازها برای یک فرایند روزانه یعنی تیم بر اساس آمارهای بیات عمل می‌کرد.
  • نشت داده (Leakage): ویژگی‌ای که پس از مشخص‌شدن نتیجه ثبت می‌شد پاسخ را در خود داشت، در نتیجه امتیاز آفلاین به شکل کاذب بالا رفته بود.
  • تصمیم: امتیازی که هیچ اقدامی به آن وصل نباشد، نمی‌تواند معیاری از کسب‌وکار را تغییر دهد.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: چرا ارزیابی برچسب ریزش 30روزه کند است؟ پاسخ مورد انتظار: برچسب در پایان این بازه به دست می‌آید، بنابراین مشاهده‌ی اثر آن روی معیار کسب‌وکار حداقل به همین اندازه از زمان عرضه عقب می‌ماند.
  • سطح 2: کدام گاردریل جلوی مدلی را می‌گیرد که کاربران را به هر قیمتی حفظ می‌کند؟ پاسخ مورد انتظار: هزینه‌ی پیشنهاد به‌ازای هر کاربر حفظ‌شده.
  • سطح 2: خط مبنای شهودی با اختلاف کمی مدل را شکست می‌دهد. کدام‌یک روانه‌ی محیط عملیاتی می‌شود؟ پاسخ مورد انتظار: همان قانون، چون اجرا و توضیح آن کم‌هزینه‌تر است؛ مگر اینکه مدل حداقل بهبودِ تعیین‌شده را رد کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «AUC بالاتر مشکل استقبال از مدل را حل می‌کرد.» استقبال‌نکردن از مدل به دلیل کهنگی داده‌ها، نبود اقدام عملی و عدم اعتماد بود، نه کیفیت رتبه‌بندی.
  • «معیارهای کسب‌وکار کافی هستند؛ نیازی به معیار آفلاین نیست.» معیار کسب‌وکار هفته‌ها بعد به دست می‌آید و نویز زیادی دارد؛ این معیار آفلاین است که نقش گیت‌های کنترلی (gates) را پیش از عرضه بازی می‌کند.
  • «گاردریل‌ها دغدغه‌ی محصول هستند، نه دغدغه‌ی مدل.» مدلی که گاردریلی را در جهت نادرست جابه‌جا کند، فارغ از امتیاز آفلاینش، به نسخه‌ی قبلی بازگردانده (rollback) می‌شود.

کجای دوره آموزش داده می‌شود

درس طراحی سیستم‌های یادگیری ماشین با همان مدل ریزش مشتری آغاز می‌شود که هیچ‌کس از آن استفاده نکرد، و سپس به تعریف چهار لایه‌ی معیار و خطوط مبنا می‌پردازد.