سؤال مصاحبه

طراحی سیستم ریزش، نه فقط مدل ریزش

Design the churn system, not the churn model

  • سطح ۲: میانی
  • طراحی
  • ۲۰ دقیقه

یک شرکت مبتنی بر اشتراک با 2,000,000 کاربر می‌خواهد نرخ ریزش (churn) را کاهش دهد. تیم حفظ مشتری (retention) می‌تواند هر شب برای سهم کوچکی از کاربران، پیشنهاد حفظ اشتراک بفرستد. این سیستم را سرتاسری طراحی کنید: پیش‌بینی، تصمیم‌گیری، شیوه‌ی سرو، خطوط مبنا، مسیر پیش‌روی شبیه‌سازی‌شده و پیش‌فرض‌های امن در زمان خرابی. میزان بار پردازشی و بودجه‌های مفروض خود را نیز مشخص کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

وظیفه از نوع دسته‌بندی دوتایی (binary classification) است: احتمال لغو اشتراک کاربر در 30 روز آینده، تا جاب شبانه بتواند 5 درصد بالایی را برای ارسال پیشنهاد انتخاب کند. امتیازدهی شبانه به همه‌ی کاربران با استنتاج دسته‌ای (batch inference) سازگار است؛ بر اساس مدل هزینه‌ی این درس، یک بار اجرای روزانه روی کل کاربران زیر یک دلار تمام می‌شود، در حالی که یک سرویس آنلاین با ظرفیت پیکِ 40 درخواست در ثانیه (QPS)، روزانه $24.00 بابت تازگی داده‌ای هزینه برمی‌دارد که عملاً به کار هیچ‌کس نمی‌آید. مدل باید با یک حاشیه‌ی بهبود مشخص، قانون روزهای غیرفعال را شکست دهد؛ مراحل سایه (shadow) و قناری (canary) را پشت سر بگذارد و در صورت بروز هرگونه خطا، به همان قانون بازگردد.

پاسخ کامل

از هدف تا وظیفه

پرسش پاسخ
چه چیزی برای چه موجودیتی پیش‌بینی می‌شود؟ لغو اشتراک در 30 روز آینده، به ازای هر کاربر
چه تصمیمی از آن استفاده می‌کند؟ جاب شبانه برای 5 درصد بالایی پیشنهاد می‌فرستد
چه زمانی و با چه داده‌ای به آن نیاز است؟ هر شب، بر اساس داده‌های ثبت‌شده تا همان شب
از کجا بفهمیم تصمیم‌گیری بهتر شده است؟ مقایسه‌ی ریزش 30روزه در گروه دریافت‌کننده‌ی پیشنهاد در برابر یک گروه شاهد (holdout) تصادفی

بار پردازشی و بودجه‌ها

موجودیت‌ها: 2,000,000 کاربر. درخواست‌ها: یک بار خواندن امتیاز در هر بازدید کاربر. تازگی داده: یک روز کاملاً کافی است، چون جاب فقط شبی یک بار اجرا می‌شود. سقف تاخیر: یک بار خواندن کلید-مقدار در زمان درخواست، در حد چند میلی‌ثانیه. هزینه: روش دسته‌ای برای یک بار اجرا روی کل کاربران روزانه $0.91 هزینه دارد، در برابر $24.00 روزانه برای حداقل دو نسخه‌ی موازی (replica) از یک سرویس آنلاین. در یک معماری ترکیبی می‌توان به کاربران جدید در اولین بازدیدشان آنلاین امتیاز داد، چون تا اجرای دسته‌ی بعدی هیچ امتیازی برای آن‌ها وجود ندارد.

معیارها و خطوط مبنا

آفلاین: دقت در 5 درصد بالایی. آنلاین: نرخ پذیرش پیشنهاد و سهم کاربرانی که امتیاز دریافت کرده‌اند. کسب‌وکار: مقایسه‌ی ریزش در گروه دریافت‌کننده‌ی پیشنهاد در برابر گروه شاهد. گاردریل‌ها: هزینه‌ی پیشنهاد به ازای هر کاربرِ حفظ‌شده، نرخ لغو اشتراک خبرنامه. سه خط مبنا: کلاس اکثریت که نمره‌ی F1 آن صفر می‌شود چون هرگز ریزش را پیش‌بینی نمی‌کند؛ قانون تک‌ویژگیِ روزهای غیرفعال که روی داده‌های آموزشی فیت شده است؛ و فرایند فعلی. در دموی این درس، مدل به F1 برابر با 0.564 در برابر قانون فیت‌شده با 0.500 می‌رسد؛ یعنی افزایشی معادل 0.064 که بالاتر از حداقلِ 0.02 است، پس مدل جایگاه خود را تثبیت می‌کند. با ویژگی‌های ضعیف‌تر، همان قانون را به کار می‌گرفتیم.

داده‌ها

برچسب‌ها با تاخیر 30روزه از جدول لغو اشتراک‌ها می‌آیند. تک‌تک ویژگی‌ها باید دقیقاً در لحظه‌ی امتیازدهی وجود داشته باشند؛ ثبت دلیل لغو بعد از وقوع ماجرا، باعث نشت برچسب می‌شود. تازه‌ترین بازه‌ی زمانی را برای بخش آزمون (test split) کنار بگذارید.

مسیر پیش‌روی شبیه‌سازی‌شده

ابتدا سایه: به کاربران زنده امتیاز بدهید، لاگ بگیرید، ولی هیچ اقدامی نکنید. سپس قناری: برای سهم کوچکی، معمولاً 1 تا 5 درصد، اقدام کنید و گام‌به‌گام با کلید بازگشت به عقب دامنه‌ی آن را گسترش دهید. سپس آزمون A/B در برابر گروه شاهد برای ارزیابی معیار کسب‌وکار. مدل قبلی را همچنان مستقر نگه دارید و ترافیک را صرفاً با تغییر تنظیمات جابه‌جا کنید.

حلقه‌ی بازخورد و خرابی‌ها

پیشنهادها بخشی از کاربران را حفظ می‌کنند؛ بنابراین ماه بعد، کاربران پرخطر وفادار به نظر می‌رسند و مدلی که دوباره آموزش می‌بیند یاد می‌گیرد که ویژگی‌های آن‌ها نشان‌دهنده‌ی ریزش نیست. یک گروه شاهد تصادفی نگه دارید که هرگز پیشنهاد دریافت نمی‌کنند و برای هر ردیف، امتیاز و تصمیم را لاگ کنید. پیش‌فرض‌های امن در زمان خرابی: اگر جاب شبانه شکست بخورد، تا مدت‌زمان معینی آخرین امتیازهای معتبر و سپس قانون روزهای غیرفعال سرو می‌شوند؛ ویژگی مفقود مقدار پیش‌فرض مستندشده‌ی خود را می‌گیرد و لاگ می‌شود؛ جابه‌جایی ناگهانی در توزیع امتیازها نیز ارسال خودکار پیشنهاد را متوقف کرده و به نیروی انسانی هشدار می‌دهد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا خط مبنای اکثریت امتیاز صفر می‌گیرد؟ انتظار می‌رود: معیار F1 پیش‌بینی‌های مثبت را می‌شمارد و کلاس اکثریت «ماندن» است، بنابراین هیچ پیش‌بینی مثبتی وجود ندارد.
  • سطح 2: تیم حفظ مشتری خواستار تازگی داده‌ی ساعتی است. چه تغییری ایجاد می‌شود؟ انتظار می‌رود: دفعات اجرای بیشتر در روز، هزینه‌ی دسته‌ای را به همان نسبت بالا می‌برد و از نقطه‌ای به بعد مسیر آنلاین ارزان‌تر تمام می‌شود؛ باید هر دو گزینه را با مدل هزینه قیمت‌گذاری کرد.
  • سطح 3: چطور مانع از این می‌شوید که مدل اثر مداخلات خود را یاد بگیرد؟ انتظار می‌رود: نگه داشتن یک گروه شاهد تصادفی که هرگز پیشنهاد دریافت نمی‌کند، همراه با ثبت لاگ امتیاز و تصمیم تا داده‌های آموزشی بتوانند ردیف‌های تحت‌تاثیر را از ردیف‌های دست‌نخورده تفکیک کنند.
  • سطح 3: پیش‌فرض امن در صورتی که سرویس مدل حین اجرای شبانه از دسترس خارج شود چیست؟ انتظار می‌رود: سرو آخرین امتیازهای معتبر برای یک بازه‌ی زمانی مشخص، و سپس بازگشت به قانون روزهای غیرفعال.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «سرویس را آنلاین بالا بیاورید تا امتیازها همیشه تازه باشند.» تصمیم‌گیری شبی یک بار اجرا می‌شود؛ نسخه‌های آنلاین هزینه‌ی بیشتری برای تازگی داده‌ای می‌تراشند که فرایند کاری اصلاً نمی‌تواند از آن استفاده کند.
  • «استفاده از AUC به عنوان معیار آفلاین.» تصمیم‌گیری تنها با یک آستانه کار می‌کند؛ دقت در سهمی از کاربران که با آن‌ها تماس گرفته می‌شود معیاری است که دقیقاً با این سازوکار تطابق دارد.
  • «آموزش مجدد ماهانه روی تمام کاربران.» برچسب‌های کاربرانِ دریافت‌کننده‌ی پیشنهاد دست‌خوش مداخله شده است؛ بدون گروه شاهد، مدل با هر بار آموزش مجدد افت می‌کند.

کجای دوره آموزش داده می‌شود

درس طراحی سیستم‌های یادگیری ماشین هزینه‌ی جاب شبانه‌ی ریزش را در مقایسه با یک سرویس آنلاین برآورد می‌کند، مدل را با خطوط مبنای آن می‌سنجد و پیش‌فرض‌های امن هنگام خرابی را فهرست می‌کند.