سؤال مصاحبه

حفظ داده‌های پاک وقتی مدل آینده‌ی خودش را تغییر می‌دهد

Keep clean data when the model changes its own future

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

سه سیستم مختلف ماهانه با داده‌های محیط عملیاتی (production) خودشان بازآموزی می‌شوند: یک مدل ریزش کاربر (churn) که پیشنهادهای نگه‌داشت ارسال می‌کند، یک مدل کشف تقلب (fraud) که پرداخت‌ها را مسدود می‌کند، و یک مدل رتبه‌بندی (ranking) که فید را مرتب می‌کند. هر سه مدل پس از هر بار بازآموزی کمی بدتر می‌شوند. علت مشترک این مشکل را توضیح دهید، لایه‌ی داده‌ای طراحی کنید که جلوی آن را بگیرد، و مشخص کنید هر سطر آموزشی برای کارکرد این راه‌حل باید چه چیزهایی به همراه داشته باشد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

تصمیم‌های هر مدل داده‌هایی را که قرار است نسخه‌ی بعدی‌اش را آموزش دهند تغییر می‌دهد؛ این یعنی یک حلقه‌ی بازخورد (feedback loop). پیشنهادهای نگه‌داشت کاربرانی را که قرار بود ریزش کنند حفظ می‌کنند، در نتیجه کاربران پرخطر وفادار به نظر می‌رسند؛ پرداخت‌های مسدودشده هرگز به برگشت وجه (chargeback) نمی‌رسند، در نتیجه تقلب در محدوده‌ی مسدودشده ناپدید می‌شود؛ و فید فقط آیتم‌های برترش را نمایش می‌دهد، پس فقط همان‌ها کلیک جمع می‌کنند. راه‌حل این است که داده‌هایی را که مدل روی آن‌ها اثری نداشته نگه دارید: یک گروه نگه‌داشته‌شده‌ی تصادفی (random holdout) که هرگز مداخله دریافت نمی‌کند، سهم کوچکی از تصمیم‌های تصادفی، و لاگی که امتیاز و تصمیم را در هر سطر ثبت کند و به ویژگی‌های لحظه‌ی تصمیم متصل شود تا فرایند آموزش بتواند داده‌های پاک را از داده‌های تحت‌تأثیر جدا کند.

پاسخ کامل

سه چهره از یک حلقه‌ی یکسان

سیستم چطور تصمیم مدل برچسب را پنهان می‌کند بازآموزی مدل چه چیزی یاد می‌گیرد
پیشنهادهای نگه‌داشت برای ریزش پیشنهادها برخی کاربران در معرض خطر را حفظ می‌کنند ویژگی‌های این کاربران ریزش را پیش‌بینی نمی‌کنند
مسدودسازی تقلب پرداخت مسدودشده هیچ نتیجه‌ای ثبت نمی‌کند محدوده‌ی مسدودشده امن به نظر می‌رسد
رتبه‌بندی فید فقط آیتم‌های نمایش‌داده‌شده می‌توانند کلیک دریافت کنند آیتم‌های برتر فعلی تنها گزینه‌های خوب هستند

این حلقه از منابع اصلی بدهی فنی در سیستم‌های یادگیری ماشین عملیاتی به شمار می‌رود، چون کاملاً بی‌سروصدا رخ می‌دهد: مدل در هر بار بازآموزی روی داده‌های نگه‌داشته‌شده‌ی (held-out) خودش عملکرد خوبی نشان می‌دهد، داده‌هایی که آن‌ها هم تحت‌تأثیر مداخله قرار گرفته‌اند.

لایه‌ی داده

  1. یک گروه نگه‌داشته‌شده‌ی تصادفی که هرگز مداخله را دریافت نمی‌کند. پیامدهای این گروه برآورد پاکی از نرخ پایه (base rate) و برچسب‌های پاکی برای آموزش فراهم می‌کنند.
  2. سهم کوچکی از تصمیم‌های تصادفی روی ترافیک زنده؛ مثلاً پرداخت‌هایی که مسدود نمی‌شوند یا آیتم‌هایی که خارج از اولویت نمایش داده می‌شوند، تا محدوده‌های مسدودشده و دیده‌نشده همچنان برچسب تولید کنند. اندازه‌ی این سهم به اندازه‌ی کوچک‌ترین مقداری تعیین می‌شود که برچسب‌های کافی از آن محدوده‌ها حفظ کند.
  3. لاگ‌گیری از امتیاز، تصمیم و گروه تخصیص‌یافته در کنار هر سطر، دقیقاً در زمان تصمیم‌گیری.
  4. اتصال ویژگی‌ها دقیقاً منطبق بر زمان تصمیم‌گیری، با رعایت قاعده‌ی نقطه در زمان (point-in-time) در مخزن ویژگی (feature store)؛ به‌طوری‌که ورودی‌های یک سطر همان مواردی باشند که مدل در آن لحظه دیده است، نه اسنپ‌شاتی (snapshot) جدیدتر که از قبل نتیجه را بازتاب می‌دهد.

محتوای یک سطر آموزشی

شناسه‌ی موجودیت (entity) و زمان تصمیم‌گیری، ویژگی‌ها تا همان لحظه، امتیاز مدل، تصمیم اتخاذشده، گروهی که سطر به آن تعلق داشته، برچسب و زمان ثبت برچسب. با این فیلدها، فرایند بازآموزی می‌تواند سطرهای پاک را انتخاب کند، به سطرهای تحت‌تأثیر وزن متفاوتی بدهد، یا خود تصمیم را به‌صورت یک ویژگی مدل‌سازی کند. بدون فیلدهای تصمیم و گروه، سطرهای پاک و تحت‌تأثیر از یکدیگر تشخیص‌پذیر نخواهند بود و حلقه مخفی می‌ماند.

چرا مخزن ویژگی بخشی از راه‌حل است؟

یک اتصال (join) ساده روی موجودیت، جدیدترین اسنپ‌شات ویژگی را برای هر برچسب برمی‌گرداند؛ کاری که نتیجه را وارد ورودی می‌کند. تکرار همین اشتباه در حضور یک حلقه‌ی بازخورد وضع را خراب‌تر می‌کند: جدیدترین اسنپ‌شات اثر مداخله را هم در خود دارد. اتصال مبتنی بر زمان (as-of join) با تعیین TTL کاری می‌کند که هر سطر وضعیت دقیق لحظه‌ی تصمیم‌گیری را توصیف کند، و بررسی زمان ثبت داده (created timestamp) مانع از آن می‌شود که عملیات بازپر (backfill) داده‌هایی را بخواند که بعداً ثبت شده‌اند.

ارزیابی اثربخشی راه‌حل

گروه نگه‌داشته‌شده معیار کسب‌وکار را به دست می‌دهد: پیامد در گروه مداخله در برابر گروه نگه‌داشته‌شده. همین گروه آزمون بازآموزی را هم ممکن می‌کند: ارزیابی مدل جدید فقط روی سطرهای گروه نگه‌داشته‌شده، تا امتیاز مدل بر اثر تصمیم‌های خودش به شکل کاذب بالا نرود. مدلی که عملکردش روی داده‌های تحت‌تأثیر بهتر شده اما روی گروه نگه‌داشته‌شده تغییری نکرده، در واقع حلقه‌ی بازخورد را یاد گرفته است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا تقسیم بر اساس زمان (time split) به‌تنهایی در اینجا کافی نیست؟ پاسخ مورد انتظار: داده‌های دوره‌ی اخیر هم تحت‌تأثیر مدل مستقرشده هستند؛ رعایت ترتیب زمانی مانع نشت داده از آینده می‌شود، اما سوگیری ناشی از مداخله را حل نمی‌کند.
  • سطح 4: مسدود نکردن تصادفی بخشی از پرداخت‌ها به قیمت وقوع تقلب واقعی تمام می‌شود. چطور از آن دفاع می‌کنید؟ پاسخ مورد انتظار: این هزینه، بهای به دست آوردن برچسب‌های پاک در مقایسه با هزینه‌ی دریفت (drift) کورکورانه‌ی مدل است؛ اندازه‌ی آن باید در حداقل میزانی تعیین شود که تقلب‌های برچسب‌خورده‌ی کافی از محدوده‌ی مسدودشده حفظ کند.
  • سطح 4: حلقه‌ی دیده‌شدن (exposure loop) در مدل رتبه‌بندی چه تفاوتی با دو مدل دیگر دارد؟ پاسخ مورد انتظار: در اینجا برچسب پنهان نمی‌شود، بلکه اصلاً ثبت نمی‌شود؛ نمایش تصادفی آیتم‌های دارای رتبه‌ی پایین تنها راه برای یادگیری نرخ کلیک آن‌ها است.
  • سطح 4: مدلی پس از بازآموزی روی گروه نگه‌داشته‌شده عملکرد ضعیف‌تری نسبت به کل داده‌ها دارد. به کدام عدد اعتماد می‌کنید؟ پاسخ مورد انتظار: به گروه نگه‌داشته‌شده؛ ارزیابی روی کل داده‌ها به مدل به خاطر هم‌رأی بودن با تصمیم‌های گذشته‌ی خودش پاداش می‌دهد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «داده‌های آموزشی بیشتر، مدلی را که دچار دریفت شده درست می‌کند.» داده‌های جدید تحت‌تأثیر هستند؛ بیشتر کردن آن‌ها فقط حلقه را تثبیت می‌کند.
  • «تقسیم تصادفی داده‌ها به بخش آموزش و آزمون عملکرد واقعی را نشان می‌دهد.» هر دو نیمه تحت‌تأثیر قرار گرفته‌اند؛ فقط گروه نگه‌داشته‌شده‌ای که هرگز مداخله را ندیده پاک است.
  • «تصمیم را بعداً از جدول نتایج نهایی لاگ می‌کنیم.» تصمیم و گروه تخصیص‌یافته باید در زمان تصمیم‌گیری ثبت شوند، همراه با ویژگی‌های همان لحظه؛ وگرنه اتصال داده‌ها باعث نشت پیامد می‌شود.

کجای دوره آموزش داده می‌شود

در درس طراحی سیستم‌های یادگیری ماشین به این سه حلقه‌ی بازخورد و راه‌حل مشترک آن‌ها پرداخته شده است، و در درس مخازن ویژگی و ناهماهنگی آموزش و سرو شیوه‌ی اتصال as-of برای نگه‌داشتن هر سطر آموزشی در لحظه‌ی تصمیم‌گیری آمده است.