سؤال مصاحبه

افت دقت در شرایطی که همه‌ی مانیتورهای ورودی سبز ماندند

Accuracy fell and every input monitor stayed green

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

دقت یک مدل پرداخت، بر اساس برچسب‌هایی که به‌مرور می‌رسند، از 0.946 به بازه‌ی 0.76 تا 0.79 سقوط کرده است. مانیتورهای ویژگی‌ها و توزیع امتیازها در تمام این مدت کاملاً آرام بودند و هشداری ندادند. تیم پیشنهاد می‌دهد که امشب مدل را روی داده‌های برچسب‌خورده‌ی فصل گذشته دوباره آموزش دهیم. واقعاً چه اتفاقی افتاده، چرا مانیتورها متوجه آن نشدند، و آیا این پیشنهاد درست است؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

رابطه‌ی بین ورودی‌ها و برچسب‌ها تغییر کرده، در حالی که خود ورودی‌ها دست‌نخورده باقی مانده‌اند؛ یعنی با «تغییر مفهوم» (Concept drift) روبه‌روییم. مانیتورهای ورودی و پیش‌بینی، توزیع ویژگی‌ها و امتیازها را مقایسه می‌کنند؛ بنابراین تغییر در توزیع شرطی برچسب‌ها برای آن‌ها نامرئی است و فقط مانیتور خروجی (Outcome monitor) می‌تواند آن را ببیند، آن هم بعد از سپری شدن تاخیر دریافت برچسب‌ها. بازآموزی مدل در امشب با داده‌های فصل گذشته اشتباه است: بیشتر آن برچسب‌ها هنوز رابطه‌ی قبلی را نشان می‌دهند و مدل دوباره همان الگوی قدیمی را یاد می‌گیرد. ابتدا باید برچسب‌های پس از وقوع تغییر را جمع‌آوری کنید و سپس مدل را روی آن‌ها آموزش دهید.

پاسخ کامل

سه نوع دریفت

دریفت چه چیزی تغییر می‌کند کدام مانیتور متوجه آن می‌شود
کوواریات (Covariate drift) توزیع ورودی مانیتورهای ورودی
پیشین (Prior drift) نرخ برچسب‌ها مانیتورهای پیش‌بینی و خروجی
مفهوم (Concept drift) برچسب به‌ازای ورودی مشخص فقط مانیتورهای خروجی

تغییر کوواریات ویژگی‌ها را جابه‌جا می‌کند و اغلب کاری به دقت مدل ندارد. تغییر توزیع پیشین، نرخ موارد مثبت را تغییر می‌دهد. اما تغییر مفهوم، پاسخ درست را به‌ازای ورودی یکسان عوض می‌کند؛ بنابراین در بخش‌های بالادستی برچسب هیچ تغییری دیده نمی‌شود.

دموی درس چه چیزی را نشان می‌دهد

جریان داده‌ی این درس هر دو نوع دریفت را تزریق می‌کند. در بازه‌ی تغییر کوواریات، معیارهای PSI و آماره‌ی KS روی ویژگی مبلغ هشدار می‌دهند، در حالی که دقت مدل بین 0.89 و 0.95 باقی می‌ماند. در بازه‌ی تغییر مفهوم، ورودی‌ها کاملاً مشابه داده‌های مرجع هستند، هر دو مانیتور ورودی روی مقادیر عادی خود می‌مانند و دقت از 0.946 به بازه‌ی 0.76 تا 0.79 سقوط می‌کند. هشدار افت دقت 1000 رویداد پس از وقوع تغییر فعال می‌شود که تاخیر 500 رویدادی در رسیدن برچسب‌ها، دلیل نیمی از این دیرکرد است.

دلیل این تاخیر چیست؟

مانیتور خروجی همیشه به اندازه‌ی «تاخیر برچسب» به گذشته نگاه می‌کند؛ چون فقط می‌تواند رویدادهایی را ارزیابی کند که نتیجه‌ی نهایی آن‌ها ثبت شده است. قاعده‌ی تداوم (Persistence rule) هم که فعال‌شدن هشدار را مشروط به دیده‌شدن دریفت در چند پنجره‌ی متوالی می‌کند، بخش دیگر این تاخیر را رقم می‌زند. هر دوی این سازوکارها عمدی هستند: بدون آن‌ها، نرخ هشدارها آن‌قدر بالا می‌رود که سیستم عملاً بلااستفاده می‌شود.

چرا پیشنهاد بازآموزی اشتباه است؟

بازآموزی، پاسخ به تغییر کوواریات در نواحی کم‌داده است. اما تغییر مفهوم نیازمند برچسب‌هایی است که بعد از زمان تغییر ثبت شده‌اند. اگر تغییر در اواخر بازه‌ی زمانی یک فصل رخ داده باشد، بیشترِ برچسب‌های آن فصل همان مفهوم قدیمی را به مدل یاد می‌دهند. مسیر درست این است: نقطه‌ی تغییر را از روی مانیتور خروجی تایید کنید، به اندازه‌ی کافی برچسبِ پس از آن نقطه جمع‌آوری کنید، مدل را روی آن‌ها بازآموزی کنید، عملکرد را روی تازه‌ترین بخشِ داده‌های برچسب‌خورده بسنجید، مدل را با استراتژی‌های سایه (Shadow) و قناری (Canary) مستقر کنید، و پنجره‌ی مرجع را هم بر اساس داده‌های آموزشی جدید بازنشانی کنید.

امشب چه کار کنیم؟

اگر تاثیر این افت روی کسب‌وکار زیاد است، به عنوان اقدامی موقت تا زمان رسیدن برچسب‌های جدید، موارد بیشتری را برای بازبینی بفرستید. جابه‌جایی آستانه (Threshold) راهکار این درس برای تغییر توزیع پیشین است. برای تغییر مفهوم، تغییر آستانه فقط زمانی کمک می‌کند که مرز تصمیم‌گیری روی همان امتیاز قبلی جابه‌جا شده باشد؛ اما اگر اولویت و ترتیب ریسک به‌هم خورده باشد، کاری از دست آستانه برنمی‌آید. مدل فعلی را نگه دارید و فقط زمانی آن را جایگزین کنید که برچسب‌های توصیف‌کننده‌ی رابطه‌ی جدید در دسترستان باشد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چه سیگنالی می‌توانید اضافه کنید که قبل از رسیدن برچسب‌ها واکنش نشان دهد؟ پاسخ مورد انتظار: برای تغییر مفهومِ خالص، هیچ سیگنالی وجود ندارد؛ یک متغیر جایگزین (Proxy) مثل نتیجه‌ی صف بازبینی یا برچسب اولیه‌ی سریع‌تر، تنها نشانه‌های زودهنگام ممکن هستند.
  • سطح 3: تخمین‌گر عملکردی که از احتمالات پیش‌بینی‌شده استفاده می‌کند، در این شرایط چه رفتاری دارد؟ پاسخ مورد انتظار: فرض می‌کند کالیبراسیون (Calibration) مدل هنوز معتبر است، بنابراین متوجه تغییر مفهوم نمی‌شود؛ در متن درس اشاره شده که چنین تخمین‌گرهایی تغییر کوواریات را پوشش می‌دهند، نه تغییر مفهوم را.
  • سطح 4: از کجا بفهمیم چند برچسبِ پس از تغییر کافی است؟ پاسخ مورد انتظار: به اندازه‌ای که بتوان مدل بازآموزی‌شده را روی یک برش نگه‌داشته‌شده (Held-out) از داده‌های اخیر با حد خطایی که از قبل تعیین کرده‌اید ارزیابی کرد؛ معیار اصلی، قبولی در آزمون داده‌های اخیر است، نه صرفاً یک تعداد مشخص.
  • سطح 4: بعد از بازآموزی، مانیتورهای ورودی نسبت به داده‌های مرجع هشدار می‌دهند. چرا؟ پاسخ مورد انتظار: پنجره‌ی مرجع با داده‌های آموزشی جدید بازنشانی نشده است؛ در نتیجه، ترافیک زنده را با توزیع قدیمی مقایسه می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مانیتورهای ویژگی‌ها خراب شده‌اند؛ چون هیچ تغییری در ورودی‌ها نبوده است.» مانیتورها دقیقاً طبق طراحی کار کرده‌اند؛ ورودی‌ها عوض نشده بودند، این برچسب‌ها بودند که تغییر کردند.
  • «مدل را روی همه‌ی داده‌ها بازآموزی کنیم تا الگوی جدید را هم ببیند.» تعداد برچسب‌های قدیمی از جدیدها بیشتر است و مدل باز هم همان رابطه‌ی قبلی را یاد می‌گیرد.
  • «اندازه‌ی پنجره‌ها را کوچک‌تر کنیم تا سریع‌تر متوجه شویم.» پنجره‌های کوچک‌تر باعث نویز و هشدارهای کاذب می‌شوند؛ تاخیر اصلی در اینجا ناشی از زمان رسیدن برچسب‌هاست که پنجره‌ها نمی‌توانند آن را حذف کنند.

کجای دوره آموزش داده می‌شود

درس مانیتورینگ مدل این جریان داده را همراه با تزریق تغییر کوواریات و تغییر مفهوم اجرا می‌کند و نشان می‌دهد که هر مانیتور به کدام تغییر واکنش نشان می‌دهد.