سؤال مصاحبه

طراحی سیستم مانیتورینگ برای مدل ریسک پرداخت

Design monitoring for a payment risk model

  • سطح ۲: میانی
  • طراحی
  • ۱۵ دقیقه

یک مدل ریسک پرداخت به تمام تراکنش‌ها امتیاز می‌دهد. برچسب‌ها هفته‌ها بعد در قالب درخواست‌های برگشت وجه (chargeback) می‌رسند. سیستم مانیتورینگ را طراحی کنید: چه چیزهایی را زیر نظر می‌گیرید، پنجره‌های زمانی را چطور مقایسه می‌کنید، چه آماره‌هایی را به دست می‌آورید و نرخ هشدارها را چطور آن‌قدر پایین نگه می‌دارید که افراد واقعاً به هشدارها توجه کنند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سیستم را در چهار لایه مانیتور کنید: سلامت سیستم، توزیع ورودی‌ها، توزیع پیش‌بینی‌ها و نتایج نهایی پس از رسیدن برچسب‌ها. یک پنجره‌ی مرجع ثابت را با پنجره‌های جاری لغزان مقایسه کنید؛ برای ویژگی‌های عددی از «شاخص پایداری جمعیت» (Population Stability Index یا PSI) و آماره‌ی آزمون دو‌نمونه‌ای کولموگروف-اسمیرنوف (KS) استفاده کنید و برای ویژگی‌های دسته‌ای، آزمون کای-دو (Chi-square) به همراه V کرامر (Cramér's V) را به کار ببرید. فقط زمانی هشدار بفرستید که هم مقدار p تصحیح‌شده و هم اندازه‌ی اثر (effect size) از آستانه رد شوند و این وضعیت در چند پنجره‌ی متوالی ادامه پیدا کند. در ضمن، اخطارها را به‌جای ارسال مستقیم به افراد، روی داشبورد بفرستید.

پاسخ کامل

چهار لایه

لایه سیگنال‌ها زمان دسترسی پرسش اصلی
سلامت سیستم تاخیر صدک‌های 50 و 99، نرخ خطا، نرخ پردازش بلافاصله آیا سرویس پاسخ می‌دهد؟
ورودی‌ها توزیع ویژگی‌ها، نرخ داده‌های ناموجود، شِما، دسته‌های جدید بلافاصله آیا داده‌های زنده شبیه به داده‌های آموزش هستند؟
پیش‌بینی‌ها توزیع امتیازها، نرخ موارد مثبت، سهم پاسخ‌های پیش‌فرض بلافاصله آیا رفتار مدل مثل گذشته است؟
نتایج نهایی صحت، دقت (precision)، کالیبراسیون، معیارهای کسب‌وکار پس از تاخیر رسیدن برچسب‌ها آیا مدل هنوز درست کار می‌کند؟

تنها لایه‌ی آخر درستی خروجی‌ها را می‌سنجد که آن هم با تاخیر به دست می‌آید؛ بنابراین سه لایه‌ی اول نقش هشدار زودهنگام را دارند.

پنجره‌های مقایسه

پنجره‌ی مرجع همان داده‌های آموزش یا بازه‌ای دستی‌بررسی‌شده از محیط عملیاتی (production) است که تا زمان بازآموزی ثابت می‌ماند. پنجره‌ی جاری شامل N رویداد آخر یا T ساعت گذشته است و با گامی کوچک‌تر از اندازه‌ی خود می‌لغزد. پنجره‌ی کوچک خیلی سریع واکنش نشان می‌دهد و نویز را به اشتباه دریفت (drift) به حساب می‌آورد؛ پنجره‌ی بزرگ پایدار است اما افت کیفیت را دیر گزارش می‌دهد. تغییرات فصلی کارایی پنجره‌های ساده را به هم می‌زند؛ بنابراین پنجره‌ی مرجع باید یک چرخه‌ی کامل را پوشش دهد یا اینکه هر پنجره با دوره‌ی مشابه در چرخه‌ی قبلی مقایسه شود. در دموی این درس، از پنجره‌های 500 رویدادی استفاده می‌شود که با گام‌های 250تایی جابه‌جا می‌شوند و برچسب‌ها با 500 رویداد تاخیر می‌رسند.

آماره‌ها

  • شاخص پایداری جمعیت (PSI) روی ده دهک (decile) از داده‌های مرجع محاسبه می‌شود؛ سهم هر بازه را روی مقداری بسیار کوچک کف‌گذاری (clip) کنید تا هیچ بازه‌ای خالی نماند. بر اساس عرف، مقدار زیر 0.1 نشانه‌ی پایداری و بالای 0.25 نشان‌دهنده‌ی جابه‌جایی چشمگیر است؛ البته به یاد داشته باشید که PSI با افزایش تعداد بازه‌ها زیاد می‌شود و با افزایش حجم نمونه کاهش می‌یابد.
  • آماره‌ی D در آزمون KS به عنوان اندازه‌ی اثر برای ویژگی‌های عددی به کار می‌رود و مقدار p آن بر اساس حجم نمونه‌ی موثر محاسبه می‌شود. در نمونه‌های بزرگ، تکیه بر مقدار p به‌تنهایی باعث می‌شود سیستم تفاوت‌هایی را علامت‌گذاری کند که برای هیچ‌کس اهمیتی ندارد.
  • آزمون کای-دو به همراه V کرامر برای ویژگی‌های دسته‌ای، که به دسته‌ای که فقط در پنجره‌ی جاری ظاهر شده هم واکنش نشان می‌دهد. وقتی تعداد رویدادها در یک خانه کم باشد مقدار p قابل‌اعتماد نیست؛ بنابراین قبل از اجرای آزمون، دسته‌های کم‌تکرار را در یک دسته تجمیع کنید.

سیاست هشداردهی

اگر 50 ویژگی را هر ساعت با سطح آلفای 0.05 بسنجید، وقتی هیچ‌چیز تغییر نکرده باشد هم روزانه حدود 60 هشدار کاذب ایجاد می‌شود. چهار قانون نرخ هشدارها را مهار و کاربردی نگه می‌دارد: تصحیح برای آزمون‌های چندگانه (مثلاً اختصاص آلفای خانواده‌ی 0.01 به دو آزمون، یعنی 0.005 برای هر کدام)؛ الزام به عبور اندازه‌ی اثر؛ ماندگاری شرایط در چند پنجره‌ی پیاپی دریفت (دو پنجره در دموی درس)؛ و تفکیک اخطارهای داشبورد از هشدارهای ارسالی به افراد.

بازآموزی چه کاری انجام می‌دهد؟

تغییر کوواریات (covariate drift) در صورتی که صحت مدل پایدار مانده باشد، معمولاً نیازی به اقدام ندارد. تغییر کوواریات به سمت نواحی با داده‌های اندک، نیاز به بازآموزی مدل روی داده‌های اخیر دارد. تغییر توزیع پیشین (prior drift) نیازمند کالیبراسیون مجدد یا آستانه‌ی جدید است. تغییر مفهوم (concept drift) قبل از هر چیز نیازمند برچسب‌های تازه است؛ چون بازآموزی با برچسب‌های قدیمی فقط همان مفهوم پیشین را دوباره به مدل یاد می‌دهد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا پنجره‌ی مرجع ثابت است و همراه با زمان نمی‌لغزد؟ پاسخ مورد انتظار: پنجره‌ی مرجعِ لغزان هم‌گام با دریفت پیش می‌رود و آن را می‌پوشاند؛ مرجع تنها زمان بازآموزی باید تغییر کند.
  • سطح 2: یک پنجره‌ی بدون مشکل مقدار p بسیار کوچکی در آزمون کای-دو دارد؛ چرا این وضعیت به جای هشدار، اخطار ثبت می‌شود؟ پاسخ مورد انتظار: اندازه‌ی اثر پایین‌تر از آستانه است؛ بنابراین بر اساس سیاست‌ها فقط اخطار ثبت می‌شود، چون مقدار p به‌تنهایی کافی نیست.
  • سطح 3: برچسب‌ها با 500 رویداد تاخیر به دست می‌آیند. مانیتورینگ نتایج این وضعیت را چطور مدیریت می‌کند؟ پاسخ مورد انتظار: برچسب‌ها را به‌محض رسیدن پیوند می‌زند (join می‌کند) و معیارها را روی بخش برچسب‌دار محاسبه می‌کند و همیشه داده‌های گذشته را تا همان اندازه عقب‌تر بررسی می‌کند.
  • سطح 3: کدام نوع دریفت از دید تمام این سیستم پنهان می‌ماند و فقط در لایه‌ی آخر کشف می‌شود؟ پاسخ مورد انتظار: تغییر مفهوم (concept drift)؛ در این حالت ورودی‌ها تغییری نمی‌کنند و فقط نتایج نهایی پرده از روابط جدید برمی‌دارند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ارسال هشدار برای هر مقدار p کمتر از 0.05.» با ویژگی‌های پرتعداد و بررسی‌های ساعتی، این کار به ده‌ها هشدار اشتباه در روز می‌انجامد و افراد دیگر هشدارها را نمی‌خوانند.
  • «فقط صحت (accuracy) را مانیتور کنید؛ این تنها معیاری است که اهمیت دارد.» صحت پس از تاخیر رسیدن برچسب‌ها به دست می‌آید؛ در حالی که مانیتورینگ ورودی و پیش‌بینی‌ها نقش هشدار زودهنگام را دارند.
  • «مدل را طبق یک برنامه‌ی زمانی ثابت بازآموزی کنید و مانیتورینگ را کنار بگذارید.» بازآموزی زمان‌بندی‌شده وقتی چیزی تغییر نکرده دوباره مدل را آموزش می‌دهد و هنگام وقوع تغییرات، بی‌استفاده معطل می‌ماند.

کجای دوره آموزش داده می‌شود

در درس مانیتورینگ مدل و دریفت چهار لایه، پنجره‌های مقایسه، سه آماره‌ی کلیدی و سیاست هشداردهی آموزش داده شده است.