سؤال مصاحبه

اعتبارسنجی تقلب در پرداخت زیر 100 میلی‌ثانیه

A payment fraud check inside a hundred milliseconds

  • سطح ۳: ارشد
  • طراحی
  • ۲۰ دقیقه

یک سرویس پرداخت باید ظرف 100 میلی‌ثانیه، در اوج ترافیک با 400 درخواست در ثانیه، هر تراکنش را تایید، رد یا به صف بازبینی منتقل کند. برچسب‌های تقلب چند هفته بعد در قالب استرداد وجه (chargeback) می‌رسند. سیستم را طراحی کنید: وظیفه، شیوه‌ی سرویس‌دهی و اندازه‌گذاری منابع، برنامه‌ی داده و برچسب‌ها، مسیر پیش‌روی شبیه‌سازی‌شده (rollout)، رفتارهای پیش‌فرض در زمان خطا، و دو عاملی که بعد از راه‌اندازی، سیستم را در سکوت از کار می‌اندازند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

وظیفه، دسته‌بندی دوتاییِ احتمال تقلب است که با دو آستانه، امتیاز خروجی را به سه تصمیم تایید، بازبینی و مسدودسازی تقسیم می‌کند. سرویس‌دهی از نوع استنتاج آنلاین (online inference) است؛ چون تصمیم‌گیری به داده‌های خودِ درخواست نیاز دارد. با 400 درخواست در ثانیه و تاخیر 50 میلی‌ثانیه‌ای برای هر درخواست، در هر لحظه حدود 20 درخواستِ در حال پردازش وجود دارد؛ در نتیجه سرویس جمع‌وجور است و سقف تاخیر (latency budget) فرصت کافی برای فراخوانی ویژگی‌ها به همراه اجرای مدل را فراهم می‌کند. برچسب‌های استرداد وجه هفته‌ها بعد از پرداخت می‌رسند؛ بنابراین آموزش با تفکیک زمانی (time split) و ویژگی‌هایی انجام می‌شود که در زمان پرداخت در دسترس بوده‌اند. مسیر راه‌اندازی ابتدا با حالت سایه (shadow) آغاز می‌شود، سپس در قالب حالت قناری (canary) روی سهم کوچکی از ترافیک می‌رود و در صورت پایان مهلت زمانی (timeout)، قانون اکتشافی (heuristic rule) به عنوان پیش‌فرض عمل می‌کند. دو عامل خرابی بی‌سروصدا عبارت‌اند از: حلقه‌ی بازخورد (feedback loop) که در آن پرداخت‌های مسدودشده هرگز برچسب نمی‌خورند، و تغییر مفهوم (concept drift) که در آن همان سبد خرید ریسک تقلب متفاوتی پیدا می‌کند و فقط مانیتورینگ پیامدها متوجه آن می‌شود.

پاسخ کامل

وظیفه و تصمیم‌گیری

پرسش پاسخ
پیش‌بینی، به ازای هر موجودیت احتمال تقلب بودن این تراکنش
تصمیم تایید، ارسال به صف بازبینی، یا مسدودسازی، زیر 100 میلی‌ثانیه
زمان تصمیم، با چه داده‌هایی در زمان ارسال درخواست، با استفاده از داده‌های تراکنش، تاریخچه‌ی کارت و مشخصات دستگاه
معیار موفقیت کاهش ضررهای ناشی از تقلب، با حفظ نرخ تایید به عنوان گاردریل (guardrail)

سرویس‌دهی و اندازه‌گذاری منابع

پردازش دسته‌ای (batch) پاسخ‌گوی این نیاز نیست: حد کهنگی داده (staleness) صفر است، چون این پرداخت تا یک دقیقه‌ی پیش اصلاً وجود نداشته است. استنتاج آنلاین ویژگی‌ها را واکشی می‌کند و مدل را در محدوده‌ی سقف تاخیر به اجرا درمی‌آورد. بر اساس قانون لیتل (Little's law) اندازه‌گذاری می‌کنیم: تعداد درخواست‌های هم‌زمان برابر است با نرخ پردازش ضرب در تاخیر. بنابراین 400 درخواست در ثانیه با تاخیر 50 میلی‌ثانیه، معادل 20 درخواستِ در حال پردازش در لحظه است؛ عددی که بسیار کمتر از ظرفیت پردازش دو نسخه (replica) از سرویس است. صدک 99 (p99)، و نه میانگین، باید حتماً زیر سقف تاخیر بماند؛ p99 معادل 100 میلی‌ثانیه یعنی 99 درخواست از هر 100 درخواست، سر وقت پردازش می‌شوند.

داده‌ها و برچسب‌ها

گزارش‌های استرداد وجه هفته‌ها بعد از پرداخت دریافت می‌شوند، بنابراین پیامد نهاییِ ترافیک اخیر نامشخص است. داده‌ها را بر اساس تفکیک زمانی آموزش دهید و جدیدترین بازه‌ی زمانیِ برچسب‌خورده را کنار بگذارید (holdout). تک‌تک ویژگی‌ها باید در لحظه‌ی پرداخت وجود داشته باشند؛ ثبت هر داده‌ای بعد از مشخص شدن پیامد، مثل نشانگر ثبت اعتراض (dispute flag)، باعث نشت برچسب به داده‌های آموزش می‌شود.

مسیر استقرار

حالت سایه: تراکنش‌های واقعی را امتیازدهی و لاگ کنید، اما هیچ اقدامی انجام ندهید؛ سپس تاخیر، نرخ خطا و توزیع امتیازها را با قانون فعلی مقایسه کنید. حالت قناری: مدل را روی سهم کوچکی از ترافیک (معمولاً 1 تا 5 درصد) اعمال کنید، سهم را پله‌پله افزایش دهید و با تغییر نامطلوب هر کدام از گاردریل‌ها، تنظیمات را برگردانید (rollback). در نهایت ضررها را در مقایسه با داده‌های کنارگذاشته‌شده (holdout) اندازه بگیرید.

رفتارهای پیش‌فرض در زمان خطا

  • مدل به مهلت زمانی برخورد کرد: خط مبنای (baseline) اکتشافی فعلی تیم را اجرا کنید.
  • ویژگی‌ای مفقود است یا در بازه‌ی معتبر نیست: از مقدار پیش‌فرض مستندشده استفاده و آن را لاگ کنید.
  • کارت جدیدی بدون تاریخچه وارد شد: قانون پیش‌فرض یا میانگین کل جامعه‌ی آماری را ملاک بگیرید.
  • توزیع امتیازها ناگهان جابه‌جا شد: مسدودسازی خودکار را متوقف کنید و به نیروی انسانی هشدار فوری (page) بفرستید.

دو عامل خرابی بی‌سروصدا

  1. حلقه‌ی بازخورد. پرداخت مسدودشده هرگز به استرداد وجه نمی‌رسد؛ در نتیجه مدل در بازآموزی‌های بعدی، نمونه‌های تقلب کمتری از ناحیه‌ای که مسدود کرده می‌بیند و رفته‌رفته به اشتباه یاد می‌گیرد که آن ناحیه امن است. برای رفع این مشکل، به سهم کوچکی از پرداخت‌ها به صورت تصادفی اجازه‌ی عبور بدون مسدودسازی بدهید و امتیاز و عمل انجام‌شده را کنار هر ردیف داده لاگ کنید تا مدل در آموزش‌های بعدی بتواند داده‌ی تحت تاثیر را از داده‌ی دست‌نخورده تشخیص دهد.
  2. تغییر مفهوم. کلاهبرداران ترفندهایشان را عوض می‌کنند و پرداخت‌هایی که قبلاً امن بودند دچار استرداد وجه می‌شوند. ورودی‌ها تغییری نمی‌کنند، پس مانیتورهای ورودی هشداری نمی‌دهند؛ فقط مانیتور پیامد متوجه ماجرا می‌شود، آن هم تازه پس از سپری شدن تاخیر ثبت برچسب. تغییر توزیع پیشین (prior drift)، مثلاً دو برابر شدن نرخ تقلب حین یک حمله، زودتر از این و در مانیتور پیش‌بینی‌ها به شکل بالا رفتن نرخ خروجی‌های مثبت دیده می‌شود.

مانیتورینگ

سلامت سیستم در لحظه سنجیده شود، ورودی‌ها و پیش‌بینی‌ها فوراً بررسی شوند، و داده‌های پیامد پس از ثبت استردادهای وجه پیوند بخورند و محاسبات صرفاً روی بخش برچسب‌خورده انجام شود. سیاست هشداردهی باید همراه با اندازه‌ی اثر (effect size)، مقدار آلفای اصلاح‌شده و شرط تداوم مشکل در طول زمان باشد تا فرد در نوبت پاسخگویی (آنکال) هشدارها را جدی بگیرد و بررسی کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا در این سناریو تفکیک زمانی مهم‌تر از تفکیک تصادفی داده‌ها است؟ انتظار می‌رود پاسخ دهید: تفکیک تصادفی، ترفندهای آینده‌ی کلاهبرداران را به داده‌های آموزش نشت می‌دهد و عملکرد مدل را در برابر تقلب‌های ماه بعد بیش از حد واقعی نشان می‌دهد.
  • سطح 3: پس از راه‌اندازی، صف بازبینی بی‌رویه طولانی می‌شود. کدام گاردریل این موضوع را کشف کرده و چه چیزی را باید تنظیم کرد؟ انتظار می‌رود پاسخ دهید: گاردریل نرخ بازبینی؛ به جای تغییر مدل، باید آستانه‌ی ورود به صف بازبینی را جابه‌جا کنید.
  • سطح 4: تخصیص سهم تصادفی برای پرداخت‌های بدون مسدودسازی، باعث ضرر مالی واقعی ناشی از تقلب می‌شود. اندازه‌ی این سهم را چطور تعیین می‌کنید؟ انتظار می‌رود پاسخ دهید: به اندازه‌ی حداقل سهمی که نمونه‌های برچسب‌خورده‌ی کافی از تقلب در محدوده‌ی مسدودشده را برای بازآموزی نگه‌دارد؛ هزینه‌ی پذیرش این تقلب‌ها را در واقع به عنوان بهای دستیابی به داده‌ی تمیز در برابر هزینه‌ی نابینا شدن مدل در اثر دریفت (drift) بسنجید.
  • سطح 4: بازآموزی روی برچسب‌های فصل گذشته، بعد از اینکه کلاهبرداران ترفندشان را تغییر دادند، کیفیت مدل را بدتر می‌کند. چرا؟ انتظار می‌رود پاسخ دهید: به دلیل تغییر مفهوم؛ اکثر برچسب‌های فصل قبل هنوز همان رابطه‌ی قدیمی را نشان می‌دهند، بنابراین تا جمع‌آوری برچسب‌های جدید با شیوه‌ی تازه، بازآموزی کمکی نخواهد کرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «امتیاز تقلب هر کارت را شبانه پیش‌محاسبه کنیم.» تراکنش فعلی تا دیشب وجود نداشته است؛ تصمیم‌گیری به داده‌های هم‌زمان با درخواست نیاز دارد.
  • «مدل را هفتگی با تمام پرداخت‌های مسدودشده و تاییدشده بازآموزی کنیم.» پرداخت‌های مسدودشده پیامد نهایی معلومی ندارند، بنابراین مجموعه‌ی داده‌ی آموزشی به سمت تصمیم‌های خودِ مدل منحرف می‌شود.
  • «دریفت ویژگی‌ها را زیر نظر بگیرید تا متوجه تغییر رفتار کلاهبرداران بشوید.» تغییر مفهوم تغییری در داده‌های ورودی ایجاد نمی‌کند؛ تنها پیامدها آن را آشکار می‌سازند.

کجای دوره آموزش داده می‌شود

درس طراحی سیستم‌های یادگیری ماشین به سقف تاخیر، قانون لیتل، مراحل استقرار و حلقه‌ی بازخورد می‌پردازد، و درس مانیتورینگ مدل و دریفت انواع دریفت و تاخیر در دریافت برچسب را تشریح می‌کند.