سؤال مصاحبه

دقت آفلاین خوب بود ولی دقت آنلاین افت کرده است

Offline accuracy was fine and live accuracy is not

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۵ دقیقه

یک مدل پیش‌بینی ریزش مشتری (churn) در ارزیابی آفلاین امتیاز خوبی گرفته، اما روی ترافیک زنده ضعیف‌تر از مدل قدیمی‌تر و ساده‌تر عمل می‌کند. ویژگی‌های زمان سرو (serving features) را سرویس تیم دیگری محاسبه می‌کند. شما نمونه‌ای از درخواست‌های لاگ‌شده‌ی زمان سرو را در اختیار دارید. فرآیند عیب‌یابی را طراحی کنید: چه مقایسه‌هایی را با چه ترتیبی اجرا می‌کنید، هر مقایسه کدام عامل را جدا می‌کند و راهکار رفع مشکل برای هر دلیل احتمالی چیست؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک موجودیت و زمان مشخص را در سه جفت مختلف مقایسه کنید:

  1. خواندن از ذخیره‌ساز آنلاین در برابر پیوند آموزش، کل سیستم را می‌سنجد و وقتی هر دو از یک تعریف بخوانند، باید ناهماهنگی (skew) صفر را نشان دهد.
  2. محاسبه‌ی تازه در برابر پیوند آموزش، اثر کهنگی داده (staleness) را جدا می‌کند.
  3. مسیر کد تیم دوم در برابر محاسبه‌ی تازه، تفاوت‌های کدنویسی مثل مرزهای پنجره‌ی زمانی و مقادیر پیش‌فرض را نشان می‌دهد.

هر جفت مقایسه، یک نرخ عدم تطابق و یک میانگین قدرمطلق اختلاف به‌ازای هر ویژگی ارائه می‌دهد. راهکار تمام این عوامل شکل یکسانی دارد: یک تعریف واحد در رجیستری که هر دو مسیر آن را فراخوانی کنند، همراه با بررسی مداوم ویژگی‌های لاگ‌شده‌ی زمان سرو در برابر آن.

پاسخ کامل

چهار عامل اصلی

علت چه اتفاقی می‌افتد مثال از متن درس
دو مسیر کدی مجزا آموزش و سرو، ویژگی را متفاوت محاسبه می‌کنند پنجره‌ی زمانی سرو، یک روز اضافه‌تر دارد
کهنگی ویژگی‌ها سن داده‌ی سروشده با چیزی که مدل در زمان آموزش دیده متفاوت است آموزش از اسنپ‌شات‌های هفتگی خوانده، اما سرو مقدار را به‌صورت تازه محاسبه می‌کند
تفاوت در مقادیر پیش‌فرض دو مسیر، مقدار گم‌شده را با مقادیر متفاوتی پر می‌کنند آموزش برای کاربری بدون خرید 365 گذاشته، ولی سرو 1- گذاشته است
سفر در زمان آموزش مقداری را خوانده که به بعد از زمان برچسب تعلق دارد یک پیوند ساده و ناشیانه، جدیدترین اسنپ‌شات را برداشته است

سه مقایسه

  1. خواندن از ذخیره‌ساز آنلاین در برابر پیوند آموزش: هر دو، ردیف‌های متریالایزشده‌ی یکسانی را از یک تعریف مشترک می‌خوانند؛ بنابراین تک‌تک ویژگی‌ها باید عدم تطابقِ صفر نشان دهند. وجود هر مقدار غیرصِفری در اینجا یعنی ذخیره‌ساز یا خودِ پیوند ایراد دارد.
  2. محاسبه‌ی تازه در برابر پیوند آموزش: این مقایسه اثر کهنگی داده را جدا می‌کند. در دموی درس، مقدار تازه در بیشتر درخواست‌ها متفاوت است: 83.0% عدم تطابق برای روزهای سپری‌شده از آخرین خرید، 30.5% برای تعداد خریدها و 37.1% برای مبلغ کل خرید. اینجا تازه‌تر بودن داده لزوماً بهتر نیست، چون مدل بر اساس مقادیری با قدمت تا 6 روز آموزش دیده است.
  3. مسیر کدی تیم دوم در برابر محاسبه‌ی تازه: این مقایسه تفاوت‌های کدی را جدا می‌کند. دمو نشان می‌دهد روی هر دو شمارنده‌ی پنجره‌ای، 12.5% عدم تطابق وجود دارد، چون پنجره‌ی تیم دیگر یک روز اضافه‌تر را پوشش می‌دهد. همچنین روی روزهای سپری‌شده از آخرین خرید، 5.5% عدم تطابق با میانگین اختلاف 20.07 دیده می‌شود؛ این اختلاف فقط ناشی از کاربران جدیدی است که مقادیر پیش‌فرض‌شان با هم نمی‌خواند (1- در برابر 365).

این بررسی حتماً باید کلیدهای درخواست یکسانی در هر دو سمت داشته باشد. اگر کلیدها یکی نباشند یا هیچ درخواستی وجود نداشته باشد، باید با صدای بلند با خطا متوقف شود؛ چرا که نبودِ درخواست، ناهماهنگی را پنهان می‌کند و بررسی روی داده‌ی خالی هیچ‌چیز را ثابت نمی‌کند.

راهکارها

  • دو مسیر کدی مجزا: کپی اختصاصی را حذف کنید؛ هر دو سرویس باید تعریف موجود در رجیستری را صدا بزنند، و هر تغییری نسخه‌ی جدیدی می‌سازد که مدل‌های قدیمی آن را برنمی‌دارند.
  • کهنگی ویژگی‌ها: سن داده‌ی زمان سرو را با سن داده‌ی آموزش همگام کنید، یا مدل را دوباره روی اسنپ‌شات‌های تازه‌تر آموزش دهید؛ میزان تازگی یک ویژگی جزئی از تعریف خود آن است.
  • تفاوت در مقادیر پیش‌فرض: یک مقدار پیش‌فرض واحد در رجیستری تعریف کنید که یک تابع مشترک در هر دو مسیر آن را اعمال کند.
  • سفر در زمان: پیوند مبتنی بر نقطه در زمان (point-in-time join) همراه با TTL؛ دمو نشان می‌دهد که این کار دقت آفلاین را از عدد کاذب 0.948 به عدد واقعی 0.893 تغییر می‌دهد و دقت زنده را از 0.763 به 0.876 می‌رساند.

چرا مدل ساده‌تر در محیط زنده برنده شد؟

مدل قدیمی‌تر از ویژگی‌هایی استفاده می‌کرد که هر دو مسیر آن‌ها را یکسان محاسبه می‌کردند. اما مدل جدید به ویژگی‌ای اعتماد کرده بود که مقادیر زنده‌ی آن از یک پنجره‌ی زمانی دیگر و با یک پیش‌فرض متفاوت می‌آمد؛ در نتیجه ورودی‌هایی را دید که هیچ‌وقت با آن‌ها آموزش ندیده بود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: اگر فقط 1 ساعت وقت داشته باشید، کدام مقایسه را اول اجرا می‌کنید؟ پاسخ مورد انتظار: مقایسه‌ی اول؛ اگر داده‌ی خوانده‌شده از ذخیره‌ساز آنلاین با پیوند آموزش بخواند، یعنی سیستم سازگار است و مشکل جای دیگری است؛ اگر نخواند، تمام بررسی‌های بعدی بی‌معنی می‌شوند.
  • سطح 3: مقادیر پیش‌فرض فقط برای کاربران جدید با هم فرق دارند. چرا نرخ عدم تطابق، عمق خسارت را کمتر از واقعیت نشان می‌دهد؟ پاسخ مورد انتظار: چون کاربران جدید تعداد کمی دارند، نرخ کلی پایین است؛ اما مقدار اختلاف به‌ازای هر مورد عدم تطابق بسیار زیاد است، در نتیجه خروجی مدل برای تک‌تک کاربران جدید کاملاً اشتباه می‌شود.
  • سطح 4: تیم دیگر نمی‌تواند سرویس خود را در این فصل (quarter) تغییر دهد. چه کار می‌کنید؟ پاسخ مورد انتظار: ویژگی‌های زمان سرو آن‌ها را لاگ کنید، مدل بعدی را روی همان مقادیر لاگ‌شده آموزش دهید تا آموزش با سرو هماهنگ شود، و ابزار بررسی ناهماهنگی را فعال نگه دارید تا این شکاف همیشه قابل مشاهده باشد.
  • سطح 4: برچسب زمانی ایجاد داده (created timestamp) چطور وارد فرآیند عیب‌یابی می‌شود؟ پاسخ مورد انتظار: یک بازپر (backfill) که امروز نوشته می‌شود ممکن است داده‌های دیررسیده را بخواند؛ بنابراین یک پیوند دقیق و سخت‌گیرانه ردیف‌هایی را که بعد از زمان برچسب ایجاد شده‌اند کنار می‌گذارد، وگرنه خود مسیر آموزش دچار ناهماهنگی می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ویژگی‌های تازه در زمان سرو همیشه بهتر از اسنپ‌شات‌های آموزش هستند.» مدل قدمت داده‌ها در زمان آموزش را یاد گرفته است؛ سنی متفاوت از آن در هر دو جهت (تازه‌تر یا قدیمی‌تر) ناهماهنگی است.
  • «نرخ عدم تطابق زیر چند درصد مشکلی ندارد.» یک نرخ پایین با میانگین اختلاف بزرگ (مانند قضیه‌ی مقادیر پیش‌فرض) باز هم تک‌تک پیش‌بینی‌های تحت‌تأثیر را خراب می‌کند.
  • «دقت آفلاین را با دقت زنده مقایسه کنیم و اسمش را دریفت (drift) بگذاریم.» دریفت یعنی تغییر در طول زمان؛ ناهماهنگی یعنی تفاوت بین دو خواننده‌ی یک ویژگی در یک زمان واحد، و این سه مقایسه این دو مفهوم را از هم متمایز می‌کنند.

کجای دوره آموزش داده می‌شود

درس مخزن ویژگی چهار عامل ناهماهنگی را معرفی کرده و این سه مقایسه را روی درخواست‌های لاگ‌شده پیاده می‌کند.