سؤال مصاحبه

طراحی مخزن ویژگی به‌گونه‌ای که آموزش مدل صادقانه بماند

Design a feature store that keeps training honest

  • سطح ۲: میانی
  • طراحی
  • ۱۵ دقیقه

لایه‌ی ویژگی‌ها را برای یک مدل پیش‌بینی ریزش مشتری (churn) طراحی کنید. فرآیند آموزش مدل به مقدار هر ویژگی برای میلیون‌ها جفت کاربر-زمان نیاز دارد. فرآیند سرویس‌دهی (serving) به تازه‌ترین مقدار برای یک کاربر در عرض چند میلی‌ثانیه احتیاج دارد. اجزای سیستم را نام ببرید، توضیح دهید یک سطر آموزشی چطور ویژگی‌هایش را دریافت می‌کند، و با ارقام این درس نشان دهید که بدون پیوند (join) درست چه مشکلی پیش می‌آید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک رجیستری (registry) واحد، تعریف هر ویژگی را همراه با موجودیت (entity)، پنجره‌ی زمانی، مقدار پیش‌فرض، TTL و نسخه‌ی آن نگه می‌دارد و هر دو مسیر محاسباتی از روی همین تعریف کار می‌کنند. یک ذخیره‌ساز آفلاین (offline store) تاریخچه‌ی کامل را همراه با برچسب‌های زمانی رخداد (event timestamps) برای آموزش مدل و بازپرها (backfills) نگه می‌دارد؛ یک جاب مادی‌سازی (materialization) هم تازه‌ترین مقدار به‌ازای هر موجودیت را همراه با یک TTL درون ذخیره‌ساز آنلاینِ (online store) کلید-مقداری کپی می‌کند. هر سطر آموزشی، تازه‌ترین سطر ویژگی را در زمانِ برچسب یا پیش از آن، و در بازه‌ی مجاز TTL برمی‌دارد. بدون این پیوند مبتنی بر نقطه در زمان (point-in-time join)، نتایج دموی این درس در حالت آفلاین بهتر به نظر می‌رسد (0.948 در برابر 0.893)، اما روی داده‌های جدید افت شدیدی پیدا می‌کند (0.763 در برابر 0.876)؛ چون جدیدترین اسنپ‌شات پاسخ را لو می‌دهد.

پاسخ کامل

اجزای سیستم

جزء وظیفه
رجیستری یک تعریف واحد به‌ازای هر ویژگی: موجودیت، منبع، تبدیل، پنجره‌ی زمانی، مقدار پیش‌فرض، TTL، مالک، نسخه
ذخیره‌ساز آفلاین تاریخچه‌ی کامل همراه با برچسب‌های زمانی رخداد، برای خواندن در آموزش مدل و بازپرها
پیوند مبتنی بر نقطه در زمان اتصال هر برچسب به تازه‌ترین سطر در زمان برچسب یا پیش از آن؛ حذف در صورت قدیمی‌تر بودن از TTL
مادی‌سازی کپی کردن تازه‌ترین مقادیر از ذخیره‌ساز آفلاین به ذخیره‌ساز آنلاین
ذخیره‌ساز آنلاین تازه‌ترین مقدار به‌ازای هر موجودیت، با سرعت خواندن چندمیلی‌ثانیه‌ای، و رد سطرهای قدیمی‌تر از TTL
بررسی انحراف (Skew check) مقایسه‌ی ویژگی‌های ثبت‌شده در زمان سرویس‌دهی با مسیر آموزش برای همان موجودیت و زمان

دو خواننده، یک تعریف

آموزش مدل می‌پرسد: «مقدار این ویژگی برای هر یک از میلیون‌ها جفت موجودیت-زمان چه بوده است؟» سرویس‌دهی می‌پرسد: «مقدار این ویژگی برای این موجودیت در حال حاضر چیست؟» هر دو مسیر، همان تعریف واحد را از رجیستری می‌خوانند؛ هیچ سرویسی نسخه‌ی اختصاصی خودش را از تبدیل داده‌ها نگه نمی‌دارد. هر تغییری یک نسخه‌ی جدید می‌سازد و مدل‌های قدیمی به همان نسخه‌ای که با آن آموزش دیده‌اند سنجاق (pin) می‌شوند.

پیوند

  1. سطرهای ویژگی مربوط به همان موجودیت را پیدا کنید.
  2. سطرهایی را نگه دارید که برچسب زمانی رخداد آن‌ها در زمان برچسب یا پیش از آن باشد.
  3. تازه‌ترین سطر را از میان آن‌ها انتخاب کنید.
  4. اگر اختلاف زمان برچسب با زمان رخداد بیشتر از TTL بود، آن را کنار بگذارید.

یک پیوند ساده‌لوحانه فقط بر اساس موجودیت، جدیدترین سطر را برای همه‌ی برچسب‌ها برمی‌گرداند. برای برچسب ریزش، جدیدترین اسنپ‌شات روزهای بی‌فعالیتِ پس از روز برچسب را هم شمرده است؛ بنابراین ویژگی عملاً حاوی پاسخ نهایی است. در دمو، یک قانون روی هر دو مجموعه‌ی آموزشی برازش شده و روی برچسب‌های بعدی ارزیابی می‌شود: پیوند ساده‌لوحانه در حالت آفلاین امتیاز 0.948 و روی داده‌های جدید امتیاز 0.763 می‌گیرد، در حالی که پیوند مبتنی بر نقطه در زمان در حالت آفلاین 0.893 و روی داده‌های جدید 0.876 ثبت می‌کند؛ و نشت ویژگی، آستانه را از 19 روز به 53 روزِ بی‌فعالیت تغییر داده است.

مقادیر TTL و پیش‌فرض‌ها

اگر TTL برابر با 10 روز باشد، خواندن داده 5 روز پس از آخرین اسنپ‌شات همان مقدار را برمی‌گرداند، اما خواندن آن 20 روز بعد، مقدار پیش‌فرض را برمی‌گرداند چون سطر بیش از حد قدیمی شده است. مقدار پیش‌فرض در رجیستری می‌نشیند تا هر دو مسیر، مقدار ناموجود را به یک شکل پر کنند.

بازپرها و زمان ایجاد

ویژگی جدید تاریخچه‌ای ندارد؛ بنابراین فرآیند بازپر، تعریف ویژگی را در هر یک از تاریخ‌های گذشته اجرا می‌کند و فقط رخدادهای همان تاریخ یا قبل از آن را می‌خواند. اگر بازپر را امروز اجرا کنیم، باز هم ممکن است داده‌هایی را که با تأخیر رسیده‌اند بخواند؛ به همین دلیل، یک پیوند سخت‌گیرانه برچسب زمانی ایجاد داده (created timestamp) را هم بررسی می‌کند.

بررسی انحراف

نمونه‌ای از ویژگی‌های ارائه‌شده در سرویس‌دهی را ثبت کنید و مقدار هر کدام را با خروجی مسیر آموزش برای همان موجودیت و زمان بسنجید. نرخ عدم‌تطابق و میانگین قدرمطلق اختلاف را برای هر ویژگی گزارش دهید، و هر ویژگی با عدم‌تطابق بالای 1 درصد را علامت بزنید. با سه مقایسه‌ی مجزا می‌توان ریشه‌ی مشکل را تفکیک کرد: مقایسه‌ی خواندن از ذخیره‌ساز با پیوند آموزشی برای کل سیستم، محاسبه‌ی زنده در برابر پیوند آموزشی برای کهنگی داده (staleness)، و مقایسه‌ی مسیر کد دوم در برابر محاسبه‌ی زنده برای تفاوت‌های کد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا مدلی که نشت داده دارد در ارزیابی آفلاین بهتر به نظر می‌رسد؟ پاسخ مورد انتظار: چون ویژگی حاوی نتیجه‌ی نهایی است، تفکیک آفلاین به آن پاداش می‌دهد؛ اما روی داده‌های جدید چنین اطلاعاتی در دسترس نیست.
  • سطح 2: نقش TTL در پیوند چیست و نسبت به چه زمانی سنجیده می‌شود؟ پاسخ مورد انتظار: سطرهای ویژگی‌ای را که برای برچسب بیش از حد قدیمی هستند حذف می‌کند؛ سن داده نسبت به زمان هر برچسب سنجیده می‌شود، نه نسبت به زمان اجرای پرس‌وجو.
  • سطح 3: دو تیم یک ویژگی یکسان را در دو سرویس مختلف محاسبه می‌کنند. این چه نوع انحرافی ایجاد می‌کند و رجیستری چطور آن را از بین می‌برد؟ پاسخ مورد انتظار: انحراف ناشی از دو مسیر کد؛ هر دو سرویس به‌جای پیاده‌سازی اختصاصی خود، تعریف مرکزی رجیستری را فراخوانی می‌کنند.
  • سطح 3: مشخص شده که تازه‌تر بودن ویژگی‌ها در زمان سرویس‌دهی به عملکرد مدل آسیب می‌زند. چرا؟ پاسخ مورد انتظار: مدل بر اساس اسنپ‌شات‌های هفتگی آموزش دیده است، بنابراین مقادیری با قدمت تا 6 روز همان چیزی است که یاد گرفته؛ انحراف ناشی از کهنگی داده دوطرفه عمل می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «پیوند زدن جدول برچسب‌ها با جدول ویژگی‌ها بر اساس شناسه‌ی کاربر.» این کار جدیدترین مقدار را برمی‌گرداند و نتیجه را مستقیماً وارد ورودی می‌کند.
  • «ویژگی‌های تازه‌تر همیشه در زمان سرویس‌دهی بهتر هستند.» مدل بر اساس درجه‌ی تازگی داده‌های آموزشی خود یاد گرفته است؛ هر سن متفاوتی نوعی انحراف به حساب می‌آید.
  • «گرفتن اسنپ‌شات روزانه مشکل را کاملاً حل می‌کند.» اسنپ‌شات‌های روزانه کهنگی داده را کم می‌کنند، اما پیوند داده‌ها همچنان به قاعده‌ی «بر اساس زمان گذشته» (as-of) و تعیین TTL نیاز دارد.

کجای دوره آموزش داده می‌شود

در درس مخزن ویژگی رجیستری، پیوند مبتنی بر نقطه در زمان، ذخیره‌ساز آنلاین و بررسی انحراف ساخته می‌شوند و عملکرد پیوند ساده‌لوحانه با پیوند درست مقایسه می‌شود.