سؤال مصاحبه

امتیازی در تست که محیط عملیاتی هرگز به آن نمی‌رسد

A test score that production never reaches

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

یکی از هم‌تیمی‌های شما کل جدول داده را با یک مقیاس‌ساز (scaler) استانداردسازی می‌کند، سپس آن را به سطرهای آموزش، اعتبارسنجی و تست تقسیم کرده و امتیاز مجموعه تست را گزارش می‌دهد. در محیط عملیاتی (production)، امتیاز مدل بسیار پایین‌تر از این عدد است. ایراد این پایپ‌لاین (pipeline) را مشخص کنید و ساختاری را شرح دهید که در آن، امتیاز تست پیش‌بینی‌کننده‌ی درستی از عملکرد محیط عملیاتی باشد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مقیاس‌ساز سطرهای تست را دیده است؛ بنابراین میانگین و انحراف معیار، اطلاعاتی از مجموعه تست را وارد فرایند آموزش کرده‌اند. به این موضوع نشت داده (data leakage) می‌گویند که باعث می‌شود امتیاز گزارش‌شده خوش‌بینانه باشد. اول داده‌ها را تقسیم کنید، تمام مراحل پیش‌پردازش را فقط روی سطرهای آموزش برازش (fit) دهید و سپس همان تبدیل برازش‌شده را روی دو مجموعه‌ی دیگر اعمال کنید.

پاسخ کامل

چه چیزی نشت کرده است؟

استانداردسازی (standardization) میانگین را از داده‌ها کم و نتیجه را بر انحراف معیار تقسیم می‌کند. هر دوی این‌ها آماره‌هایی از سطرهایی هستند که مقیاس‌ساز دیده است. وقتی این سطرها شامل مجموعه تست هم باشند، داده‌های آموزش عملاً تحت تأثیر داده‌های تست شکل گرفته‌اند. درس ارزیابی مدل، این مورد را اولین نمونه‌ی نشت داده معرفی می‌کند؛ در کنار دو خطای دیگر که پشت همین عادت نادرست پنهان می‌شوند: سطرهای آینده در یک سری زمانی که پیش از تقسیم بر زده شده، و ویژگی محاسبه‌شده از روی متغیر هدف (target).

سه مجموعه داده و وظایف آن‌ها

مجموعه سهم وظیفه
آموزش 60 تا 70 درصد مدل روی این سطرها برازش می‌شود
اعتبارسنجی 15 تا 20 درصد انتخاب ابرپارامترها و مدل‌ها
تست 15 تا 20 درصد گزارش امتیاز نهایی، فقط یک بار

مجموعه تست، تضمینی برای نگه‌داشت داده‌های دیده‌نشده است. اگر بعد از دیدن امتیاز تست دست به تغییر مدل بزنید، این مجموعه عملاً به یک مجموعه اعتبارسنجی دوم تبدیل می‌شود و امتیاز آن دیگر عملکرد روی داده‌های دیده‌نشده را پیش‌بینی نخواهد کرد.

پایپ‌لاینی که نشت نمی‌کند

  1. قبل از محاسبه‌ی هر آماره‌ای، داده‌ها را تقسیم کنید. برای یک سری زمانی، تقسیم را بر اساس زمان انجام دهید.
  2. مقیاس‌ساز، کدگذار (encoder) و هرگونه جایگزینی مقادیر گم‌شده (imputation) را فقط روی سطرهای آموزش برازش دهید. سپس سطرهای دیگر را با آن مقادیر برازش‌شده تبدیل (transform) کنید.
  3. در اعتبارسنجی متقاطع (cross-validation)، مرحله‌ی برازش را داخل هر فولد (fold) آموزش تکرار کنید. تبدیلی که پیش از تقسیم فولدها روی کل سطرها برازش شود، در تمام فولدها نشت می‌کند.
  4. وقتی کلاس‌ها نامتوازن هستند، از تقسیم لایه‌بندی‌شده (stratified split) استفاده کنید تا در هر فولد نسبت کلاس‌ها حفظ شود.
  5. وجود سطرهای تکراری را میان مجموعه‌های تفکیک‌شده بررسی کنید.
  6. مجموعه تست را فقط یک بار و در پایان کار ارزیابی کنید.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: همین خطا چطور داخل اعتبارسنجی متقاطع k-فولد ظاهر می‌شود؟ پاسخ مورد انتظار: تبدیلی که پیش از تقسیم فولدها روی کل سطرها برازش شود، در تمام فولدها نشت می‌کند؛ باید آن را داخل هر فولد آموزش برازش دهید.
  • سطح 2: چرا بررسی مکرر امتیاز تست باعث بالا رفتن غیرواقعی آن می‌شود؟ پاسخ مورد انتظار: هر تغییری پس از دیدن نتیجه، نوعی برازش روی مجموعه تست است؛ در نتیجه به یک مجموعه اعتبارسنجی دوم تبدیل می‌شود.
  • سطح 3: داده‌ها محور زمانی دارند. نحوه‌ی تقسیم چه تغییری می‌کند؟ پاسخ مورد انتظار: تقسیم باید بر اساس زمان باشد تا مدل هرگز روی داده‌هایی که بعد از داده‌های مورد پیش‌بینی هستند آموزش نبیند؛ تقسیم داده‌ها با بر زدن، سطرهای آینده را وارد آموزش می‌کند.
  • سطح 4: چطور ابرپارامترها را تنظیم کنیم و همچنان امتیاز صادقانه‌ای گزارش دهیم؟ پاسخ مورد انتظار: اعتبارسنجی متقاطع تودرتو (nested cross-validation) با یک حلقه‌ی داخلی برای تنظیم و یک حلقه‌ی خارجی برای تخمین، یا یک مجموعه اعتبارسنجی برای تنظیم و یک مجموعه تست که فقط یک بار استفاده می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مقیاس‌بندی یک تبدیل بی‌ضرر است، بنابراین ترتیب آن اهمیتی ندارد.» میانگین و انحراف معیار، آماره‌های حاصل از داده‌ها هستند. برازش آن‌ها روی سطرهای تست، اطلاعات تست را به فرایند آموزش وارد می‌کند.
  • «نشتی به این کوچکی نمی‌تواند امتیاز را چندان جابه‌جا کند.» تا زمانی که نشتی را حذف نکنید اندازه‌ی آن مشخص نمی‌شود؛ از طرفی خطاهای دیگر، مثل ساخت ویژگی از روی متغیر هدف هم پشت همین عادت پنهان می‌شوند.
  • «برای اطمینان، بعد از هر تغییر مجموعه تست را اجرا کنید.» هر بار بررسی و تغییر، نوعی برازش روی مجموعه تست است و این عدد دیگر عملکرد در محیط عملیاتی را پیش‌بینی نخواهد کرد.

کجای دوره آموزش داده می‌شود

درس ارزیابی مدل خطاهای رایج ارزیابی را فهرست می‌کند و فرایند تقسیم داده‌ها و ساخت فولدها را از صفر پیاده می‌سازد.