سؤال مصاحبه

ساخت یک آنسامبل انباشته بدون تقلب فرایادگیرنده

Build a stacking ensemble whose meta-learner never cheats

  • سطح ۴: استف
  • پروژه‌ی خانگی
  • ۲۵ دقیقه

پروژه‌ی خانگی: روی یک مجموعه‌داده‌ی جدولی برای رده‌بندی، یک آنسامبل انباشته (stacking ensemble) بسازید که از سه مدل پایه از خانواده‌های مختلف و یک رگرسیون لجستیک (logistic regression) به‌عنوان فرایادگیرنده (meta-learner) استفاده کند. این موارد را تحویل دهید: کد آموزش، مقایسه‌ی کارایی مدل نهایی با تک‌تک مدل‌های پایه، و یک استدلال مکتوب که نشان دهد فرایادگیرنده هرگز روی پیش‌بینی سطری آموزش ندیده که مدل پایه قبلاً آن را دیده باشد. ساختار انجام کار و مواردی را که پیش از تحویل نهایی بررسی می‌کنید شرح دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ویژگی‌های فراداده (meta-features) را با اعتبارسنجی متقاطع k-تکه‌ای (k-fold cross-validation) بسازید: برای هر تکه، مدل‌های پایه را روی بقیه‌ی تکه‌ها برازش کنید و خروجی تکه‌ی نگه‌داشته‌شده (held-out) را پیش‌بینی کنید؛ به‌این‌ترتیب، هر سطر داده‌ی آموزشی پیش‌بینی‌هایی از مدل‌های پایه دریافت می‌کند که حین آموزش آن سطر را ندیده‌اند. فرایادگیرنده را روی همین پیش‌بینی‌های خارج از تکه (out-of-fold) آموزش دهید. سپس، برای زمان آزمون، مدل‌های پایه را روی تمام سطرهای آموزشی بازبرازش (refit) کنید. در نهایت، عملکرد را روی مجموعه‌ی آزمونی بسنجید که هیچ‌کدام از سطوح مدل به آن دست نزده‌اند، و نتایج مدل‌های پایه و آنسامبل انباشته را همراه با میزان پراکندگی در تکه‌ها کنار هم گزارش کنید.

پاسخ کامل

ساختار کار

  1. تفکیک داده در قدم اول. قبل از هر کاری، یک مجموعه‌ی آزمون را جدا نگه دارید. تمام مراحل پیش‌پردازش را داخل تکه‌ها انجام دهید و تبدیل‌ها را فقط بر اساس بخش آموزشیِ هر تکه برازش کنید.
  2. پیش‌بینی‌های خارج از تکه. با K تکه، هر مدل پایه را K بار آموزش دهید. هر سطر در مجموعه‌ی آموزشی، پیش‌بینی مدلی را دریافت می‌کند که در فرایند آموزش آن سطر را ندیده است. به‌جای برچسب‌های قطعی (hard labels)، احتمالات پیش‌بینی‌شده را ذخیره کنید؛ خروجی‌های احتمالی (soft outputs) حامل میزان اطمینان مدل هستند و دقیقاً به همین دلیل، طبق متن درس، رأی‌گیری نرم (soft voting) از رأی‌گیری سخت (hard voting) بهتر عمل می‌کند.
  3. فرایادگیرنده. رگرسیون لجستیک را روی احتمالات خارج از تکه (سه ستون به‌ازای هر کلاس) با برچسب‌های واقعی به‌عنوان هدف برازش کنید. مدل یاد می‌گیرد که در چه موقعیت‌هایی و چقدر به کدام مدل پایه اعتماد کند.
  4. بازبرازش برای زمان آزمون. هر مدل پایه را روی تمام سطرهای آموزشی برازش کنید، خروجی را روی مجموعه‌ی آزمون پیش‌بینی کنید و این پیش‌بینی‌ها را به فرایادگیرنده بدهید.
  5. مقایسه. عملکرد هر مدل پایه را به‌تنهایی، میانگین ساده‌ی هر سه مدل و مدل انباشته را ارزیابی کنید. میانگین‌ها و میزان پراکندگی حاصل از اعتبارسنجی متقاطع را روی تکه‌های آموزشی گزارش کنید و در آخر، یک نمره‌ی آزمون نهایی برای هر کدام ارائه دهید.

استدلال نشت داده

این بخش را در قالب یک جدول بنویسید: برای هر سطر آموزشی مشخص کنید متعلق به کدام تکه بوده و خروجی کدام اجرای مدل پایه، ویژگی فراداده‌ی آن را تولید کرده است. هر ویژگی فراداده باید از اجرایی آمده باشد که تکه‌های آموزشی‌اش شامل آن سطر نبوده است. اگر مدل پایه‌ای روی همه‌ی سطرهای آموزشی برازش شود و سپس همان سطرها را پیش‌بینی کند، پیش‌بینی‌ها درون‌نمونه‌ای (in-sample) و بیش‌ازحد خوش‌بینانه خواهند بود؛ در نتیجه، فرایادگیرنده یاد می‌گیرد به مدلی اعتماد کند که بیشترین بیش‌برازش (overfit) را دارد. در متن درس، این قانون در یک خط آمده است: هرگز مدل‌های پایه را روی همان داده‌هایی که برای تولید ویژگی‌های فراداده به کار می‌برید آموزش ندهید.

بررسی‌های پیش از تحویل

  • تنوع: خطاهای مدل‌های پایه را روی تکه‌های اعتبارسنجی مقایسه کنید. سه مدل مختلف از یک خانواده روی سطرهای یکسانی خطا می‌کنند و هیچ دستاوردی برای مدل انباشته ندارند. در مثال درس، از یک جنگل تصادفی (random forest)، یک ماشین بردار پشتیبان (support vector machine) و یک رده‌بند خطی استفاده شده است.
  • بهبود واقعی: مدل انباشته باید بهتر از بهترین مدل پایه عمل کند و این اختلاف باید بیشتر از پراکندگی نتایج در تکه‌ها باشد. درس، روش انباشته را برای رسیدن به 1 تا 2 درصد آخر دقت می‌داند؛ بنابراین بهبودی اندک یا پرنوسان خروجیِ مورد انتظار است و در گزارش کتبی باید توضیح دهید که آیا مدل‌های اضافی ارزش این هزینه را دارند یا نه.
  • انجام پیش‌پردازش‌ها درون تکه‌ها؛ هیچ تبدیلی نباید روی کل جدول برازش شده باشد.
  • مجموعه‌ی آزمون فقط یک‌بار ظاهر شود، آن هم در جدول مقایسه‌ی نهایی.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا استفاده از پیش‌بینی‌های احتمالی به‌عنوان ویژگی‌های فراداده بهتر از برچسب‌های قطعی است؟ پاسخ مورد انتظار: احتمالات حامل درجه‌ی اطمینان مدل هستند؛ بنابراین، فرایادگیرنده می‌تواند به مدل پایه‌ای که با اطمینان بالا پیش‌بینی کرده، وزن بیشتری نسبت به مدل نامطمئن بدهد.
  • سطح 4: مدل انباشته روی تکه‌های آموزشی همه‌ی مدل‌های پایه را شکست می‌دهد، اما روی مجموعه‌ی آزمون نه. اولین موردی که باید بررسی کنید چیست؟ پاسخ مورد انتظار: بررسی کنید آیا ویژگی فراداده‌ای از مدل پایه‌ای تولید شده که سطر مربوطه را قبلاً دیده بوده یا نه؛ پیش‌بینی‌های درون‌نمونه‌ای به فرایادگیرنده یاد می‌دهند به مدل‌های بیش‌برازش‌شده اعتماد کند.
  • سطح 4: چگونه نشان می‌دهید که مدل‌های پایه تنوع کافی برای کمک به یکدیگر را دارند؟ پاسخ مورد انتظار: خطاهای آن‌ها را روی تکه‌های اعتبارسنجی مقایسه کنید؛ مدل‌هایی که روی سطرهای یکسانی خطا می‌کنند، هیچ ارزش افزوده‌ای نخواهند داشت.
  • سطح 4: چه زمانی نباید مدل انباشته را راهی مرحله‌ی بهره‌برداری (ship) کنید؟ پاسخ مورد انتظار: وقتی بهبود حاصل‌شده نسبت به بهترین مدل پایه در محدوده‌ی پراکندگی تکه‌ها باشد، یا ارزش هزینه‌ی اجرای سه مدل را نداشته باشد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل‌های پایه را روی تمام سطرهای آموزشی برازش کنید، همان سطرها را پیش‌بینی کنید و فرایادگیرنده را با آن آموزش دهید.» این پیش‌بینی‌ها درون‌نمونه‌ای و بیش‌ازحد ایدئال هستند؛ فرایادگیرنده یاد می‌گیرد به مدلی اعتماد کند که بیشترین بیش‌برازش را دارد.
  • «از سه جنگل تصادفی با دانه‌های تصادفی (seeds) متفاوت استفاده کنید.» این مدل‌ها از یک خانواده‌اند و خطاهای مشابهی دارند؛ مدل انباشته به مدل‌هایی نیاز دارد که روی سطرهای متفاوتی به خطا بیفتند.
  • «وزن‌های فرایادگیرنده را دستی تنظیم کنید.» کل هدف روش انباشته این است که یاد بگیرد در چه نقطه‌ای به کدام مدل پایه اعتماد کند؛ تعیین وزن‌های ثابت در واقع یک آنسامبل رأی‌گیری است.

کجای دوره آموزش داده می‌شود

درس روش‌های آنسامبل (ensemble methods) مدل انباشته و قوانین نشت داده‌ی آن را شرح می‌دهد و درس ارزیابی مدل به ساخت تکه‌ها در پس‌زمینه‌ی ویژگی‌های فراداده می‌پردازد.