سؤال مصاحبه

جنگلی که شناسه‌ی کاربر را مهم‌ترین ویژگی می‌داند

A forest that ranks a user id as its top feature

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

در رتبه‌بندی اهمیت ویژگی‌های یک جنگل تصادفی (Random forest)، ستون شناسه‌ی کاربر (User ID) نزدیک به صدر جدول قرار گرفته است. این ستون مقداری صحیح دارد و تقریباً در هر سطر متفاوت است. تیم قصد دارد بر اساس آن یک قانون محصولی بسازد. به آن‌ها چه می‌گویید و چطور این موضوع را بررسی می‌کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

معیار پیش‌فرض برای اهمیت ویژگی، میانگین کاهش ناخالصی (Mean decrease in impurity) است؛ یعنی مجموع کاهش ناخالصی در تمام انشعاب‌هایی که از آن ویژگی استفاده کرده‌اند. ستونی که تقریباً در هر سطر مقدار متفاوتی دارد، تعداد فوق‌العاده زیادی آستانه (Threshold) کاندید ایجاد می‌کند. در نتیجه، درخت‌ها بر حسب شانس روی آن انشعاب می‌زنند تا گروه‌های خالص اما کوچکی بسازند؛ کاهش ناخالصی این انشعاب‌ها روی داده‌های آموزشی روی هم انباشته می‌شود. در عوض، از بررسی اهمیت جایگشتی (Permutation importance) استفاده کنید: مقادیر این ستون را روی داده‌های نگه‌داشته‌شده (Held-out data) بُر بزنید، افت دقت را بسنجید، و انتظار داشته باشید که این افت برای یک شناسه نزدیک به صفر باشد.

پاسخ کامل

عدد پیش‌فرض چه چیزی را اندازه می‌گیرد؟

importance(feature) = sum over nodes that split on it of
                      (samples at node / total samples) * impurity decrease

این عدد محصول جانبی فرایند آموزش است، بنابراین محاسبه‌اش هزینه‌ای ندارد؛ اما دقیقاً به دو شکلی که در درس مطرح شده سوگیری دارد: نسبت به ویژگی‌هایی با مقادیر متمایز زیاد، و نسبت به ویژگی‌هایی با نقاط انشعاب پرتعداد. ستون شناسه حالت افراطی هر دو مورد است. هر درخت می‌تواند آستانه‌ای پیدا کند که چند سطر با برچسب یکسان را جدا کند، این سود در نمونه‌ی بوت‌استرپ (Bootstrap) واقعی به نظر می‌رسد، و هیچ‌چیز در فرمول نمی‌پرسد که آیا این الگو به داده‌های دیگر هم منتقل می‌شود یا نه.

بررسی‌کننده‌ای که این پرسش را مطرح می‌کند

روش جایگشتی، مقادیر یک ویژگی را روی داده‌هایی که مدل با آن‌ها آموزش ندیده بُر می‌زند و میزان افت امتیاز را می‌سنجد. ویژگیِ موردنیاز مدل افت بزرگی ایجاد می‌کند. اما ویژگی بی‌اثری که فقط نویز داده‌های آموزشی را جذب کرده بود، هیچ افتی رقم نمی‌زند. این کار به ازای هر ویژگی و در هر تکرار، یک بار ارزیابی هزینه دارد که از حالت پیش‌فرض کندتر است، اما دقیقاً به همان سؤالی پاسخ می‌دهد که دغدغه‌ی تیم است. در درس دقیقاً همین سناریو به عنوان تمرین آمده است: ویژگی نویزی با تعداد بالای مقادیر یکتا (High cardinality) که روش ناخالصی رتبه‌ی بالایی به آن می‌دهد، اما روش جایگشتی این کار را نمی‌کند.

به تیم چه بگوییم؟

  1. رتبه‌ای که دیده‌اند به معنای توان پیش‌بینی شناسه نیست.
  2. بررسی جایگشتی را روی مجموعه‌ی اعتبارسنجی با چند بار بُر زدن اجرا کنید و میانگین بگیرید.
  3. مدل را بدون شناسه دوباره آموزش دهید و امتیازهای اعتبارسنجی را مقایسه کنید. اگر امتیاز حفظ شد، شناسه هیچ سیگنالی نداشته است.
  4. اگر در بررسی جایگشتی هم شناسه امتیاز بالایی گرفت، آن را به چشم نشت داده (Leakage) ببینید: شناسه‌هایی که در بستر زمان یا منبع داده با متغیر هدف همبستگی دارند، در محیط عملیاتی (Production) دوام نمی‌آورند و نباید هیچ قانون محصولی را بر پایه‌ی آن‌ها بنا کرد.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا وجود مقادیر متمایز فراوان، یافتن یک انشعاب به‌ظاهر خوب را برای درخت آسان می‌کند؟ پاسخ مورد انتظار: آستانه‌های بیشتر یعنی شانس بیشتر برای اینکه یکی از آن‌ها چند سطر را بر حسب شانس جدا کند؛ سود حاصل روی نمونه‌ی آموزشی واقعی است، اما روی داده‌های جدید وجود ندارد.
  • سطح 3: اهمیت جایگشتی شناسه نزدیک به صفر است و امتیاز اعتبارسنجی مشکلی ندارد. این موضوع چه چیزی را نشان می‌دهد؟ پاسخ مورد انتظار: شناسه هیچ سیگنالی که مدل به آن وابسته باشد نداشته است؛ فقط نویز داده‌های آموزشی را جذب کرده و کار اصلی بر دوش دیگر ویژگی‌هاست.
  • سطح 4: اهمیت جایگشتی شناسه هم بالاست. حالا چه کنیم؟ پاسخ مورد انتظار: باید به نشت داده شک کرد؛ شناسه متغیر هدف را در بستر زمان یا منبع داده دنبال می‌کند و این ارتباط در محیط عملیاتی از بین می‌رود.
  • سطح 4: چگونه اهمیت جایگشتی را محاسبه کنیم تا خوش‌بینانه نباشد؟ پاسخ مورد انتظار: روی داده‌های نگه‌داشته‌شده، فقط همان یک ستون را بُر بزنید، چند بار تکرار کنید و میانگین بگیرید، و بقیه‌ی ستون‌ها را ثابت نگه دارید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «چون جنگل شناسه را مفید تشخیص داده، پس واقعاً مفید است.» مجموع ناخالصی، انشعاب‌هایی را می‌شمارد که روی نویز داده‌های آموزشی برازش شده‌اند؛ ستونی با مقادیر متمایز زیاد چنین انشعاب‌هایی را جمع می‌کند.
  • «برای احتیاط، همه‌ی ستون‌های عدد صحیح را حذف کنید.» مقادیر صحیح مثل شمارش‌ها حامل سیگنال واقعی هستند. همان یک ستون را با جایگشت بسنجید.
  • «این دو روش سنجش اهمیت همیشه با هم هم‌نظرند.» تمرین این درس حالتی را نشان می‌دهد که در آن روش ناخالصی رتبه‌ی بالایی به یک ویژگی نویز می‌دهد، اما روش جایگشتی این کار را نمی‌کند.

کجای دوره آموزش داده می‌شود

درس درخت‌های تصمیم هر دو معیار اهمیت را تعریف می‌کند و سوگیری‌های روش ناخالصی را برمی‌شمارد.