سؤال مصاحبه

تصمیم‌گیری درباره‌ی واقعی بودن یک برتری جزئی در یک تقسیم‌بندی داده

Decide whether a small win on one split is real

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

دو نسخه از یک مدل طبقه‌بندی‌کننده (classifier) فقط در یک ابرپارامتر با هم تفاوت دارند. روی یک مجموعه‌ی داده‌های ارزیابی کنارگذاشته‌شده (held-out split)، نسخه‌ی B با اختلاف کمی نسخه‌ی A را شکست می‌دهد و تیم می‌خواهد B را روانه‌ی محیط عملیاتی کند. فرآیند ارزیابی‌ای طراحی کنید که مشخص کند آیا B واقعاً بهتر است یا نه، و توضیح دهید چه مواردی را گزارش خواهید کرد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک تقسیم‌بندی داده فقط یک عدد نویزدار به دست می‌دهد؛ بنابراین این اختلاف ممکن است حاصل شانس باشد. اعتبارسنجی متقاطع (k-fold cross-validation) را با فولدهای کاملاً یکسان برای هر دو نسخه اجرا کنید، اختلاف عملکرد را در هر فولد نگه دارید و با استفاده از آماره‌ی آزمون تی زوجی (paired t-statistic) بسنجید که آیا میانگین این اختلاف‌ها فاصله‌ی معناداری با صفر دارد یا خیر. میانگین و پراکندگی امتیازهای فولد برای هر نسخه، میانگین اختلاف و مقدار آماره را گزارش دهید، و داده‌های آزمون نهایی (test set) را در این مقایسه دخالت ندهید.

پاسخ کامل

چرا یک تقسیم‌بندی داده کافی نیست؟

یک تقسیم‌بندی منفرد به این بستگی دارد که کدام ردیف‌ها تصادفاً در کدام بخش قرار گرفته‌اند. تغییر دانه‌ی تصادفی (seed) اختلاف متفاوتی تولید می‌کند و یک عددِ تنها به‌هیچ‌وجه نشان نمی‌دهد دامنه‌ی این نوسان چقدر است. فولدها این پراکندگی را آشکار می‌کنند.

طراحی فرآیند ارزیابی

  1. پیش از هر کاری، داده‌های آزمون نهایی را کنار بگذارید. این داده‌ها فقط یک‌بار و برای گزارش نهایی استفاده می‌شوند.
  2. روی داده‌های آموزش K فولد بسازید. در این درس K برابر با 5 در نظر گرفته شده و مقادیر 5 یا 10 انتخاب‌های استاندارد معرفی شده‌اند. اگر کلاس‌ها نامتوازن هستند، از K-fold لایه‌بندی‌شده (stratified K-fold) استفاده کنید تا نسبت کلاس‌ها در هر فولد حفظ شود.
  3. هر دو نسخه را روی دقیقاً همان فولدها آموزش دهید و ارزیابی کنید تا امتیازهای هر دو نسخه در هر فولد تشکیل یک جفت (pair) بدهند. جفت‌کردن، نوسانات فولد به فولد را از تفاضل حذف می‌کند.
  4. اختلاف هر فولد، میانگین این اختلاف‌ها، انحراف معیار آن‌ها و آماره‌ی آزمون تی زوجی را محاسبه کنید: میانگین اختلاف تقسیم بر حاصل انحراف معیار بر ریشه‌ی دوم K. آستانه‌ی معناداری آماری در سطح p کمتر از 0.05 با 4 درجه‌ی آزادی برای 5 فولد در این درس، آماره‌ی تی با قدر مطلق بزرگ‌تر از 2.78 است.
  5. اگر ابرپارامتر بر اساس همین فولدها انتخاب شده، کل فرآیند را در یک اعتبارسنجی متقاطع تودرتو (nested cross-validation) قرار دهید: حلقه‌ی درونی مقدار بهینه را انتخاب می‌کند و حلقه‌ی بیرونی کارایی آن را می‌سنجد.
  6. ارزیابی را با چند دانه‌ی تصادفی مختلف برای فولدها تکرار کنید و مطمئن شوید نتیجه تغییر نمی‌کند.

مواردی که باید گزارش شوند

  • میانگین امتیاز فولد برای هر نسخه به همراه میزان پراکندگی آن.
  • میانگین اختلاف، آماره‌ی آزمون و تعداد فولدها.
  • اندازه‌ی اثر (effect size) از نظر شاخص‌های محصولی، تا تیم بتواند ارزش واقعی آن را در مقایسه با هزینه‌ی اعمال تغییر بسنجد.
  • یک عدد نهایی روی داده‌های آزمون برای نسخه‌ای که قرار است مستقر شود، که فقط یک‌بار در پایان کار اندازه‌گیری شده باشد.

هشدارهایی که باید صریح مطرح شوند

فولدها ردیف‌های آموزشی مشترک دارند؛ به همین دلیل آزمون تی نوعی تقریب است، نه یک نمونه‌گیری مستقل و بی‌نقص. ممکن است یک تفاوت از نظر آماری معنادار باشد، اما در عمل آن‌قدر کوچک باشد که هیچ اهمیتی نداشته باشد. همچنین، اگر مقایسه را روی داده‌های آزمون نهایی انجام دهید، آن را به داده‌های اعتبارسنجی (validation set) تبدیل کرده‌اید؛ خطایی که این فرآیند دقیقاً برای جلوگیری از آن طراحی شده است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا هر دو نسخه باید دقیقاً از فولدهای یکسانی استفاده کنند؟ پاسخ مورد انتظار: جفت‌کردن، نوسانات بین فولدها را از تفاضل حذف می‌کند و آزمون آماری فقط تفاوت خودِ دو نسخه را می‌سنجد.
  • سطح 4: در ارزیابی با پنج فولد، قدر مطلق t بالاتر از 2.78 چه معنایی دارد؟ پاسخ مورد انتظار: با 4 درجه‌ی آزادی، بعید است میانگین اختلاف در سطح 5 درصد برابر با صفر باشد؛ بنابراین اختلاف احتمالاً واقعی است.
  • سطح 4: چطور مانع از تنظیم مدل روی همان فولدهایی می‌شوید که عملکرد را با آن‌ها گزارش می‌کنید؟ پاسخ مورد انتظار: با اعتبارسنجی متقاطع تودرتو؛ حلقه‌ی درونی ابرپارامتر را انتخاب می‌کند و حلقه‌ی بیرونی آن را می‌سنجد، در نتیجه فولدهای گزارش‌شده هرگز این انتخاب را ندیده‌اند.
  • سطح 4: اختلاف عملکرد از نظر آماری معنادار اما بسیار ناچیز است. آیا نسخه‌ی B را روانه‌ی محیط عملیاتی می‌کنید؟ پاسخ مورد انتظار: اندازه‌ی اثر را در برابر هزینه‌ی اعمال تغییر می‌سنجیم؛ معناداری آماری فقط نشان می‌دهد علامت این اختلاف (مثبت بودن آن) قابل‌اطمینان است، نه اینکه لزوماً اهمیت دارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «یک داده‌های ارزیابی کنارگذاشته‌شده اگر به اندازه‌ی کافی بزرگ باشد کفایت می‌کند.» یک تقسیم‌بندی منفرد باز هم وابسته به این است که چه ردیف‌هایی کجا افتاده‌اند؛ فقط فولدها می‌توانند پراکندگی را نشان دهند.
  • «میانگین امتیازهای دو مدل را مقایسه کنید و مدل با امتیاز بالاتر را انتخاب کنید.» بدون جفت‌کردن ارزیابی در هر فولد و در نظر گرفتن پراکندگی، اختلافی که از نویز فولدها هم کوچک‌تر است ممکن است شبیه به یک برتری به نظر برسد.
  • «از داده‌های آزمون نهایی برای رفع تساوی استفاده کنید.» داده‌های آزمون نهایی یک‌بارمصرف هستند؛ انتخابی که بر اساس آن‌ها انجام شود، آن‌ها را به داده‌های اعتبارسنجی تبدیل می‌کند.

کجای دوره آموزش داده می‌شود

در درس ارزیابی مدل، روش‌های k-fold و K-fold لایه‌بندی‌شده از صفر پیاده‌سازی می‌شوند و در انتها مقایسه‌ی زوجی دو مدل بررسی می‌شود.