سؤال مصاحبه

انتخاب آستانه وقتی 95 درصد داده‌ها منفی هستند

Pick a threshold when 95 percent of the data is negative

  • سطح ۲: میانی
  • بده‌بستان
  • ۸ دقیقه

یک طبقه‌بند دودویی روی مجموعه‌داده‌ای که 95 درصد ردیف‌هایش منفی هستند، صحت (accuracy) 95 درصدی گزارش می‌دهد. مدیر محصول راضی است؛ اما شما نه. چه اعدادی را درخواست می‌کنید و آستانه‌ی (threshold) تصمیم‌گیری را چطور برای این محصول انتخاب می‌کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مدلی هم که همیشه خروجی منفی بدهد دقیقاً به همین صحت می‌رسد؛ پس این عدد هیچ‌چیز را ثابت نمی‌کند. ماتریس درهم‌ریختگی (confusion matrix) و سپس دقت (precision)، بازخوانی (recall) و F1 را در آستانه‌ی فعلی بخواهید، به‌همراه AUC-ROC برای رتبه‌بندی مدل. آستانه را از مقدار پیش‌فرض 0.5 به‌سمت خطایی ببرید که هزینه‌ی بیشتری برای محصول دارد: اگر مثبت کاذب گران تمام می‌شود آستانه را بالا ببرید، و اگر از دست دادنِ یک مورد مثبت هزینه‌ی سنگینی دارد، آن را پایین بیاورید.

پاسخ کامل

چهار مقدار اصلی

پیش‌بینی مثبت پیش‌بینی منفی
در واقع مثبت مثبت واقعی (true positive) منفی کاذب (false negative)
در واقع منفی مثبت کاذب (false positive) منفی واقعی (true negative)

دقت یعنی نسبت مثبت‌های واقعی به کل پیش‌بینی‌های مثبت. بازخوانی یعنی نسبت مثبت‌های واقعی به کل موارد واقعاً مثبت. معیار F1 هم میانگین همساز (harmonic mean) این دو است. صحت، هر دو نوع خطا را با اندازه‌ی کلاس‌ها در هم می‌آمیزد؛ به همین دلیل روی داده‌های نامتوازن، فقط هم‌جهت با کلاس اکثریت حرکت می‌کند.

آستانه چه کار می‌کند؟

مدل یک احتمال خروجی می‌دهد. در مرحله‌ی تصمیم‌گیری، این مقدار با یک آستانه مقایسه می‌شود. آستانه‌ی بالاتر باعث می‌شود مدل کمتر پیش‌بینی مثبت کند: دقت بالا می‌رود و بازخوانی افت می‌کند. آستانه‌ی پایین‌تر دقیقاً برعکس عمل می‌کند. در درس رگرسیون لجستیک (logistic regression)، آستانه‌های 0.3، 0.4، 0.5، 0.6 و 0.7 را روی یک مدل می‌آزماییم و هر چهار معیار را در هر نقطه چاپ می‌کنیم؛ این همان جدولی است که باید به مدیر محصول نشان دهید.

آستانه را به کدام سمت ببریم؟

  • وقتی مثبت کاذب هزینه‌ی بیشتری دارد (مثل فیلتری که یک پیام واقعی را مسدود می‌کند)، اولویت را به دقت بدهید و آستانه را بالا ببرید.
  • وقتی منفی کاذب هزینه‌ی بیشتری دارد (مثل غربالگری بیماری که نباید هیچ بیماری را از قلم بیندازد)، اولویت را به بازخوانی بدهید و آستانه را پایین بیاورید.
  • وقتی هیچ‌کدام برتری مشخصی ندارد، F1 را گزارش کنید و دقت و بازخوانیِ پشت آن را هم نشان دهید.

نگاه فارغ از آستانه

نمودار AUC-ROC نرخ مثبت واقعی را در برابر نرخ مثبت کاذب در تمام آستانه‌ها رسم می‌کند. این معیار نشان می‌دهد مدل چقدر در رتبه‌بندی مثبت‌ها بالاتر از منفی‌ها موفق عمل می‌کند: 0.5 یعنی رتبه‌بندی تصادفی و 1.0 یعنی رتبه‌بندی بی‌نقص. از این معیار برای مقایسه‌ی مدل‌ها استفاده کنید، سپس آستانه را بر اساس هزینه‌های محصول برگزینید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: مدلی که همیشه منفی پیش‌بینی می‌کند چه دقت و بازخوانی‌ای می‌گیرد؟ پاسخ مورد انتظار: بازخوانی 0 می‌شود، چون هیچ مثبت واقعی را پیدا نمی‌کند؛ دقت هم تعریف‌نشده است یا 0 در نظر گرفته می‌شود، چون اصلاً پیش‌بینی مثبتی ندارد.
  • سطح 2: چرا F1 میانگین همساز است و نه میانگین حسابی؟ پاسخ مورد انتظار: میانگین همساز به‌سمت مقدار کوچک‌تر کشیده می‌شود؛ بنابراین مدل نمی‌تواند بازخوانیِ نزدیک به صفر را پشت یک دقت بالا پنهان کند.
  • سطح 3: چطور انتخاب آستانه را دقیق و دور از سوگیری نگه می‌دارید؟ پاسخ مورد انتظار: آن را روی مجموعه‌ی اعتبارسنجی (validation set) انتخاب کنید، نه مجموعه‌ی آزمون (test set)؛ سپس معیارهای آزمون را یک‌بار با همان آستانه‌ی ثابت گزارش دهید.
  • سطح 3: چه زمانی AUC-ROC خلاصه‌ی نامناسبی است؟ پاسخ مورد انتظار: وقتی کلاس مثبت نادر است و محصول به دقتِ پیش‌بینی‌های بالای جدول اهمیت می‌دهد؛ منحنی دقت-بازخوانی (precision-recall curve) این بخش از تصویر را نشان می‌دهد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «صحت 95 درصد است، پس مدل خوب عمل می‌کند.» مدلی هم که همیشه خروجی منفی بدهد به همین رقم می‌رسد. صحت، کلاس اقلیت را پنهان می‌کند.
  • «آستانه را روی 0.5 نگه دارید چون تابع سیگموئید از این نقطه عبور می‌کند.» مقدار پیش‌فرض صرفاً همان نقطه‌ای است که مدل در آن نامطمئن است. هزینه‌های محصول مرز جداسازی را تعیین می‌کنند.
  • «آستانه‌ای را انتخاب کنید که بهترین F1 آزمون را می‌دهد.» این کار مدل را با مجموعه‌ی آزمون هماهنگ (fit) می‌کند. آستانه را روی داده‌های اعتبارسنجی انتخاب کنید و امتیاز آزمون را فقط یک‌بار گزارش دهید.

کجای دوره آموزش داده می‌شود

در درس رگرسیون لجستیک این معیارها را می‌سازیم و آستانه را تغییر می‌دهیم؛ در درس ارزیابی مدل نیز AUC-ROC و مثال نامتوازن بودن داده‌ها اضافه می‌شوند.