سؤال مصاحبه

دسته‌بندی که مقدار 0.5 را پیش‌بینی می‌کند و زیان پایینی دارد

A classifier that predicts 0.5 and has a low loss

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

یک مدل دسته‌بندی دودویی (binary classifier) که با میانگین مربعات خطا (Mean Squared Error یا MSE) روی مجموعه‌داده‌ای متوازن آموزش دیده، برای تمام ورودی‌ها خروجی ثابتی نزدیک به 0.5 تولید می‌کند. تابع زیان (loss) پایین و پایدار است و بهینه‌ساز هم مشکلی گزارش نمی‌کند. توضیح دهید چرا بهینه‌ساز از این وضعیت راضی است و باید به کدام تابع زیان سوییچ کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

وقتی دو کلاس به‌طور مساوی تقسیم شده باشند، خروجی ثابت 0.5 برای هر سطر خطای مربعیِ 0.25 تولید می‌کند؛ در این درس، این مقدار را حداقل MSE مدل بدون یادگیری هیچ الگویی می‌نامیم. علاوه بر این، نواحی تخت تابع سیگموئید (sigmoid) باعث می‌شوند گرادیان (gradient)ِ MSE در نزدیکی پاسخ‌های اشتباه با اطمینان بالا تقریباً صفر شود. آنتروپی متقاطع (Cross-Entropy) منفیِ لگاریتم احتمال پیش‌بینی‌شده برای کلاس واقعی را جریمه در نظر می‌گیرد: 0.693 برای 0.5، 0.01 برای 0.99 و 4.6 برای 0.01؛ در نتیجه پیش‌بینی‌ها را به سمت برچسب واقعی‌شان push می‌کند. باید به آنتروپی متقاطع دودویی (Binary Cross-Entropy) سوییچ کنید.

پاسخ کامل

چرا MSE از این وضعیت راضی است؟

تابع MSE میانگین مربع اختلاف پیش‌بینی و برچسب را محاسبه می‌کند. گرادیان این تابع نسبت به پیش‌بینی، با این اختلاف رابطه‌ی خطی دارد. از طرفی پیش‌بینی از یک تابع سیگموئید عبور می‌کند که مشتق آن p(1 - p) است و وقتی p نزدیک به 0 یا 1 باشد، این مشتق تقریباً صفر می‌شود. پاسخ اشتباه با اطمینان بالا (یعنی وقتی سطر واقعاً مثبت است اما p نزدیک به 0 باشد) دقیقاً در بخش تخت سیگموئید می‌افتد؛ بنابراین میزان به‌روزرسانی بسیار ناچیز خواهد بود. مدل می‌تواند با کشیدن همه‌چیز به سمت میانه، مقدار زیان را کمی کاهش دهد و سپس متوقف شود؛ چون گرادیان دیگر عملاً حرفی برای گفتن ندارد.

چرا آنتروپی متقاطع راضی نمی‌شود؟

آنتروپی متقاطع دودویی برابر است با منفی y log p منهای (1 - y) log (1 - p). مشتق این تابع نسبت به p برابر است با منفی y بر روی p به‌علاوه‌ی (1 - y) بر روی (1 - p). برای یک سطر مثبت با p نزدیک به 0، این مقدار تقریباً منفی 1 بر روی p خواهد بود که با کاهش p به‌صورت نامحدود رشد می‌کند. لگاریتم اثر سیگموئید را خنثی می‌کند: مشتق تابع زیان نسبت به لاجیت (Logit) برابر است با پیش‌بینی منهای مقدار هدف (target)؛ عبارتی که با خطا رابطه‌ی خطی دارد و هرگز تخت نمی‌شود. مقیاس ارائه‌شده در درس: پاسخ درست در 0.99 هزینه‌ای معادل 0.01 دارد، اما پاسخ غلط در 0.01 هزینه‌ای معادل 4.6 می‌تراشد؛ یعنی نسبتی در حدود 460 برابر.

نسخه‌ی چندکلاسه

آنتروپی متقاطع رده‌ای (Categorical cross-entropy) روی برچسب‌های وان‌هات (one-hot)، به منفی لگاریتمِ احتمالِ کلاسِ درست تبدیل می‌شود. یک حدس تصادفی بین 10 کلاس، احتمال 0.1 را به کلاس درست اختصاص می‌دهد و هزینه‌ای معادل 2.3 دارد؛ در حالی که احتمال 0.9 هزینه‌ی 0.105 خواهد داشت. گیر کردن تابع زیان در نزدیکی 2.3 در یک مسئله‌ی 10 کلاسه، نسخه‌ی چندکلاسه‌ی همان نشانه‌ی خروجی 0.5 است.

چه زمانی تغییر تابع زیان کمکی نمی‌کند؟

تغییر تابع زیان تنها زمانی مؤثر است که ورودی‌ها اطلاعاتی (signal) درباره‌ی برچسب داشته باشند. روی داده‌های متوازنی که هیچ ویژگی پیش‌بینی‌کننده‌ای ندارند، کمترین مقدار هر دو تابع زیان در خروجی ثابت 0.5 به دست می‌آید؛ بنابراین آنتروپی متقاطع هم در همین مقدار متوقف خواهد شد. پیش از اینکه تابع زیان را مقصر بدانید، بررسی کنید که آیا مدلی ساده می‌تواند بهتر از یک خروجی ثابت عمل کند یا خیر.

جایگاه واقعی MSE کجاست؟

مسائل رگرسیون با مقادیر هدف حقیقی؛ جایی که دقیقاً به گرادیان خطی متناسب با خطا نیاز دارید. برای متغیرهای هدفی که داده‌های پرت (outliers) شدیدی دارند، تابع زیان MAE یا هیوبر (Huber loss) جایگزین‌های پیشنهادی این درس هستند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: مشتق آنتروپی متقاطع دودویی را نسبت به p بنویسید. پاسخ مورد انتظار: منفی y بر روی p به‌علاوه‌ی (1 - y) بر روی (1 - p)، که برای سطری مثبت وقتی p نزدیک به 0 باشد، به‌طور نامحدود رشد می‌کند.
  • سطح 2: چرا پیش‌بینی 0.5 در آنتروپی متقاطع هزینه‌ای برابر با 0.693 دارد؟ پاسخ مورد انتظار: چون برابر با منفی لگاریتم طبیعی 0.5 است.
  • سطح 3: بعد از سیگموئید، اگر از آنتروپی متقاطع نسبت به لاجیت مشتق بگیرید چه به دست می‌آید؟ پاسخ مورد انتظار: پیش‌بینی منهای هدف؛ لگاریتم اثر مشتق سیگموئید را خنثی می‌کند.
  • سطح 3: چه زمانی MSE تابع زیان درستی است؟ پاسخ مورد انتظار: رگرسیون روی مقادیر هدف حقیقی؛ و برای داده‌های پرت شدید، MAE یا تابع زیان هیوبر.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نرخ یادگیری (Learning rate) را کاهش دهید تا MSE به‌درستی همگرا شود.» خروجی 0.5 همان نقطه‌ای است که MSE از آن راضی است؛ گام کوچک‌تر فقط رسیدن به این نقطه را کندتر می‌کند.
  • «MSE و آنتروپی متقاطع نقطه‌ی کمینه‌ی یکسانی دارند، پس فرقی نمی‌کند.» این دو فقط در یک برازشِ کامل (perfect fit) نتیجه‌ی یکسانی دارند. در فاصله‌ی دورتر از برازش کامل، جایی که گرادیان آنتروپی متقاطع رشد می‌کند، گرادیان MSE تخت و بی‌اثر می‌شود.
  • «به‌جای آن از دقت (accuracy) به‌عنوان تابع زیان استفاده کنید.» دقت گرادیان مفیدی ندارد؛ بهینه‌ساز به تابعی هموار نیاز دارد.

کجای دوره آموزش داده می‌شود

درس توابع زیان با این مسئله آغاز می‌شود و گرادیان هر دو تابع را به دست می‌آورد.