سؤال مصاحبه

رگرسیون لجستیکی که وزن‌هایش بی‌وقفه رشد می‌کنند

A logistic regression whose weights never stop growing

  • سطح ۳: ارشد
  • مفهومی
  • ۱۲ دقیقه

یک مدل رگرسیون لجستیک (Logistic Regression) را با گرادیان کاهشی (gradient descent) روی مجموعه‌داده‌ی کوچکی برازش می‌دهید که در آن یک خط، دو کلاس را بدون هیچ خطایی از هم جدا می‌کند. تابع زیان (loss) در هر دور (epoch) کمتر می‌شود، وزن‌ها در هر دور بزرگ‌تر می‌شوند و فرآیند آموزش هیچ‌وقت به ثبات نمی‌رسد. همکارتان پیشنهاد می‌کند به‌جای آن از تابع زیان خطای مربعات (squared error loss) استفاده کنید، چون کفِ مشخصی دارد. چه اتفاقی در حال رخ دادن است و چاره چیست؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

روی داده‌های تفکیک‌پذیر، تابع زیان لگاریتمی (log loss) هیچ مینیمم متناهی ندارد: بزرگ‌تر کردن وزن‌ها، احتمال هر نمونه را به برچسبش نزدیک‌تر می‌کند و مقدار زیان را به صفر نزدیک‌تر می‌سازد؛ در نتیجه الگوریتم کاهشی تا ابد پیش می‌رود. استفاده از خطای مربعات روی خروجی سیگموئید (sigmoid) راه‌حل بدتری است؛ چون رویه‌ی این تابع هزینه محدب نیست و بخش‌های مسطحی دارد که گرادیان در آن‌ها صفر می‌شود. تابع زیان لگاریتمی را نگه دارید و یک جریمه‌ی L2 به آن اضافه کنید تا به یک مینیمم یکتا و متناهی برسید.

پاسخ کامل

چرا تابع زیان لگاریتمی گزینه‌ی درستی است

این مدل یک امتیاز خطی به‌صورت z = w x + b است که از تابع سیگموئید عبور می‌کند، و آنتروپی متقاطع دودویی (Binary Cross-Entropy) منفیِ میانگینِ y log p به‌علاوه‌ی (1 - y) log (1 - p) است. برای این مدل، تابع زیان محدب است؛ بنابراین هر مینیمم محلی همان مینیمم سراسری است و گرادیان کاهشی نمی‌تواند در یک دره‌ی نامناسب گیر بیفتد. فرم گرادیان نیز درست مثل رگرسیون خطی (Linear Regression) ساختاری مرتب و تمیز دارد: میانگینِ حاصل‌ضرب (p - y) در x، که در آن p به‌جای امتیاز خام، خروجی سیگموئید است.

داده‌های تفکیک‌پذیر چه بلایی سر مدل می‌آورند

وقتی یک خط همه‌ی داده‌ها را درست دسته‌بندی می‌کند، ضرب کردن w و b در یک عدد ثابت بزرگ‌تر از 1، خط را سر جایش نگه می‌دارد و همه‌ی احتمال‌ها را به سمت 0 یا 1 سوق می‌دهد. هر گامی از این جنس، تابع زیان را کمتر می‌کند؛ بنابراین هیچ مقدار متناهی برای w نقطه‌ی کمینه‌ساز نخواهد بود. حین اجرا می‌بینید که تابع زیان کم می‌شود، وزن‌ها رشد می‌کنند، احتمال‌ها اشباع می‌شوند و مهار مقادیر سیگموئید (sigmoid clamp) در کد اهمیت پیدا می‌کند؛ درحالی‌که خود مرز تصمیم‌گیری (Decision Boundary) دیگر تغییری نمی‌کند.

چرا خطای مربعات کمکی نمی‌کند

خطای مربعات روی خروجی سیگموئید محدب نیست. این تابع مینیمم‌های محلی دارد و در نقاطی که سیگموئید اشباع می‌شود، گرادیان آن نزدیک به صفر است؛ در نتیجه برای یک پیش‌بینی غلط اما مطمئن، تقریباً هیچ اصلاحی اعمال نمی‌شود. دلیلی که در درس برای پرهیز از آن در مسائل دسته‌بندی مطرح شد، دقیقاً همین شکلِ تابع هزینه است.

راه‌حل

یک جریمه‌ی L2 (یعنی لاندا برابرِ مجموع مجذور وزن‌ها) به تابع زیان اضافه کنید. گرادیان آن، یعنی دو لاندا در w، در هر قدم همه‌ی وزن‌ها را به سمت صفر عقب می‌کشد. این کشش با رشد وزن‌ها قوی‌تر می‌شود و با اشباع شدن احتمال‌ها، کششِ ناشی از زیان داده‌ها ضعیف‌تر می‌شود؛ بنابراین هر دو نیرو در یک نقطه‌ی متناهی به تعادل می‌رسند و مینیمم حاصل یکتا خواهد بود. به همین دلیل، پیاده‌سازی این مدل در کتابخانه‌ی درس، به‌طور پیش‌فرض منظم‌سازی (Regularization) را اعمال می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا آنتروپی متقاطع برای این مدل محدب است اما خطای مربعات محدب نیست؟ پاسخ مورد انتظار: لگاریتمِ سیگموئید با امتیاز خطی ترکیب می‌شود و یک تابع محدب می‌سازد؛ اما به توان دو رساندن فاصله‌ی بین سیگموئید و برچسب، بخش‌های مسطح و چندین مینیمم محلی به وجود می‌آورد.
  • سطح 3: هم‌زمان با رشد وزن‌ها، چه بر سر مرز تصمیم‌گیری می‌آید؟ پاسخ مورد انتظار: خطِ w x + b = 0 تقریباً تکان نمی‌خورد؛ فقط شیب تابع سیگموئید در عرض آن تندتر می‌شود و پیش‌بینی‌ها بیش‌ازحد مطمئن (overconfident) می‌شوند.
  • سطح 4: جریمه‌ی L2 چطور هر گام گرادیان را تغییر می‌دهد؟ پاسخ مورد انتظار: ترمی متناسب با w به گرادیان اضافه می‌کند؛ بنابراین در هر گام وزن‌ها نیز جمع‌تر می‌شوند و این انقباض، کشش به سمت وزن‌های بزرگ‌تر را در یک نقطه‌ی متناهی متعادل می‌سازد.
  • سطح 4: اگر داده‌ها تقریباً تفکیک‌پذیر باشند چه؟ آیا مشکل برطرف می‌شود؟ پاسخ مورد انتظار: مینیمم متناهی وجود خواهد داشت، اما وزن‌ها بزرگ و احتمال‌ها بیش‌ازحد مطمئن خواهند بود؛ جریمه‌ی منظم‌سازی همچنان به کالیبراسیون (Calibration) کمک می‌کند و تابع زیان اعتبارسنجی (validation loss) این موضوع را نشان می‌دهد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «کاهش تابع زیان یعنی مدل هنوز در حال بهبود است، بگذارید آموزش ادامه پیدا کند.» خیر، بهبود مرز متوقف شده است؛ تنها چیزی که بیشتر می‌شود اطمینان کاذب مدل است، تا جایی که وزن‌ها سرریز کنند (overflow) یا همه‌ی احتمال‌ها اشباع شوند.
  • «برای داشتن یک مینیمم معین، سراغ خطای مربعات بروید.» این رویه با خروجی سیگموئید محدب نیست؛ بنابراین گرادیان کاهشی ممکن است در یک مینیمم محلی نامناسب گیر بیفتد و گرادیان در نقاط اشباع سیگموئید محو شود.
  • «توقف زودهنگام (Early Stopping) را اضافه کنید تا مسئله حل شود.» متوقف کردن اجرا فقط زمان را مهار می‌کند، اما وزن‌ها را در هر نقطه‌ای که شمارشگر به پایان برسد رها می‌سازد؛ درحالی‌که جریمه‌ی منظم‌سازی پاسخی مشخص و مستقل از تعداد دورهای آموزش به شما می‌دهد.

کجای دوره آموزش داده می‌شود

درس رگرسیون لجستیک توضیح می‌دهد که چرا تابع زیان لگاریتمی محدب است و چرا داده‌های تفکیک‌پذیر هیچ کمینه‌ساز متناهی ندارند؛ درس رگرسیون خطی نیز جریمه‌ی L2 را معرفی می‌کند.