سؤال مصاحبه

گیر کردن تابع زیان روی عدد 2.3 در مسئله‌ی 10 کلاسه

A loss that sits at 2.3 on a ten class problem

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

یک مدل طبقه‌بندی 10 کلاسه برای ایپاک‌های (epoch) متوالی آموزش می‌بیند و تابع زیان آنتروپی متقاطع (Cross-Entropy loss) در تمام طول مسیر، هم روی داده‌های آموزش و هم روی داده‌های اعتبارسنجی، روی حدود 2.3 ثابت می‌ماند. برنامه کرش نمی‌کند و هیچ خطایی هم رخ نمی‌دهد. این عدد چه پیامی دارد و مراحل عیب‌یابی را به چه ترتیبی پیش می‌برید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

منفی لگاریتم طبیعیِ یک‌دهم تقریباً برابر با 2.3 است؛ یعنی مقدار تابع زیانِ مدلی که به تمام کلاس‌ها احتمالی برابر اختصاص می‌دهد. طبق جدول درس عیب‌یابی، گیر کردن تابع زیان روی این عدد به معنای پیش‌بینی یکنواخت و نبود هیچ سیگنال قابل استفاده‌ای در داده‌هاست. البته میانگین به‌تنهایی دلیل بروز مشکل را مشخص نمی‌کند. ابتدا آزمون بیش‌برازش روی یک دسته (overfit one batch) را اجرا کنید: شکست در این آزمون نشان‌دهنده‌ی ایراد در تابع زیان (Loss function)، گام رو به عقب (Backward Pass)، اتصال بهینه‌ساز (optimizer) یا ناهماهنگی برچسب‌هاست؛ اما در صورت قبولی، باید سراغ مسیر داده بروید و تطابق ورودی‌ها با برچسب‌ها را بررسی کنید. تنها پس از این مراحل است که باید نرخ یادگیری (Learning rate)، گرادیان‌ها (gradients) و معماری مدل را بررسی کرد.

پاسخ کامل

تحلیل این عدد

تابع زیان آنتروپی متقاطع برای اهداف one-hot، برابر است با منفی لگاریتمِ احتمال کلاسِ واقعی. یک حدس تصادفی بین 10 کلاس به هر کلاس احتمال 0.1 می‌دهد که تابع زیان آن برابر با منفی لگاریتم 0.1، یعنی حدود 2.3 خواهد بود. جدول مرجع در درس عیب‌یابی چنین قاعده‌ای دارد: گیر کردن تابع زیان روی عددِ منفی لگاریتمِ «1 تقسیم بر تعداد کلاس‌ها»، یعنی مدل یک توزیع یکنواخت پیش‌بینی می‌کند و اولین کار، بررسی پایپ‌لاین (Pipeline) داده و اطمینان از تطابق برچسب‌ها با ورودی‌هاست. وقتی هیچ سیگنال قابل یادگیری به مدل نرسد، لاجیت‌ها (Logits) با هم برابر می‌شوند؛ چرا که در یک مجموعه‌داده با کلاس‌های متعادل، همین حالت مقدار امیدریاضی تابع زیان را کمینه می‌کند.

مراحل عیب‌یابی به ترتیب

  1. بیش‌برازش روی یک دسته: بین 8 تا 32 نمونه بردارید و مدل را چند صد گام روی آن‌ها آموزش دهید. تابع زیان باید به نزدیکی صفر برسد و دقت آموزش 100 درصد شود. اگر چنین نشد، مدل یا حلقه‌ی آموزش ایراد دارد: تابع زیان اشتباه، گام رو به عقبِ معیوب، متصل نبودن بهینه‌ساز به پارامترها، یا هماهنگ نبودن ورودی‌ها با برچسب‌ها. آستانه‌ی (Threshold) قبولی در این آزمون، رسیدن مقدار نهایی تابع زیان به زیر 0.1 است.
  2. بررسی داده‌ها: 5 نمونه‌ی تصادفی را همراه با برچسب‌هایشان چاپ کنید. مطمئن شوید که بُر زدن (shuffle) اتصال درست هر ورودی به برچسب خودش را برهم نمی‌زند، ورودی‌ها با میانگین 0 و انحراف معیار 1 نرمال شده‌اند، و نوع داده‌ی برچسب‌ها همان عدد صحیحی است که تابع زیان انتظار دارد.
  3. نرخ یادگیری: سه مقدار با اختلاف ضریب 10 را امتحان کنید؛ مثلاً 1e-2 و 1e-3 و 1e-4. نرخ یادگیریِ خیلی پایین هم نمودار را تخت نشان می‌دهد، اما مقدار آن برای ایپاک‌های متوالی دقیقاً روی عدد توزیع یکنواخت ثابت نمی‌ماند.
  4. گرادیان‌ها: صفر بودن تمام گرادیان‌ها نشانه‌ی نورون مرده‌ی ReLU (Dead ReLU) یا جدا شدن از نشست (Detach) در گراف است.
  5. معماری: تنها پس از موارد بالا سراغ معماری بروید: مدلی که بیش از حد کوچک باشد دچار کم‌برازشی (underfitting) می‌شود، اما باز هم روی داده‌های آموزش خودش نتیجه‌ای بهتر از حدس یکنواخت می‌گیرد.

تفاوت این وضعیت با شروع کند آموزش

اگر مقدار تابع زیان از حوالی 2.3 شروع شود و به آرامی کاهش یابد، با مسئله‌ی نرخ یادگیری یا ظرفیت مدل طرف هستیم. اما اگر تابع زیان برای چندین ایپاک روی داده‌های آموزش روی عدد 2.3 قفل بماند، یعنی اصلاً هیچ سیگنالی به مدل نمی‌رسد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا خروجی مدل توزیع یکنواخت می‌شود و یک پاسخ اشتباهِ دیگر نمی‌دهد؟ پاسخ مورد انتظار: در نبود هیچ سیگنال قابل استفاده، برابری لاجیت‌ها باعث کمینه شدن امیدریاضی آنتروپی متقاطع روی یک مجموعه‌داده‌ی متعادل می‌شود، و هزینه‌ی این حالت برابر با لگاریتم تعداد کلاس‌هاست.
  • سطح 3: آزمون بیش‌برازش روی یک دسته در اینجا چه چیزی را مشخص می‌کند؟ پاسخ مورد انتظار: نشان می‌دهد که آیا مدل و حلقه‌ی آموزش اصلاً توانایی یادگیری دارند یا خیر؛ در یک ساختار سالم، یک دسته‌ی کوچک ظرف چند صد گام به زیان نزدیک به صفر می‌رسد و شکست در آن یعنی ایرادی در تابع زیان، گام رو به عقب، اتصال بهینه‌ساز یا ناهماهنگی برچسب‌ها وجود دارد.
  • سطح 4: اگر مدل در آزمون یک دسته قبول شود اما در آموزش کامل همچنان روی 2.3 بماند، قدم بعدی چیست؟ پاسخ مورد انتظار: بررسی کل مسیر داده، مانند بُر زدنی که جفت‌شدن ورودی‌ها و برچسب‌ها را به هم می‌ریزد یا ورودی‌های نرمال‌نشده؛ چرا که مدل ثابت کرده با دریافت یک دسته‌ی درست و پایدار می‌تواند یاد بگیرد.
  • سطح 4: تفاوت این نشانه با مدلی که از 2.3 شروع می‌کند و به آرامی پایین می‌آید چیست؟ پاسخ مورد انتظار: کاهش آرام مربوط به نرخ یادگیری یا ظرفیت مدل است؛ اما تخت ماندن روی 2.3 برای چندین ایپاک نشان می‌دهد هیچ سیگنالی به مدل نمی‌رسد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «بگذارید بیشتر آموزش ببیند، شروعش کند است.» ثابت ماندن تابع زیان روی مقدار توزیع یکنواخت برای ایپاک‌های پیاپی، نشانه‌ی نبود سیگنال است نه کند بودن آموزش.
  • «مدل را بزرگ‌تر کنید.» وقتی مدل حتی روی داده‌های آموزش خودش هم نمی‌تواند حدس یکنواخت را شکست دهد، مشکل از ظرفیت مدل نیست.
  • «نرخ یادگیری را کم کنید.» نرخ یادگیری سرعت تغییرات تابع زیان را تعیین می‌کند، در حالی که اینجا اصلاً تغییری رخ نمی‌دهد؛ اول داده‌ها را بررسی کنید.

کجای دوره آموزش داده می‌شود

در درس عیب‌یابی جدول مرجع و آزمون بیش‌برازش روی یک دسته ارائه شده است و در درس توابع زیان نحوه‌ی محاسبه‌ی زیان توزیع یکنواخت آمده است.