سؤال مصاحبه

سه خط کدی که مشتق تابع زیان آنتروپی متقاطع را حساب می‌کنند

Three lines that differentiate the cross-entropy loss

  • سطح ۲: میانی
  • کدخوانی
  • ۸ دقیقه

ادعا شده که این تابع، مشتق تابع زیان (loss) آنتروپی متقاطع (Cross-Entropy) را به ازای هر لاجیت (logit) برمی‌گرداند.

def cce_gradient(logits, target_index):
    probs = softmax(logits)
    grads = list(probs)
    grads[target_index] -= 1.0
    return grads

توضیح دهید چرا سه خط کد برای این کار کافی است. سپس بردار گرادیان (gradient) را در دو حالت توصیف کنید: وقتی مدل مطمئن و درست است، و وقتی مدل مطمئن ولی اشتباه است.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

وقتی بعد از سافت‌مکس (Softmax) از آنتروپی متقاطع روی هدف وان‌هات (one-hot) استفاده کنید، مشتق تابع زیان نسبت به لاجیت i برابر است با احتمال پیش‌بینی‌شده برای کلاس i منهای مقدار هدف برای کلاس i. این تابع یک کپی از احتمال‌ها می‌گیرد و در جایگاه کلاس واقعی عدد 1 را کم می‌کند؛ یعنی دقیقاً همان بردار گرادیان. وقتی مدل مطمئن و درست باشد، تمام درایه‌ها نزدیک به صفر می‌شوند. وقتی مدل مطمئن ولی اشتباه باشد، درایه‌ی کلاس واقعی نزدیک به منفی 1 و درایه‌ی کلاسِ انتخاب‌شده نزدیک به مثبت 1 خواهد بود.

پاسخ کامل

چرا فرمول تا این حد ساده می‌شود؟

مقدار تابع زیان برابر است با منفیِ لگاریتم احتمالِ کلاس واقعی، و این احتمال خودش حاصل تقسیم تابع نماییِ لاجیتِ واقعی بر مجموع توابع نماییِ همه‌ی لاجیت‌ها است. اگر نسبت به لاجیت i مشتق بگیرید: لگاریتمِ مخرج کسر به ازای هر i جمله‌ی مثبت p_i را ایجاد می‌کند، و لگاریتمِ صورت کسر فقط برای کلاس واقعی جمله‌ی منفی 1 را باقی می‌گذارد. مشتق تابع سافت‌مکس به‌تنهایی یک ماتریس کامل است؛ اما وقتی با لگاریتم ترکیب می‌شود، ساده شده و به p منهای بردار هدفِ وان‌هات تبدیل می‌شود. همان‌طور که در این درس آمده، سافت‌مکس و آنتروپی متقاطع عمداً با هم جفت شده‌اند تا چنین فرمول ساده‌ای حاصل شود.

تحلیل بردار گرادیان

  • مطمئن و درست: مقدار p در کلاس واقعی نزدیک به 1 است، پس آن درایه نزدیک به 0 خواهد بود، و مقدار p در بقیه‌ی کلاس‌ها هم نزدیک به 0 است؛ یعنی تقریباً هیچ به‌روزرسانی‌ای انجام نمی‌شود.
  • مطمئن و اشتباه: مقدار p در کلاس واقعی نزدیک به 0 است، بنابراین آن درایه نزدیک به منفی 1 می‌شود؛ کلاسی که مدل انتخاب کرده، p نزدیک به 1 و درایه‌ای نزدیک به مثبت 1 دارد؛ یک به‌روزرسانی بزرگ که لاجیتِ کلاس انتخابی را پایین می‌آورد و لاجیتِ کلاس واقعی را بالا می‌برد.
  • مجموع درایه‌های این بردار همیشه صفر است؛ چون هم مجموع احتمال‌ها برابر با 1 است و هم مجموع مقادیر هدفِ وان‌هات. این نکته روش سریعی برای اعتبارسنجی پیاده‌سازی‌های دستی این تابع است.

این سه خط به چه نکاتی وابسته‌اند؟

فراخوانی سافت‌مکس حتماً باید به‌شکل پایدار عددی باشد؛ یعنی قبل از گرفتن توان نمایی، بزرگ‌ترین لاجیت از بقیه کم شود، وگرنه لاجیت‌های بزرگ مقدار inf می‌دهند. فریم‌ورک‌ها دقیقاً به همین دلیل لاگ-سافت‌مکس و منفیِ درست‌نمایی لگاریتمی (negative log-likelihood) را در قالب یک تابع زیانِ واحد ادغام می‌کنند که مستقیماً لاجیت‌ها را می‌گیرد. قاعده‌ی درس این است: همیشه از همین تابع زیان ادغام‌شده استفاده کنید، نه اینکه اول سافت‌مکس بگیرید و بعد به‌صورت جداگانه لگاریتم بزنید.

همراه با هموارسازی برچسب‌ها

کافی است بردار هدفِ وان‌هات را با بردار هموارشده جایگزین کنید: با آلفای 0.1 روی 10 کلاس، کلاس واقعی مقدار 0.91 و بقیه‌ی کلاس‌ها مقدار 0.01 می‌گیرند. گرادیان برابر است با p منهای همین بردار؛ بنابراین در مقدار 0.91 صفر می‌شود، نه در 1.0. همین ویژگی مانع از میل کردن لاجیت‌ها به سمت بی‌نهایت می‌شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: مجموع درایه‌های بردار گرادیان چقدر است؟ پاسخ مورد انتظار: صفر؛ چون مجموع احتمال‌ها برابر با 1 و مجموع مقادیر هدفِ وان‌هات هم برابر با 1 است.
  • سطح 2: چرا سافت‌مکس را به جای خطای مربعات (squared error) با آنتروپی متقاطع جفت می‌کنند؟ پاسخ مورد انتظار: لگاریتم، اثر تابع نمایی را خنثی می‌کند؛ در نتیجه گرادیان نسبت به مقدار خطا خطی می‌شود و هرگز تخت و بی‌شیب نمی‌شود.
  • سطح 3: با هموارسازی برچسب‌ها (Label Smoothing) با ضریب 0.1 روی 10 کلاس، گرادیان چطور تغییر می‌کند؟ پاسخ مورد انتظار: هدف برای کلاس واقعی 0.91 و برای بقیه‌ی کلاس‌ها 0.01 می‌شود؛ بنابراین گرادیان برابر با p منهای این بردار خواهد بود و در مقدار 0.91 صفر می‌شود، نه در 1.0.
  • سطح 3: فریم‌ورکی دو تابع زیان ارائه می‌دهد: یکی روی لاجیت‌ها و دیگری روی لگاریتم احتمال‌ها. کدام را صدا می‌زنید؟ پاسخ مورد انتظار: تابعی که روی لاجیت‌ها تعریف شده؛ چون لاگ-سافت‌مکس و منفی درست‌نمایی لگاریتمی را در یک گام با پایداری عددی ادغام می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «گرادیان در کلاس واقعی برابر با منفی 1 روی p است، درست مثل آنتروپی متقاطع دودویی (Binary Cross-Entropy).» این مشتق نسبت به احتمال است؛ از مسیر مشتق سافت‌مکس، مشتق نسبت به لاجیت برابر با p منهای هدف است.
  • «فقط کلاس واقعی گرادیان دارد، چون فقط همین کلاس در فرمول زیان ظاهر می‌شود.» همه‌ی لاجیت‌ها در مخرج سافت‌مکس حضور دارند؛ بنابراین هر لاجیت به اندازه‌ی p خودش گرادیان دریافت می‌کند.
  • «باید بر تعداد کلاس‌ها تقسیم شود.» گرادیان برای هر نمونه برابر با p منهای هدف است؛ میانگین‌گیری روی یک دسته (batch)، خروجی را بر اندازه‌ی دسته تقسیم می‌کند، نه بر تعداد کلاس‌ها.

کجای دوره آموزش داده می‌شود

در درس توابع زیان، این تابع نوشته شده و دلیل ساده شدن رابطه با این جفت‌سازی توضیح داده شده است.