سؤال مصاحبه

تابع زیان آنتروپی متقاطعی که روی دسته‌های واقعی مقدار inf برمی‌گرداند

A cross-entropy that returns inf on real batches

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

یک پیاده‌سازی از صفر از آنتروپی متقاطع (Cross-Entropy)، آزمون‌های واحد خود را با لاجیت‌های کوچک با موفقیت پشت سر می‌گذارد. اما روی دسته‌های واقعی، تابع زیان مقدار inf برمی‌گرداند. دسته را چاپ می‌کنید و می‌بینید یکی از بردارهای لاجیت [100, 101, 102] است. علت و راهکار رفع آن را گام‌به‌گام توضیح دهید و بگویید چرا این راهکار یک تقریب نیست.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

تابع نمایی عدد 100 تقریباً برابر با 2.69 ضرب در 10 به توان 43 است؛ یعنی بسیار فراتر از سقف float32 که حدود 3.4 ضرب در 10 به توان 38 است. در نتیجه تک‌تک جملات مخرج سافت‌مکس (Softmax) سرریز می‌کنند و حاصل کسر inf یا nan می‌شود. پیش از اعمال تابع نمایی، بزرگ‌ترین لاجیت را از تک‌تک لاجیت‌ها کم کنید. در محاسبات دقیق ریاضی، احتمالات خروجی هیچ تفاوتی نمی‌کنند و اکنون بزرگ‌ترین جمله exp(0) یعنی 1 است.

پاسخ کامل

مقدار inf از کجا می‌آید؟

سافت‌مکس مقدار نمایی (exp) یک لاجیت را بر مجموع نمایی تمام لاجیت‌ها تقسیم می‌کند. تابع نمایی عامل اصلی سرریز در کدهای یادگیری ماشین است: مقدار exp(88.7) به سقف float32 بسیار نزدیک است و مقدار exp(89.0) از همین حالا سرریز کرده و inf می‌شود. برای بردار مطرح‌شده در سؤال، تک‌تک جملات سرریز می‌کنند؛ در نتیجه مجموع برابر با inf، نسبت کسر برابر با nan و لگاریتم آن nan یا inf خواهد شد.

انتقال مقادیر (Shift)

فرض کنید c بزرگ‌ترین لاجیت باشد. صورت و مخرج را در exp(-c) ضرب کنید:

softmax(x_i) = exp(x_i - c) / sum_j exp(x_j - c)

عامل exp(c) ساده می‌شود؛ بنابراین نتیجه دقیقاً همان تابع اولیه است. پس از این جابه‌جایی، بزرگ‌ترین توان exp(0) = 1 خواهد بود؛ در نتیجه هیچ سرریزی رخ نمی‌دهد و چون حداقل یکی از جملات برابر با 1 است، مجموع جملات هم حداقل 1 خواهد بود؛ بنابراین لگاریتم این مجموع هرگز به منفی بی‌نهایت نمی‌رسد. برای بردار مثال مسئله، لاجیت‌های جابه‌جاشده برابر با 2-، 1- و 0 هستند؛ مقادیر نمایی آن‌ها 0.135، 0.368 و 1.000 می‌شود و احتمالات خروجی 0.090، 0.245 و 0.665 خواهند بود.

ابتدا لگاریتم احتمالات را محاسبه کنید

هیچ‌وقت اول احتمال را حساب نکنید تا بعد از آن لگاریتم بگیرید؛ بلکه لگاریتم احتمال را مستقیماً از روی لاجیت‌ها به‌دست آورید:

log_softmax(x_i) = (x_i - c) - log(sum_j exp(x_j - c))
loss = -log_softmax(x_true)

به این روش ترفند log-sum-exp می‌گویند. توابع زیانِ فریم‌ورک‌ها که لاجیت‌ها را ورودی می‌گیرند، دقیقاً به همین دلیل این دو مرحله را با هم ادغام می‌کنند. همین ترفند شرایطی را هم که همه‌ی لاجیت‌ها اعدادی بسیار منفی و بزرگ هستند نجات می‌دهد؛ بدون آن، تمام خروجی‌های تابع نمایی دچار زیرریز (Underflow) شده و به 0 تبدیل می‌شوند و لگاریتم آن‌ها منفی بی‌نهایت خواهد شد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا این جابه‌جایی مقادیر، احتمالات را تغییر نمی‌دهد؟ پاسخ مورد انتظار: عامل exp(c) در صورت و مخرج ظاهر شده و با هم ساده می‌شوند.
  • سطح 2: وقتی همه‌ی لاجیت‌ها اعدادی بسیار منفی باشند چه مشکلی پیش می‌آید؟ پاسخ مورد انتظار: همه‌ی جملات نمایی دچار زیرریز شده و 0 می‌شوند و لگاریتم مجموع آن‌ها منفی بی‌نهایت خواهد شد؛ همین جابه‌جایی مشکل را برطرف می‌کند چون بزرگ‌ترین جمله تبدیل به exp(0) = 1 می‌شود.
  • سطح 3: چرا تابع زیان را به‌جای لگاریتمِ سافت‌مکس، از log-softmax محاسبه می‌کنیم؟ پاسخ مورد انتظار: احتمالی که دچار زیرریز شده و به 0 رسیده باشد، لگاریتمش منفی بی‌نهایت می‌شود؛ اما log-softmax عبارت log-sum-exp را تفریق می‌کند و اساساً هیچ‌گاه خود احتمال را تشکیل نمی‌دهد.
  • سطح 3: تابع زیان فریم‌ورک‌ها لاجیت‌ها را ورودی می‌گیرد نه احتمالات را؛ چرا؟ پاسخ مورد انتظار: این توابع، محاسبات log-softmax و درست‌نمایی لگاریتمی منفی (negative log-likelihood) را در یک مرحله‌ی پایدار ادغام می‌کنند تا کاربر در مسیر ارسال ورودی‌ها دچار سرریز یا زیرریز نشود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «همه‌ی لاجیت‌ها را روی 80 مهار (clamp) می‌کنیم و کار تمام است.» مهار کردن لاجیت‌ها هر زمان که مقداری از این سقف عبور کند، احتمالات را دستکاری کرده و تغییر می‌دهد. درحالی‌که جابه‌جایی مقادیر، بدون تحمیل هیچ محدودیت عددی، دقیقاً همان احتمالات واقعی را تولید می‌کند.
  • «نوع داده را به float64 تغییر می‌دهیم.» یک توان با بازه‌ی گسترده‌تر فقط نقطه‌ی سرریز را به تعویق می‌اندازد. لاجیت‌ها در طول آموزش رشد می‌کنند و بالاخره از این سقف هم رد خواهند شد.
  • «داخل لگاریتم یک عدد بسیار کوچک مثل اپسیلون اضافه می‌کنیم.» مقدار inf از خود تابع نمایی می‌آید، یعنی پیش از اینکه اصلاً نوبت به لگاریتم برسد. اضافه کردن اپسیلون هیچ اثری روی مخرج بی‌نهایت ندارد.

کجای دوره آموزش داده می‌شود

درس پایداری عددی (Numerical stability) به اثبات ترفند log-sum-exp می‌پردازد، و درس احتمال پیاده‌سازی سافت‌مکس پایدار و log-softmax را آموزش می‌دهد.