سؤال مصاحبه

چرا سافت‌مکس ابتدا بیشینه‌ی هر سطر را کم می‌کند؟

Why softmax subtracts the row maximum first

  • سطح ۱: غربالگری
  • کدخوانی
  • ۶ دقیقه

داوطلبی تابع سافت‌مکس (Softmax) زیر را برای یک دسته (batch) از لاجیت‌ها (Logits) می‌نویسد؛ تست‌ها با ورودی‌های کوچک پاس می‌شوند، اما روی یک سطر واقعی از اتنشن (Attention) مقدار NaN برمی‌گردانند:

def softmax(x):
    e = np.exp(x)
    return e / e.sum(axis=-1, keepdims=True)

ایراد کار کجاست، چطور برطرفش می‌کنید و چرا این اصلاح تغییری در نتیجه ایجاد نمی‌کند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

لاجیتِ بزرگ باعث سرریز تابع نمایی به بی‌نهایت می‌شود و حاصل تقسیم بی‌نهایت بر بی‌نهایت هم NaN است. قبل از اعمال تابع نمایی، بیشینه‌ی هر سطر را از درایه‌های آن کم کنید. سافت‌مکسِ یک سطر با کم کردن مقداری ثابت از تمام درایه‌هایش تغییر نمی‌کند، چون این ضریب ثابت در صورت و مخرج ساده می‌شود.

پاسخ کامل

ریشه‌ی خرابی

امتیازهای اتنشن و لاجیت‌های مدل‌های زبانی ممکن است به مقادیری در حد چند ده یا چند صد برسند. تابع نمایی چنین اعدادی در متغیر ممیز شناور جا نمی‌شود؛ در نتیجه، درایه‌های سطر بی‌نهایت شده و حاصل تقسیم NaN می‌شود. ورودی‌های کوچک تست‌ها هرگز این باگ را نشان نمی‌دهند.

راهکار

def softmax(x):
    shifted = x - np.max(x, axis=-1, keepdims=True)
    e = np.exp(shifted)
    return e / e.sum(axis=-1, keepdims=True)

بعد از این شیفت، بزرگ‌ترین درایه‌ی هر سطر صفر می‌شود؛ بنابراین بزرگ‌ترین خروجی تابع نمایی برابر با 1 خواهد بود و جلوی هرگونه سرریزی گرفته می‌شود. درایه‌هایی هم که خیلی کوچک‌تر از بیشینه هستند، دچار زیرریز (Underflow) شده و به صفر میل می‌کنند که حد ریاضی درستی است.

چرا نتیجه تغییری نمی‌کند؟

سافت‌مکسِ یک سطر، تابع نمایی هر درایه را بر مجموع توابع نمایی تمام درایه‌های آن سطر تقسیم می‌کند. کم کردن یک مقدار ثابت، همه‌ی توابع نمایی را در یک ضریب یکسان ضرب می‌کند و این ضریب در نسبت ساده می‌شود. این شیفت باید به‌ازای هر سطر و روی آخرین محور اعمال شود. اگر یک بیشینه‌ی کلی برای تمام دسته بگیرید، درستی ریاضی به‌هم نمی‌خورد، اما وجود یک سطر با مقادیر بسیار بزرگ باعث می‌شود بقیه‌ی سطرها به زیرریز کشیده شوند (push شوند).

دو نکته‌ی باریک‌تر از مو

  • با keepdims=True بُعد را حفظ کنید تا تفریق با همه‌پخشی (Broadcast) در امتداد سطر انجام شود، نه در امتداد دسته.
  • اگر فراخواننده هنوز به لاجیت‌ها نیاز دارد، تفریق را درجا (in-place) انجام ندهید.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: همین شیفت دقیقاً کجای اتنشن دیده می‌شود؟ پاسخ مورد انتظار: داخل سافت‌مکس روی امتیازهای مقیاس‌شده (scaled scores)؛ به همین دلیل در درس اتنشن، از همان ابتدا نسخه‌ی شیفت‌یافته پیاده می‌شود.
  • سطح 2: چرا محاسبه‌ی بیشینه‌ی سراسری برای کل دسته یک باگ است؟ پاسخ مورد انتظار: سطری با یک لاجیت بسیار بزرگ، بقیه‌ی سطرها را به اعدادی بسیار منفی منتقل می‌کند؛ در نتیجه تمام درایه‌های آن سطرها صفر می‌شوند و خطای تقسیم بر صفر رخ می‌دهد.
  • سطح 2: وظیفه‌ی (Task) تمرینی گرادیانِ (gradient) میانگین آنتروپی متقاطع (Cross-Entropy) را هم می‌خواهد. این گرادیان چیست؟ پاسخ مورد انتظار: مقدار سافت‌مکس منهای بردار هدفِ وان‌هات (one-hot)، تقسیم بر اندازه‌ی دسته.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «لاجیت‌ها را در یک بازه‌ی امن برش (clip) بزنید.» برش زدن توزیع را دستکاری می‌کند، ولی شیفت تغییری در آن نمی‌دهد.
  • «از float64 استفاده کنید تا مشکل حل شود.» این کار فقط آستانه (Threshold) را جابه‌جا می‌کند؛ امتیازهای اتنشن در سطرهای طولانی باز هم سرریز خواهند کرد.
  • «به جای بیشینه، میانگین را کم کنید.» میانگین کران بالایی برای بزرگ‌ترین درایه تعیین نمی‌کند، بنابراین سطر همچنان ممکن است سرریز کند.

کجای دوره آموزش داده می‌شود

درس خوداتنشن (Self-Attention) در اولین قدم، سافت‌مکسِ شیفت‌یافته را می‌سازد و تمرین سافت‌مکس و آنتروپی متقاطع آن را با لاجیت‌های بزرگ اعتبارسنجی می‌کند.