سؤال مصاحبه

چرا امتیازهای اتنشن پیش از سافت‌مکس تقسیم می‌شوند؟

Why the attention scores are divided before the softmax

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

در فرمول اتنشن (Attention)، امتیازهای خام پیش از ورود به سافت‌مکس (Softmax) بر عددی تقسیم می‌شوند. مهندس تازه‌کاری این تقسیم را صرفاً یک قرارداد می‌داند و برای صرفه‌جویی در یک ضرب، آن را حذف می‌کند. در فرآیند آموزش چه اتفاقی می‌افتد و چطور این اثر را ظرف 10 دقیقه نشان می‌دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ضرب داخلی (Dot product) دو بردار با افزایش طولشان بزرگ‌تر می‌شود؛ بنابراین بدون این تقسیم، امتیازها متناسب با بُعد کلید رشد می‌کنند. امتیازهای بزرگ، سافت‌مکس را به ناحیه‌ای push می‌کنند که در آن تقریباً تمام وزن به یک کلید می‌رسد و گرادیان (gradient) تمام کلیدهای دیگر نزدیک به صفر می‌شود؛ در نتیجه فرآیند یادگیری متوقف خواهد شد. تقسیم بر sqrt(d_k) واریانس امتیازها را برای هر اندازه‌ی هد (Head) تقریباً ثابت نگه می‌دارد. این موضوع را با Q و K تصادفی در بُعد d_k = 64 نشان دهید: دامنه‌ی امتیازها و وزن‌های سافت‌مکس را در هر دو حالت، با تقسیم و بدون تقسیم، چاپ کنید.

پاسخ کامل

اندازه‌ی یک امتیاز

هر امتیاز، حاصل‌جمعِ d_k ضرب است. وقتی مؤلفه‌های Q و K واریانس واحد داشته باشند، واریانس حاصل‌جمع برابر با d_k می‌شود؛ بنابراین اندازه‌ی یک امتیاز معمولی تقریباً در حدود sqrt(d_k) خواهد بود. در d_k = 64، امتیازهای خام در بازه‌ی چند ده قرار می‌گیرند. اعمال سافت‌مکس روی امتیازهایی در بازه‌ی چند ده، تقریباً تمام وزن توزیع را به بزرگ‌ترین درایه می‌دهد.

چرا مدل دست از یادگیری می‌کشد؟

وقتی یکی از وزن‌ها نزدیک به 1 و بقیه نزدیک به صفر باشند، گرادیان سافت‌مکس نسبت به امتیاز بسیار کوچک می‌شود. در این حالت، لایه‌ی اتنشن رفتاری شبیه به یک جدول جست‌وجوی ثابت پیدا می‌کند. مدل دچار فلات زیان (loss plateau) می‌شود و هیچ خطایی هم که متوقفش کند گزارش نمی‌دهد. در درس، به این حالت می‌گوییم وضعیتی که در آن «تقریباً تمام وزن به یک درایه اختصاص می‌یابد و سهم بقیه به صفر میل می‌کند».

راهکار و بازه‌ی مجاز

پیش از اعمال سافت‌مکس، امتیازها را بر sqrt(d_k) تقسیم کنید:

weights = softmax(Q @ K.T / sqrt(d_k))
output  = weights @ V

در اتنشن چندسر (Multi-Head Attention)، بُعد زیر رادیکال برابر با عرضِ هد یعنی d_head = d_model / n_heads است، نه عرض کل مدل. مدل‌ها در محیط عملیاتی (Production) مقدار d_head را معمولاً روی 64 یا 128 تنظیم می‌کنند. این مقیاس‌بندی، واریانس امتیازها را در هر عرضی ثابت نگه می‌دارد. طبق قاعده‌ی سرانگشتی درس، اندازه‌ی هدها باید 32 یا بیشتر باشد (چون هد باریک‌تر ابعاد بسیار کمی را می‌بیند) و کمتر از 256 بماند (زیرا هدهای عریض‌تر، مزیتِ داشتن متخصصان پرشمار و کوچک را از بین می‌برند).

نمایش ده‌دقیقه‌ای

  1. ماتریس‌های Q و K را از توزیع نرمال استاندارد با d_k = 64 نمونه‌گیری کنید.
  2. مقدار (Q @ K.T).max() را در هر دو حالت، با تقسیم و بدون آن چاپ کنید.
  3. بزرگ‌ترین وزن سافت‌مکس را در یک سطر برای هر دو حالت نمایش دهید؛ بدون تقسیم، این مقدار نزدیک به 1 خواهد بود.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: ابعاد ماتریس امتیازها برای یک توالی از n توکن (Token) چیست؟ پاسخ مورد انتظار: (n, n)، یک سطر به ازای هر کوئری و یک ستون به ازای هر کلید.
  • سطح 2: چرا نبود این تقسیم به جای خطا دادن، باعث خرابی خاموش می‌شود؟ پاسخ مورد انتظار: سافت‌مکس دچار اشباع (Saturation) می‌شود، گرادیان‌ها فوق‌العاده ناچیز می‌شوند و بدون رخ دادن هیچ خطایی، تابع زیان (loss) وارد حالت یکنواخت (Plateau) می‌شود.
  • سطح 2: آیا این تقسیم توان بازنمایی لایه را تغییر می‌دهد؟ پاسخ مورد انتظار: خیر، لایه‌های تصویر (Projection) می‌توانند یک ضریب ثابت را جذب کنند؛ این کار تنها مقیاس امتیازها را در مقداردهی اولیه تنظیم می‌کند، یعنی همان جایی که آموزش آغاز می‌شود یا به بن‌بست می‌خورد.
  • سطح 3: در مدلی با عرض 512 و هشت هد به عرض 64، کدام عدد زیر رادیکال می‌رود؟ پاسخ مورد انتظار: 64، یعنی عرض هد؛ زیرا هر هد سافت‌مکس اختصاصی خود را روی امتیازهای خودش محاسبه می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «این تقسیم باعث می‌شود جمع وزن‌های اتنشن برابر با یک بماند.» سافت‌مکس هر امتیازی را طوری نرمال می‌کند که جمع مقادیر یک شود؛ این تقسیم پراکندگی امتیازها را کنترل می‌کند، نه مجموع آن‌ها را.
  • «افزایش نرخ یادگیری (Learning rate) گرادیان ازدست‌رفته را جبران می‌کند.» وقتی سافت‌مکس به مرحله‌ی اشباع می‌رسد، گرادیان تقریباً هیچ اطلاعاتی درباره‌ی سایر کلیدها به همراه ندارد؛ برداشتن گام‌های بزرگ‌تر اطلاعات تولید نمی‌کند.
  • «به جای امتیازها، مقادیر value را مقیاس‌بندی کنید.» بردار‌های value بعد از مشخص شدن وزن‌ها با هم جمع می‌شوند، بنابراین مقیاس آن‌ها اصلاً با سافت‌مکس برخوردی ندارد.

کجای دوره آموزش داده می‌شود

مفهوم اشباع در درس خوداتنشن (Self-Attention)، اندازه‌ی هدها در درس اتنشن چندسر و پیاده‌سازی این مقیاس‌بندی درون بلوک دسته‌ای (batch) در پروژه‌ی پایانی بلوک اتنشن آموزش داده شده است.