سؤال مصاحبه

هدهای اتنشنی که هرگز با هم ترکیب نمی‌شوند

Attention heads that never mix

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۰ دقیقه

یک گذر رو به جلو (forward pass) در اتنشن چندسر (multi-head attention)، آزمون‌های split و merge را با موفقیت پشت سر می‌گذارد، اما در آزمون سرتاسری (end-to-end) در مقایسه با مرجع شکست می‌خورد؛ همچنین اگر یک چک‌پوینت (checkpoint) آموزش‌دیده روی آن بارگذاری شود، خروجی‌های بی‌معنی تولید می‌کند:

def multi_head_attention(x, w_q, w_k, w_v, w_o, n_heads):
    Q, K, V = split_heads(x @ w_q, n_heads), split_heads(x @ w_k, n_heads), split_heads(x @ w_v, n_heads)
    d_head = Q.shape[-1]
    scores = Q @ K.swapaxes(-1, -2) / np.sqrt(d_head)
    weights = softmax(scores, axis=-2)
    return merge_heads(weights @ V), weights

هر دو اشکال را پیدا کنید و توضیح دهید هرکدام چه تأثیری روی مدل می‌گذارند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سافت‌مکس (softmax) به جای محور کلیدها (keys)، روی محور کوئری‌ها (queries) نرمال‌سازی می‌کند؛ بنابراین مجموع هر ستون برابر با 1 می‌شود و وزن‌های یک کوئری دیگر توزیعی روی کلیدها تشکیل نمی‌دهند. علاوه بر این، تصویر خروجی (output projection) جا افتاده است: هدهای mergeشده بدون ضرب در w_o برگردانده می‌شوند، در حالی که این ماتریس تنها جایی است که هدها با یکدیگر تبادل اطلاعات می‌کنند. روی آخرین محور نرمال‌سازی کنید و حاصل merge را در ماتریس خروجی ضرب نمایید.

پاسخ کامل

اشکال اول: محور سافت‌مکس

ابعاد امتیازها به‌صورت دسته (batch)، هدها، کوئری‌ها و کلیدها است. هر سطر کوئری باید به یک توزیع روی کلیدها تبدیل شود؛ بنابراین سافت‌مکس باید روی آخرین محور اعمال شود. اگر آن را روی محور یکی مانده به آخر اعمال کنید، در عوض مجموع هر ستون کلید در میان تمام کوئری‌ها برابر با 1 می‌شود و دیگر مجموع وزنی مقادیر (values) معنای «این توکن به چه چیزی اتنشن دارد» را نخواهد داد.

اشکال دوم: تصویر خروجی

هر هد، اتنشن را در زیرفضای اختصاصی خودش محاسبه می‌کند و هدها در طول فرایند محاسبه‌ی خودِ اتنشن، هیچ تعاملی با یکدیگر ندارند. الحاق (concatenation) و سپس ضرب در ماتریس خروجی دقیقاً همان جایی است که هدها با هم ترکیب می‌شوند. بدون این ماتریس، خروجی مدل صرفاً دسته‌ای روی‌هم‌چیده‌شده از نتایج مستقل هر هد است، لایه‌ی بعدی تابعی متفاوت از آنچه وزن‌ها برایش آموزش دیده‌اند می‌بیند و چک‌پوینت بارگذاری‌شده فقط نویز تولید می‌کند.

تابع اصلاح‌شده

def multi_head_attention(x, w_q, w_k, w_v, w_o, n_heads):
    Q = split_heads(x @ w_q, n_heads)
    K = split_heads(x @ w_k, n_heads)
    V = split_heads(x @ w_v, n_heads)
    d_head = Q.shape[-1]
    scores = Q @ K.swapaxes(-1, -2) / np.sqrt(d_head)
    weights = softmax(scores, axis=-1)
    return merge_heads(weights @ V) @ w_o, weights

چرا آزمون‌های reshape قبول شدند؟

هر دو اشکال پس از split و قبل از merge، یا بعد از merge رخ داده‌اند. توابع کمکی reshape درست کار می‌کنند و ابعاد خروجی نهایی نیز با خروجی مرجع همخوانی دارد؛ چون w_o یک ماتریس مربعی است. فقط مقایسه‌ی مقادیر با یک مرجع یا تست با یک چک‌پوینت واقعی می‌تواند این ایرادها را آشکار کند.

چرا مقیاس‌دهی کماکان درست است؟

در تقسیم از اندازه‌ی هر هد استفاده شده است، نه از کل عرض مدل (full width). این بخش از کد ارسالی درست است؛ تقسیم بر جذر کل عرض مدل، سومین خطای رایجی است که در این تمرین هم سنجیده می‌شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا ابعاد تصویر خروجی به‌صورت «عرض کل در عرض کل» است؟ پاسخ مورد انتظار: این ماتریس، الحاقِ تمام هدها را که دارای عرض کل است، دوباره به عرض مدل نگاشت می‌کند و تنها ماتریسی است که از همه‌ی هدها می‌خواند.
  • سطح 3: چه تستی اضافه می‌کنید تا نبود تصویر خروجی را زود شناسایی کند؟ پاسخ مورد انتظار: تستی که در آن w_o ماتریس همانی (identity) نباشد، تا خروجی تصویرشده با خروجی تصویرنشده تفاوت داشته باشد.
  • سطح 4: در یک پژوهش پروبینگ (probing) مشخص می‌شود که یک هد به توکن قبلی اتنشن دارد. خروجی این هد در کجای این کد به جریان پسماند (residual stream) می‌رسد؟ پاسخ مورد انتظار: فقط از طریق بلوک ستون‌های مربوط به خودش در الحاق و سطرهایی از w_o که آن ستون‌ها را می‌خوانند؛ در واقع w_o تعیین می‌کند که لایه‌ی بعدی چه مقدار از آن هد را ببیند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «محور سافت‌مکس فرقی نمی‌کند، چون امتیازها متقارن هستند.» امتیازها حاصل ضرب کوئری در کلید هستند و ماتریس متقارن نیست؛ این دو حالت نرمال‌سازی برای هر ورودی واقعی با هم تفاوت دارند.
  • «برای صرفه‌جویی در پارامترها، تصویر خروجی را حذف کنید؛ عملیات merge خودش هدها را بازترکیب می‌کند.» عملیات merge فقط الحاق می‌کند؛ بدون تصویر خروجی، هدها هرگز با هم برهم‌کنشی نخواهند داشت.
  • «وقتی یک چک‌پوینت تصویر خروجی ندارد، از ماتریس همانی استفاده کنید.» چک‌پوینتِ آموزش‌دیده همیشه این ماتریس را دارد؛ نبود یک تنسور (tensor) یعنی نگاشت نام‌ها (name map) غلط است.

کجای دوره آموزش داده می‌شود

در درس اتنشن چندسر توضیح داده شده است که هدها فقط از طریق تصویر خروجی با هم ترکیب می‌شوند، و تمرین split و merge نیز محور سافت‌مکس و تصویر خروجی را بررسی می‌کند.