سؤال مصاحبه

هزینه‌ی هشت هد در مقایسه با یک هد چیست؟

What eight heads cost that one head does not

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

یک لایه‌ی اتنشن (Attention) را از یک هد (Head) به هشت هد تغییر می‌دهید و پهنای مدل را ثابت نگه می‌دارید. چه بر سر تعداد پارامترها، حجم محاسبات و توانایی بازنمایی این لایه می‌آید؟ و چرا متخصصان حاضر نیستند پهنای هر هد را کمتر از حدود 32 در نظر بگیرند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

تعداد پارامترها هیچ تغییری نمی‌کند: هر چهار تصویر (Projection) همچنان ابعاد d_model در d_model دارند و هدها صرفاً تغییر شکل (Reshape) همان ماتریس‌ها به برش‌هایی با پهنای d_model / n_heads هستند. حجم محاسبات هم تقریباً ثابت می‌ماند، چون اتنشنِ هر هد در قالب یک ضرب ماتریسی دسته‌ای (Batched matmul) روی محور هدها اجرا می‌شود. هر هد می‌تواند روی رابطه‌ی خاص خودش تخصص پیدا کند و تصویر خروجی جایی است که اطلاعات هدها با هم ترکیب می‌شوند. قاعده‌ی تجربی این درس، پهنای هد را روی 32 یا بیشتر نگه می‌دارد؛ چرا که هدی باریک‌تر از این، ابعاد بسیار کمی را می‌بیند و بالاتر از 256 نیز مزیت داشتن متخصص‌های کوچک متعدد را از دست می‌دهید، در حالی که مقیاس‌بندی با sqrt به‌تنهایی واریانس امتیازها را در هر پهنایی ثابت نگه می‌دارد.

پاسخ کامل

تقسیم، توجه، ترکیب

def split_heads(X, n_heads):
    n, d = X.shape
    d_head = d // n_heads
    return X.reshape(n, n_heads, d_head).transpose(1, 0, 2)

def combine_heads(H):
    h, n, d_head = H.shape
    return H.transpose(1, 0, 2).reshape(n, h * d_head)

ماتریس X را روی Q، K و V تصویر کنید، هر کدام را به چند هد بشکنید، اتنشن ضرب داخلی مقیاس‌شده (Scaled Dot-Product Attention) را برای هر هد اجرا کنید، هدها را دوباره کنار هم بگذارید و در ماتریس خروجی W_o ضرب کنید. پردازنده‌ی گرافیکی (GPU) امتیازهای مربوط به هر هد را به‌صورت یک ضرب ماتریسی دسته‌ای با ابعاد (heads, N, d_head) در (heads, d_head, N) می‌بیند. افزودن هدها، درایه‌های دسته (Batch) را زیاد می‌کند، نه وزن‌ها را.

چرا تصویر خروجی اهمیت دارد؟

هدها در حین اجرای گام اتنشن هرگز با هم ارتباط برقرار نمی‌کنند؛ آن‌ها روی زیرفضاهای متفاوتی کار می‌کنند. ماتریس W_o با ابعاد (d_model, d_model) جایی است که خروجی‌های آن‌ها با یکدیگر ترکیب می‌شوند. بدون این ماتریس، هدها فقط می‌توانستند از طریق لایه‌های بعدی با هم ادغام شوند و دست‌وبال بلوک اتنشن بیهوده بسته می‌شد.

هدها چه چیزی یاد می‌گیرند؟

پژوهش‌های مبتنی بر پروبینگ (Probing) بین سال‌های 2019 تا 2024 نقش‌های متمایزی را برای هدها شناسایی کرده‌اند: هدهایی که به توکن قبلی توجه می‌کنند، هدهای کپی‌کننده، هدهایی که موجودیت‌های نام‌دار را رهگیری می‌کنند، و سرهای القا (Induction heads)—جفت‌هایی که وقوع قبلیِ توکن فعلی را پیدا می‌کنند و توکنِ بعد از آن را کپی می‌نمایند؛ همان سازوکاری که زیربنای یادگیری درون‌متنی (In-context learning) است. اگر فقط یک هد داشتیم، مجبور بود تمام این نقش‌ها را درون یک سافت‌مکس (Softmax) درهم‌آمیزد و مات کند.

انتخاب پهنای هد

اندازه‌ی مدل d_model n_heads d_head
کوچک (حدود 125M) 768 12 64
پایه (حدود 350M) 1024 16 64
بزرگ (حدود 1B) 2048 16 128
پیشرو (حدود 70B) 8192 64 128

پهنای هد تقریباً همیشه روی 64 یا 128 می‌نشیند. این عدد معیاری است از این‌که یک هد چه مقدار فضا را می‌تواند ببیند.

پیاده‌سازی در محیط عملیاتی

یک لایه‌ی خطی، بُعد D را به 3D نگاشت می‌کند و سپس به Q، K و V بریده می‌شود. سه لایه‌ی مجزا هم دقیقاً همین را محاسبه می‌کنند، زیرا سه ضرب ماتریسی با وزن‌های (D, D) معادل یک ضرب ماتریسی با وزن روی‌هم‌چیده‌شده‌ی (3D, D) است؛ اما لایه‌ی ادغام‌شده به‌جای سه بار، فقط یک بار کرنل (Kernel) را فراخوانی می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: اگر محاسبات ریاضی یکسان است، چرا تصویرسازی ادغام‌شده‌ی QKV سریع‌تر عمل می‌کند؟ پاسخ مورد انتظار: فراخوانی تنها یک کرنل و اجرای یک ضرب ماتریسی به‌جای سه بار؛ وزن روی‌هم‌چیده‌شده دقیقاً همان نتیجه را می‌دهد.
  • سطح 3: اگر تصویر خروجی را حذف کنیم چه مشکلی پیش می‌آید؟ پاسخ مورد انتظار: هدها فقط از طریق لایه‌های بعدی می‌توانند با هم ترکیب شوند؛ بنابراین با وجود سازگاری ابعاد ماتریس‌ها، بلوک قدرت بیانگری خود را از دست می‌دهد.
  • سطح 3: سر القا چیست؟ پاسخ مورد انتظار: جفتی از هدها که وقوع قبلی توکن فعلی را پیدا کرده و توکنِ بعد از آن را کپی می‌کنند؛ مداری که در پسِ یادگیری درون‌متنی قرار دارد.
  • سطح 4: اتنشن پرس‌وجوی گروه‌بندی‌شده (Grouped-Query Attention) هدهای پرس‌وجو را نگه می‌دارد و چیز دیگری را کوچک می‌کند. چه چیزی را و چرا؟ پاسخ مورد انتظار: هدهای کلید (Key) و مقدار (Value)، زیرا فقط آن‌ها در کَش زمان رمزگشایی (Decode) باقی می‌مانند؛ کاهش آن‌ها مصرف حافظه‌ی کَش را کم می‌کند و هم‌زمان هدهای پرس‌وجو کیفیت را حفظ می‌کنند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «هدهای بیشتر یعنی پارامترهای بیشتر.» ماتریس‌های تصویر اندازه‌ی خود را حفظ می‌کنند؛ هدها صرفاً تغییر شکلِ همان ماتریس‌ها هستند.
  • «هدها در حین اتنشن، با یکدیگر تبادل اطلاعات می‌کنند.» آن‌ها در زیرفضاهای جداگانه‌ای عمل می‌کنند؛ ترکیب اطلاعات فقط در تصویر خروجی و لایه‌های بعدی رخ می‌دهد.
  • «تا جایی که پهنای مدل اجازه می‌دهد از بیشترین تعداد هد ممکن استفاده کنید.» هدهایی که باریک‌تر از قاعده‌ی تجربیِ 32 در این درس باشند، ابعاد بسیار کمی را می‌بینند؛ پهناهای رایج 64 و 128 هستند.

کجای دوره آموزش داده می‌شود

درس اتنشن چندسر نحوه‌ی تقسیم‌بندی و جدول پهنا را می‌سازد، و پروژه‌ی پایانی اتنشن تصویرسازی‌ها را ادغام می‌کند و ماتریس خروجی را توضیح می‌دهد.