سؤال مصاحبه

اتصال اشتباه هدهای پرس‌وجو به گروه‌ها در GQA

GQA that pairs query heads with the wrong group

  • سطح ۳: ارشد
  • کدخوانی
  • ۱۰ دقیقه

یک پیاده‌سازی از GQA هدهای کلید (key) و مقدار (value) را با این خط کد تا رسیدن به تعداد هدهای پرس‌وجو تکرار می‌کند، جایی که ابعاد kv به‌صورت دسته (batch)، گروه‌ها، توکن‌ها و اندازه‌ی هد است:

kv_full = np.tile(kv, (1, n_heads // n_kv_heads, 1, 1))

ابعاد هم‌خوانی دارند، اما خروجی‌ها در تمام حالت‌هایی که بیش از یک گروه دارند، اشتباه از آب درمی‌آیند. توضیح دهید کدام هد پرس‌وجو به کدام گروه متصل می‌شود و شیوه‌ی درست این گسترش ابعاد را بنویسید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

کاشی‌کاری (Tiling) کل بلوک گروه‌ها را تکرار می‌کند؛ بنابراین هد پرس‌وجوی h، گروهِ «h به پیمانه‌ی تعداد گروه‌ها» را می‌خواند. قاعده‌ی استاندارد این است که هدهای پرس‌وجوی متوالی یک گروه مشترک داشته باشند: هد h گروهِ «تقسیم صحیح h بر ضریب تکرار» را می‌خواند. به‌جای کاشی‌کاری کل بلوک، باید هر گروه را در جای خودش در امتداد محور هدها تکرار کنید.

پاسخ کامل

دو چیدمان مختلف

با 4 هد پرس‌وجو و 2 گروه، ضریب تکرار برابر با 2 است. در گسترش درست، ترتیب گروه‌ها به‌صورت 0, 0, 1, 1 خواهد بود: دو هد پرس‌وجوی اول گروه صفر را به اشتراک می‌گذارند و دو هد بعدی گروه یک را. اما کاشی‌کاری خروجی 0, 1, 0, 1 را تولید می‌کند؛ در نتیجه هدهای یک و دو جفت‌هایشان را با هم عوض می‌کنند. در این حالت همچنان هر هد یک تنسور کلید و مقدار با ابعاد درست دارد و به همین دلیل هیچ خطایی در بررسی ابعاد رخ نمی‌دهد، اما نیمی از هدها با کلیدهای اشتباه اتنشن را اعمال می‌کنند.

راهکار اصلاح

def repeat_kv(kv, n_heads):
    B, G, T, d_head = kv.shape
    if n_heads % G:
        raise ValueError("query heads must be a multiple of kv heads")
    r = n_heads // G
    return np.repeat(kv, r, axis=1)

متد np.repeat در امتداد محور گروه‌ها، هر گروه را r بار کنار خودش کپی می‌کند که چیدمان مبتنی بر تقسیم صحیح را می‌سازد. بررسی بخش‌پذیری باید همین‌جا انجام شود، چون اگر ضریب تکرار عددی صحیح نباشد، ابعاد در سکوت بریده شده و بخشی از هدها حذف می‌شوند.

چرا این نگاشت یک قاعده‌ی استاندارد است و نه یک انتخاب دلخواه؟

وزن‌های تصویر (projection weights) در یک چک‌پوینتِ آموزش‌دیده، بر اساس یک نگاشت مشخص یاد گرفته شده‌اند. درس اتنشن چندسر (Multi-Head Attention) این مسیر تکاملی را توضیح می‌دهد: اتنشن چندسر با یک گروه به ازای هر هد، اتنشن چندپرس‌وجو (Multi-Query Attention) با یک گروه مشترک، و فرم گروه‌بندی‌شده بین این دو حالت که در آن r هد اول روی گروه صفر قرار می‌گیرند. مدلی که با ادغام هدهای متوالی از وزن‌های اتنشن چندسر تبدیل شده باشد، تنها زمانی کار می‌کند که اتنشن گروه‌ها را با همان ترتیب متوالی بخواند.

فلسفه‌ی وجودی این ساختار

تنها G هد کلید و مقدار به‌جای H هد در کش نگه‌داری می‌شود؛ بنابراین حافظه‌ی کش با ضریب H / G کوچک‌تر می‌شود، در حالی که کیفیت نزدیک به اتنشن چندسر استاندارد باقی می‌ماند. نمونه‌ی درس، یک مدل بزرگ و متن‌باز است که 64 هد پرس‌وجو را در برابر تنها 8 گروه مشترک قرار می‌دهد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: اگر فقط یک گروه داشته باشیم، این تابع چه چیزی را محاسبه می‌کند؟ پاسخ مورد انتظار: اتنشن چندپرس‌وجو؛ تمام هدهای پرس‌وجو یک هد کلید و مقدار مشترک دارند.
  • سطح 3: بعد از تکرار، ضریب مقیاس (scale factor) از کجا می‌آید؟ پاسخ مورد انتظار: جذر اندازه‌ی هد، درست مانند اتنشن چندسر؛ تقسیم بر جذر کل پهنای لایه، یک باگ رایج جداگانه است.
  • سطح 4: فریم‌ورک چطور بدون ساخت فیزیکی کپی‌های تکراری، این عملیات را اجرا می‌کند؟ پاسخ مورد انتظار: با همه‌پخشی (Broadcast) محور گروه‌ها داخل کرنل اتنشن، یا از طریق فراخوانی مستقیم اتنشن با هدهای کلید و مقدار کمتر، تا حافظه فقط گروه‌ها را نگه دارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «وقتی ابعاد هم‌خوانی دارند، نتیجه‌ی کاشی‌کاری و repeat یکسان است.» این دو روش تخصیص هدها به گروه‌ها را تغییر می‌دهند؛ و فقط یکی از آن‌ها با وزن‌های آموزش‌دیده مطابقت دارد.
  • «از گروه‌ها میانگین بگیرید و برای همه‌ی هدها از یک تنسور کلید استفاده کنید.» این کار مدل را به اتنشن چندپرس‌وجو با وزن‌هایی تبدیل می‌کند که برای آن آموزش ندیده است.
  • «این نگاشت اهمیتی ندارد چون اتنشن پایا نسبت به جایگشت است.» اتنشن نسبت به کلیدهای درون یک هد پایا است، نه نسبت به این‌که یک هد پرس‌وجو کدام هد کلید را می‌خواند.

کجای دوره آموزش داده می‌شود

در درس اتنشن چندسر نوع پرس‌وجوی گروه‌بندی‌شده و نحوه‌ی تکرار آن آمده است، و در تمرین پرس‌وجوی گروه‌بندی‌شده نگاشت هدها به گروه‌ها بررسی می‌شود.