سؤال مصاحبه

انتخاب نوع اتنشن برای دیکودر 70B

Pick the attention variant for a 70B decoder

  • سطح ۲: میانی
  • بده‌بستان
  • ۱۰ دقیقه

می‌خواهید نوع اتنشن (Attention) را برای یک دیکودر جدید در رده‌ی 70B انتخاب کنید: اتنشن چندسر (Multi-Head Attention) کامل، اتنشن چندپرسشی (Multi-Query Attention)، اتنشن پرسش گروهی (Grouped-Query Attention) یا MLA همراه با متغیر پنهانِ فشرده‌اش (compressed latent). هر کدام از این روش‌ها چه تغییری در حافظه‌ی اشغال‌شده‌ی ناشی از رمزگشایی (decode) به ازای هر توکن ایجاد می‌کنند، و در ازای هر کدام چه چیزی را از دست می‌دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر چهار روش تعداد هد (Head) پرسش (query) یکسانی دارند؛ تفاوت آن‌ها در تعداد هدهای کلید (key) و مقدار (value) است و در طول رمزگشایی فقط کلیدها و مقدارها ذخیره می‌شوند. روش چندپرسشی یک هد کلید-مقدار را بین همه‌ی هدهای پرسش به اشتراک می‌گذارد؛ این یعنی کمترین حجم کش و مقداری افت کیفیت. روش پرسش گروهی از یک گروه هد کلید-مقدار استفاده می‌کند، حجم کش را به نسبت n_heads / n_kv_heads کاهش می‌دهد و تقریباً تمام کیفیت را حفظ می‌کند؛ به همین دلیل پیش‌فرض امن (safe default) به حساب می‌آید. اتنشن پنهان، کلیدها و مقدارها را درون یک بردار با رتبه‌ی (rank) پایین فشرده می‌کند و هنگام محاسبه‌ی اتنشن آن را از فشردگی درمی‌آورد؛ بنابراین حافظه‌ی بیشتری آزاد می‌کند، اما بار محاسباتی (FLOPs) بیشتری می‌طلبد.

پاسخ کامل

تبارشناسی روش‌ها

نوع روش هدهای پرسش هدهای کلید-مقدار هزینه‌ی کش
چندسر N N کامل
چندپرسشی N 1 کمترین، همراه با افت کیفیت
پرسش گروهی N G، برای مثال N / 8 کاهش به اندازه‌ی N / G
چندسر پنهان N فشرده‌شده در یک متغیر پنهان با رتبه‌ی پایین باز هم کمتر، همراه با محاسبات بیشتر

کش چه چیزی را نگه می‌دارد؟

به ازای هر لایه و هر توکن، حجم داده‌های ذخیره‌شده برحسب بایت برابر با 2 * n_kv_heads * d_head * dtype_size است؛ ضریب 2 برای در نظر گرفتن کلید و مقدار است. به پرسشِ مربوط به توکن‌های گذشته دیگر نیازی نخواهد بود، بنابراین ذخیره نمی‌شود. یک مدل رده‌ی 70B با 80 لایه، اندازه‌ی هد 128 و 8 هد کلید-مقدار با داده‌های 16 بیتی، به ازای هر توکن در هر لایه 4096 بایت مصرف می‌کند؛ یعنی حدود 10 GiB برای بافت (context) 32K و 40 GiB در بافت 128K. همین مدل با 64 هد کلید-مقدار، 8 برابر حافظه‌ی بیشتری می‌گیرد که در بافت 32K به حدود 80 GiB می‌رسد. این مقدار یعنی تمام حافظه‌ی یک شتاب‌دهنده‌ی بزرگ صرفاً برای پردازش یک درخواست پر می‌شود.

بررسی کیفیت

روش پرسش گروهی تمام هدهای پرسش را نگه می‌دارد؛ بنابراین هر هد همچنان سوال خودش را می‌پرسد و فقط پاسخ‌های قابل‌جستجو بین آن‌ها به اشتراک گذاشته می‌شود. مقاله‌های منتشرشده نشان می‌دهند که می‌توان چک‌پوینت‌های (checkpoint) آموزش‌دیده‌ی چندسر را با یک بازآموزی دقیق (fine-tune) به پرسش گروهی تبدیل کرد و تقریباً تمام کیفیت اولیه را حفظ نمود. روش چندپرسشی یک مجموعه‌پاسخِ واحد را بین همه‌ی هدها به اشتراک می‌گذارد و افت کیفیت بیشتری نشان می‌دهد. اتنشن پنهان توان محاسباتی را فدای حافظه می‌کند: بردار پنهان باید در هر گام دوباره روی کلیدها و مقدارها تصویر (projection) شود.

پیاده‌سازی پرسش گروهی در کد

فقط تصویرهای کلید و مقدار تغییر می‌کنند. آن‌ها n_kv_heads هد تولید می‌کنند و هر هد تکرار می‌شود تا تعدادش با هدهای پرسش برابر شود:

def gqa_project(X, W, n_kv_heads, n_heads):
    kv = split_heads(X @ W, n_kv_heads)
    repeat = n_heads // n_kv_heads
    return np.repeat(kv, repeat, axis=0)

در زمان استنتاج، فقط همان n_kv_heads نسخه داخل کش کلید-مقدار (KV cache) نگهداری می‌شوند، نه نسخه‌های تکرارشده.

گزینه‌ی نهایی

برای یک دیکودر 70B که باید زمینه‌های طولانی را سرویس‌دهی کند، پرسش گروهی با یک گروه کوچک، پیش‌فرض امن شماست. اتنشن پنهان زمانی بهترین انتخاب است که حافظه گلوگاه اصلی باشد و بتوانید هزینه‌های محاسباتی و چالش‌های مهندسی آن را بپذیرید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چه متغیرهایی تعداد بایت‌های ذخیره‌شده به ازای هر توکن را تعیین می‌کنند؟ پاسخ مورد انتظار: تعداد لایه‌ها، هدهای کلید-مقدار، اندازه‌ی هد و بایت‌های هر مقدار، ضرب در 2 برای کلید و مقدار؛ تعداد پارامترهای مدل نقشی در این فرمول ندارد.
  • سطح 3: چرا اتنشن پنهان در هر گام بار محاسباتی بیشتری دارد؟ پاسخ مورد انتظار: بردار پنهان ذخیره‌شده باید در هر گام رمزگشایی، پیش از محاسبه‌ی امتیازها، دوباره روی کلیدها و مقدارهای کامل تصویر شود.
  • سطح 3: آیا می‌توان یک چک‌پوینت چندسر موجود را به پرسش گروهی تبدیل کرد؟ پاسخ مورد انتظار: بله، مقاله‌ی روش پرسش گروهی نشان می‌دهد که می‌توان چک‌پوینت‌های آموزش‌دیده را تبدیل و سپس بازآموزی دقیق کرد؛ البته پیش از ارسال به محیط پروداکشن، کیفیت را روی داده‌های ارزیابی خود بسنجید.
  • سطح 4: محصول نیازمند پشتیبانی از بافت 128K با اندازه دسته (batch size) یک روی یک کارت 40 گیگابایتی است. چه نوع اتنشنی را انتخاب می‌کنید و چه اقدام دیگری لازم است؟ پاسخ مورد انتظار: پرسش گروهی به‌تنهایی در 128K کل حافظه‌ی کارت را پر می‌کند، بنابراین اتنشن پنهان یا کاهش دقت نوع داده‌ی کلید-مقدار الزامی است؛ ضمن اینکه وزن‌های مدل هم خودشان به بخشی از حافظه نیاز دارند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «پرسش گروهی محاسبات اتنشن را سبک‌تر می‌کند.» امتیازها همچنان برای تک‌تک هدهای پرسش محاسبه می‌شوند؛ صرفه‌جویی فقط در فضای ذخیره‌سازی کلیدها و مقدارها اتفاق می‌افتد.
  • «روش چندپرسشی هیچ هزینه‌ای تحمیل نمی‌کند.» این روش یک مجموعه‌پاسخ را بین همه‌ی هدها به اشتراک می‌گذارد و طبق آموزش‌های این درس، همراه با افت کیفیت است.
  • «اندازه‌ی کش متناسب با تعداد پارامترهاست.» اندازه‌ی کش وابسته به هدهای کلید-مقدار، تعداد لایه‌ها، اندازه‌ی هد و نوع داده است.

کجای دوره آموزش داده می‌شود

در درس اتنشن چندسر به انواع روش‌ها و کد پرسش گروهی پرداخته شده است و در درس کش کلید-مقدار و Flash Attention محاسبات ریاضی مربوط به حافظه بررسی می‌شود.