سؤال مصاحبه

تبدیل یک چک‌پوینت اتنشن چندسر به هدهای کوئری گروه‌بندی‌شده

Convert a multi-head checkpoint to grouped-query heads

  • سطح ۴: استف
  • تخمین
  • ۱۵ دقیقه

مدلی آموزش‌دیده دارید با 64 هدِ کوئری (query) و 64 هدِ کلید (key) و مقدار (value)، و می‌خواهید آن را با 8 هدِ کلید و مقدار سرو کنید تا حجم کش (cache) کاهش یابد. تابعی بنویسید که تصویر (projection) کلیدِ این چک‌پوینت را در قالب گروه‌ها ادغام (pool) کند، مشخص کنید حافظه‌ی کش برای کلیدها و مقدارها با چه ضریبی کاهش می‌یابد، و توضیح دهید چرا مدل ادغام‌شده قبل از استفاده نیاز به آموزش بیشتر دارد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

گروه g از تصویر جدید، میانگین هدهای متوالی g r تا g r + r - 1 روی ستون‌های ماتریس تصویر است؛ جایی که r تعداد هدهای کوئری در هر گروه است. کش به‌جای 64 هد، کلیدها و مقدارهای 8 هد را نگه می‌دارد، بنابراین حجم آن با ضریب 8 کاهش می‌یابد. میانگینِ چند هد دقیقاً همان هدی نیست که مدل با آن آموزش دیده است؛ به همین دلیل کیفیت افت می‌کند، تا زمانی که با یک دوره‌ی کوتاه ادامه‌ی آموزش (continued training)، هدهای کوئری با گروه مشترک جدیدشان سازگار شوند.

پاسخ کامل

ادغام

def mean_pool_kv_heads(w, n_heads, n_kv_heads):
    if n_heads % n_kv_heads:
        raise ValueError("query heads must be a multiple of kv heads")
    D, cols = w.shape
    d_head = cols // n_heads
    r = n_heads // n_kv_heads
    grouped = w.reshape(D, n_kv_heads, r, d_head)
    return grouped.mean(axis=2).reshape(D, n_kv_heads * d_head)

تغییر شکل (reshape) ابتدا گروه‌ها و سپس هدهای درون یک گروه را کنار هم می‌چیند، چرا که هدهای یک گروه، بلوک‌های متوالی از ستون‌ها هستند. اگر تغییر شکل را به‌صورت (D, r, G, d_head) بنویسید، هدهایی که به اندازه‌ی G از هم فاصله دارند با هم ادغام می‌شوند؛ این کار ابعاد (shape) را درست درمی‌آورد، اما گروه‌بندی اشتباهی تولید می‌کند. استفاده از میانگین به‌جای مجموع باعث می‌شود مقیاس کلیدهای تصویرشده نزدیک به مقدار اصلی بماند و در نتیجه، امتیازهای اتنشن در بازه‌ی مناسب حفظ شوند.

ضریب صرفه‌جویی در حافظه

کش به ازای هر لایه، هر هد و هر توکن، یک بردار کلید و یک بردار مقدار ذخیره می‌کند. تعداد هدهای کوئری تاثیری روی این حافظه ندارد. رفتن از 64 هدِ کلید و مقدار به 8 هد، بایت‌های ذخیره‌شده به ازای هر توکن را بر 8 تقسیم می‌کند؛ یعنی همان مثالی که در درس اتنشن چندسر (Multi-Head Attention) برای یک مدل بازِ بزرگ دیدیم. وزن‌ها کاهش بسیار کمتری دارند، چون تصویرهای کوئری و خروجی تغییری نمی‌کنند و تنها تصویرهای کلید و مقدار کوچک‌تر می‌شوند.

چرا به آموزش نیاز است؟

هدهای کوئری متناسب با هدهای کلیدِ خودشان آموزش دیده‌اند. بعد از ادغام، 8 هدِ کوئری یک هدِ کلیدِ میانگین‌گیری‌شده را می‌خوانند که در زمان آموزش هیچ‌کدام آن را ندیده بودند. پیشینه‌ی تاریخی این مفهوم در درس، تبدیل چک‌پوینت‌های اتنشن چندسر به هدهای کوئری گروه‌بندی‌شده را فرایندی همراه با یک گامِ ادامه‌ی آموزش توصیف می‌کند؛ ادغام، نقطه‌ی شروعی بسیار نزدیک به مدل اصلی فراهم می‌کند و ادامه‌ی آموزش، بخش عمده‌ی کیفیتِ ازدست‌رفته را برمی‌گرداند. سرو کردن مستقیم وزن‌های ادغام‌شده ممکن است، اما پیش از انتشار نهایی حتماً باید ارزیابی (eval) دوباره اجرا شود.

چه چیزهایی تغییر نمی‌کنند؟

اندازه‌ی هد، تصویر کوئری، تصویر خروجی و خودِ تابع اتنشن بدون تغییر باقی می‌مانند. تنها تصویرهای کلید و مقدار و عملیات تکرار (repeat) داخل اتنشن عوض می‌شوند؛ بنابراین بقیه‌ی بخش‌های لودر و بلوک دست‌نخورده می‌مانند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا هدهای متوالی را ادغام می‌کنیم و نه هر هشت هد یک‌بار را؟ انتظار می‌رود: اتنشن، گروهِ حاصل از خارج‌قسمت صحیحِ تقسیم h بر r را برای هدِ کوئری h می‌خواند؛ پس هدهای ادغام‌شده باید دقیقاً همان‌هایی باشند که قرار است در یک گروه مشترک قرار بگیرند.
  • سطح 4: صرفه‌جویی در کش هنگام سروِ مدل با طول زمینه‌ی (context) بیشتر چه تغییری می‌کند؟ انتظار می‌رود: ضریبِ کاهش تغییری نمی‌کند؛ صرفه‌جویی به ازای هر توکن اتفاق می‌افتد، بنابراین با افزایش تعداد توکن‌های نگه‌داری‌شده، بایت‌های صرفه‌جویی‌شده در حالت مطلق بیشتر می‌شود.
  • سطح 4: گونه‌ی متغیر نهفته‌ی چندسر (multi-head latent)، کلیدها و مقدارها را درون یک فضای نهفته‌ی کم‌رتبه فشرده می‌کند. در ازای این صرفه‌جویی بیشتر، چه چیزی را فدا می‌کند؟ انتظار می‌رود: توان محاسباتی؛ زیرا متغیر نهفته باید در زمان اجرای اتنشن، دوباره به کلیدها و مقدارهای کامل تصویر شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ادغام بدون افت کیفیت است، چون میانگین‌گیری کلیدِ میانگین را حفظ می‌کند.» اطلاعات هدهای مجزا از دست می‌رود؛ کوئری‌ها متناسب با همان هدهای مجزا آموزش دیده‌اند، بنابراین کیفیت تا زمان سازگار شدن مدل افت خواهد کرد.
  • «کش به نسبتِ هدهای کوئری به کل هدها کوچک می‌شود.» فقط هدهای کلید و مقدار در کش نگه‌داری می‌شوند؛ ضریب کاهش برابر است با نسبت تعداد قبلی هدهای کلید و مقدار به تعداد جدید آن‌ها.
  • «هدها را با هم جمع بزنید تا هیچ داده‌ای از دست نرود.» جمع زدن، مقیاس کلیدها را به اندازه‌ی تعداد اعضای گروه بالا می‌برد و امتیازها را از بازه‌ای که سافت‌مکس (Softmax) برای آن آموزش دیده خارج می‌کند.

کجای دوره آموزش داده می‌شود

درس اتنشن چندسر پیشینه‌ی کوئری‌های گروه‌بندی‌شده و ضریبِ حافظه‌ی کش را توضیح می‌دهد، و تمرین کوئری‌های گروه‌بندی‌شده ادغام یک چک‌پوینت اتنشن چندسر را پیاده‌سازی می‌کند.