سؤال مصاحبه

یک reshape درست کار می‌کند و دیگری هدها را به هم می‌ریزد

One reshape is right and one scrambles the heads

  • سطح ۲: میانی
  • کدخوانی
  • ۸ دقیقه

دو نسخه برای جداسازی هدها در مرحله‌ی بازبینی کد (code review) ثبت شده است. تنسور X با ابعاد (n, d) شامل n توکن و d ویژگی است.

def split_a(X, n_heads):
    n, d = X.shape
    d_head = d // n_heads
    return X.reshape(n, n_heads, d_head).transpose(1, 0, 2)

def split_b(X, n_heads):
    n, d = X.shape
    d_head = d // n_heads
    return X.reshape(n_heads, n, d_head)

هر دو نسخه تنسوری با ابعاد (n_heads, n, d_head) برمی‌گردانند و هر دو بدون خطا اجرا می‌شوند. کدام‌یک درست است، نسخه‌ی دیگر چه بلایی سر داده‌ها می‌آورد و با چه تستی می‌شد جلوی این خطا را گرفت؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

نسخه‌ی اول درست است: split_a ویژگی‌های d هر توکن را به n_heads برش به عرض d_head دسته‌بندی می‌کند و سپس محور هد را به جلو می‌آورد. در مقابل، split_b همان حافظه را با ترتیبی اشتباه می‌خواند: بافر خطی را به n_heads تکه‌ی مساوی تقسیم می‌کند و هر تکه را یک هد می‌نامد؛ در نتیجه یک هد شامل دنباله‌ای از توکن‌های پشت‌سرهم می‌شود، ممکن است مرز یک تکه وسط یک توکن بیفتد، و ستون‌ها دیگر با تصویر (projection) تولیدکننده‌شان هم‌راستا نخواهند بود. راهکار تست، بررسی بازگشت‌پذیری (round-trip) است: ترکیب مجدد حاصل جداسازی باید دقیقاً خود X را بازگرداند، و هد h باید با برش ستونی X[:, h * d_head:(h + 1) * d_head] برابر باشد.

پاسخ کامل

معنای ابعاد

پس از لایه‌ی تصویر، d ویژگیِ هر توکن در واقع الحاق n_heads گروه از ویژگی‌های d_head است. هر هد، یک برش ستونی در تمام توکن‌ها به شمار می‌رود. تغییر شکل با ابعاد (n, n_heads, d_head) سطر هر توکن را دست‌نخورده نگه می‌دارد و فقط ستون‌هایش را دوباره دسته‌بندی می‌کند؛ سپس با ترانهاده (transpose)، محور هد در جایگاه نخست قرار می‌گیرد تا اتنشنِ هر هد به یک عملیات دسته‌ای روی هدها تبدیل شود.

چرا نسخه‌ی اشتباه باز هم اجرا می‌شود؟

هر دو تنسور n * d عنصر دارند؛ بنابراین NumPy و PyTorch بدون مشکل حافظه را بازتفسیر می‌کنند. تغییر شکل (reshape) روی یک آرایه‌ی پیوسته در حافظه (contiguous) داده‌ها را جابه‌جا نمی‌کند، بلکه فقط نحوه‌ی ایندکس‌گذاری بافر خطی را تغییر می‌دهد. از این رو، split_b بافر را به n_heads تکه‌ی مساوی می‌بُرد. اگر n بر n_heads بخش‌پذیر باشد، هدِ صفر شامل اولین n / n_heads توکن با تمام ویژگی‌هایشان خواهد بود؛ در غیر این صورت، مرز یک تکه وسط داده‌های یک توکن می‌افتد. امتیازهای اتنشنِ داخل آن هد، بردارهای کاملاً اشتباهی را با هم مقایسه می‌کنند. با این حال مدل همچنان چیزی یاد می‌گیرد، و دقیقاً به همین خاطر است که چنین باگی می‌تواند هفته‌ها بدون جلب توجه زنده بماند.

ترکیب هدها باید معکوس دقیق جداسازی باشد

def combine_heads(H):
    h, n, d_head = H.shape
    return H.transpose(1, 0, 2).reshape(n, h * d_head)

ابتدا باید ترانهاده را برگردانید و سپس تغییر شکل دهید. اگر مستقیماً از (h, n, d_head) به (n, h * d_head) تغییر شکل دهید، همان اشتباه این بار در جهت معکوس رخ می‌دهد و لایه‌ی تصویر خروجی، ویژگی‌های درهم‌ریخته را دریافت می‌کند.

قرارداد ابعاد در محیط عملیاتی

با اضافه شدن بعد دسته (batch)، تنسورهای میانی به شکل (B, H, T, d_head) خواهند بود. بعد هد دقیقاً کنار بعد دسته می‌نشیند تا شتاب‌دهنده اتنشنِ هر هد را به صورت B * H مسئله‌ی کاملاً مستقل پردازش کند، و d_head در آخرین محور باقی می‌ماند تا ضرب Q @ K.transpose(-2, -1) روی آن انقباض پیدا کند. محدودیت لازم این است که D % H == 0 برقرار باشد.

تست‌هایی که خطا را به دام می‌اندازند

  1. combine_heads(split_heads(X)) == X.
  2. split_heads(X)[h] == X[:, h * d_head:(h + 1) * d_head] به ازای هر هد.
  3. اتنشن تک‌هد روی آن برش، با خروجی همان هد در مسیر دسته‌ای برابر باشد.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا عمل reshape در اینجا هرگز خطایی نمی‌دهد؟ انتظار می‌رود: چون تنها یک بافر با همان تعداد عنصر را بازتفسیر می‌کند و معنای داده‌ها بررسی نمی‌شود.
  • سطح 2: چرا d_head باید حتماً آخرین محور بماند؟ انتظار می‌رود: ضرب ماتریسی امتیازها، آخرین محور Q را با یکی مانده به آخرین محورِ K ترانهاده منقبض می‌کند.
  • سطح 3: اتنشن پرس‌وجوی گروه‌بندی‌شده (Grouped-Query Attention) چطور از این کد استفاده‌ی مجدد می‌کند؟ انتظار می‌رود: K و V را به n_kv_heads هد تقسیم کرده و هر کدام را در امتداد محور هد به تعداد n_heads // n_kv_heads بار تکرار می‌کند تا ابعادشان با Q بخواند.
  • سطح 3: مدلی که با جداسازیِ اشتباه آموزش دیده به تابع زیان (loss) معقولی می‌رسد. چرا این موضوع برطرف شدن باگ را تایید نمی‌کند؟ انتظار می‌رود: لایه‌های تصویر یاد گرفته‌اند که با ساختار درهم‌ریخته کار کنند، اما هدها دیگر به زیرفضاهای ورودی ارتباطی ندارند و هرگونه وزن پیش‌آموزش‌دیده یا چک‌پوینت‌ (checkpoint) خروجی نادرست خواهد بود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اگر ابعاد تطابق داشته باشد، reshape و transpose تفاوتی با هم ندارند.» دستور reshape حافظه را بازتفسیر می‌کند و transpose محورها را جابه‌جا می‌سازد؛ ترتیب اعمال آن‌ها تعیین می‌کند کدام عناصر کنار هم قرار بگیرند.
  • «اگر کد اجرا می‌شود و تابع زیان کاهش می‌یابد، پس درست است.» تابع زیان با چیدمان اشتباه هم پایین می‌آید؛ فقط تست‌های بازگشت‌پذیری و برش هستند که صحت چیدمان را ثابت می‌کنند.
  • «هر هد ماتریس وزن جداگانه‌ی خودش را دارد، پس نحوه‌ی جداسازی بی‌اهمیت است.» هدها برش‌هایی از یک تصویر مشترک هستند؛ این جداسازی است که ماهیت آن‌ها را تعریف می‌کند.

کجای دوره آموزش داده می‌شود

درس اتنشن چندسر پیاده‌سازی جفتِ جداسازی و ترکیب را آموزش می‌دهد و پروژه‌ی نهایی اتنشن قرارداد ابعاد در حالت دسته‌ای را تعیین می‌کند.