سؤال مصاحبه

تقسیم هدها با ابعاد درست و داده‌های کاملاً غلط

Split heads with the right shape and the wrong numbers

  • سطح ۲: میانی
  • کدخوانی
  • ۸ دقیقه

کدی ارسال شده که یک تنسور (tensor) با ابعاد دسته (batch)، توکن‌ها و ویژگی‌ها را تنها با یک فراخوانی به چندین هد (head) تقسیم می‌کند:

def split_heads(x, n_heads):
    B, T, D = x.shape
    return x.reshape(B, n_heads, T, D // n_heads)

تست ابعاد پاس می‌شود، اما تک‌تک تست‌های اتنشن (attention) شکست می‌خورند. توضیح دهید این تابع در عمل با داده‌ها چه کرده است و نسخه‌ی درست آن را بنویسید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

دستور reshape به‌تنهایی چیدمان حافظه را بازتفسیر می‌کند. این تابع ترتیب بایت‌ها را دست‌نخورده نگه می‌دارد و فقط برچسب ابعاد آن‌ها را عوض می‌کند؛ در نتیجه محور هد به‌جای برش دادن محور ویژگی‌ها، مرز میان توکن‌ها و ویژگی‌ها را می‌بُرد و آن‌ها را با هم درمی‌آمیزد. تقسیم درست به این صورت است که ابتدا با reshape ابعاد را به «دسته، توکن‌ها، هدها، اندازه‌ی هد» تبدیل کنید و سپس محورهای توکن و هد را ترانهاده (transpose) کنید، تا هد h برای هر توکن، یک بلوک پیوسته در حافظه (contiguous) از d_head ستون مجاور را در بر بگیرد.

پاسخ کامل

این باگ دقیقاً چه بلایی سر داده‌ها می‌آورد؟

در حافظه‌ی سطر-محور (row-major)، ابتدا ویژگی‌های توکن صفر، سپس ویژگی‌های توکن یک و به همین ترتیب قرار می‌گیرند. وقتی مستقیماً با reshape ابعاد را به «دسته، هدها، توکن‌ها، اندازه‌ی هد» می‌برید، این لیست مسطح به تکه‌های مساوی بریده می‌شود. در این حالت، نخستین «هد» شامل اولین T ضرب‌در d_head عدد خواهد بود؛ اعدادی که در واقع بردارهای ویژگی کامل چند توکن اول هستند، نه برشی از ویژگی‌های همه‌ی توکن‌ها. ابعاد هم‌خوانی دارند، ولی اعداد کاملاً درهم‌ریخته‌اند.

راهکار اصلاحی

def split_heads(x, n_heads):
    B, T, D = x.shape
    if D % n_heads:
        raise ValueError("features must divide into heads")
    d_head = D // n_heads
    return x.reshape(B, T, n_heads, d_head).transpose(0, 2, 1, 3)


def merge_heads(x):
    B, H, T, d_head = x.shape
    return x.transpose(0, 2, 1, 3).reshape(B, T, H * d_head)

ابتدا با reshape ابعاد را به «دسته، توکن‌ها، هدها، اندازه‌ی هد» تغییر دهید که فقط محور آخر را می‌شکند. سپس ترانهاده کنید تا محور هد پیش از محور توکن بیاید. عمل merge نیز دقیقاً وارون همین دو مرحله است: یک reshape و یک transpose، بدون هیچ حلقه‌ای. نسخه‌ی موجود در فریم‌ورک‌ها هم زیر هود دقیقاً همین کار را انجام می‌دهد.

شکل استراید‌دار باگ

نسخه‌ی نادرست دیگری هم وجود دارد که به هد h ستون‌های h، h + H، h + 2H و الی آخر را اختصاص می‌دهد. این کار محور ویژگی را برش می‌زند و اتنشن به ازای هر هد اجرا می‌شود، اما با این قرارداد که هر هد مالک یک بلوک پیوسته از ستون‌هاست هم‌خوانی ندارد؛ در نتیجه چک‌پوینتی (checkpoint) که با ساختار استاندارد آموزش دیده باشد، دیگر روی آن بارگذاری نمی‌شود.

نحوه‌ی تست آن

فراخوانی merge_heads(split_heads(x, H)) باید دقیقاً خود x را برگرداند، و split_heads(x, H)[b, h, t, j] باید دقیقاً برابر با x[b, t, h * d_head + j] باشد. بررسی دوم همان موردی است که در هر دو نسخه‌ی اشتباه شکست می‌خورد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا تست بازگشت‌پذیری (round-trip) متوجه باگ reshape ساده می‌شود؟ پاسخ مورد انتظار: چون merge_heads محورهای هد و توکن را قبل از reshape جابه‌جا می‌کند، بنابراین اثر یک reshape خالی را خنثی نمی‌کند و ترتیب ویژگی‌ها به شکل دیگری برمی‌گردد؛ فقط در صورتی این باگ پنهان می‌ماند که تابع merge هم به‌صورت یک reshape خالی نوشته شده باشد.
  • سطح 2: ضریب مقیاس (scale factor) بعد از تقسیم هدها چه مقداری پیدا می‌کند؟ پاسخ مورد انتظار: برابر با جذر اندازه‌ی هد، نه جذر کل بعد ویژگی.
  • سطح 3: بعد از تقسیم هدها، اتنشن چگونه برای همه‌ی هدها به‌طور هم‌زمان اجرا می‌شود؟ پاسخ مورد انتظار: به‌صورت یک ضرب ماتریسی دسته‌ای روی محورهای آغازین دسته و هد؛ بنابراین اضافه شدن هدها هیچ هزینه‌ای بابت اجرای کرنل‌های (kernel) اضافی ایجاد نمی‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اگر ابعاد یکسان باشد، reshape با transpose فرقی ندارد.» دستور reshape داده‌ها را درجا دوباره برچسب‌گذاری می‌کند؛ اما transpose ترتیب آن‌ها را تغییر می‌دهد.
  • «هر روشی برای تقسیم هدها کار می‌کند، به شرطی که تابع merge بتواند آن را برگرداند.» تست‌های اتنشن و هر چک‌پوینت بارگذاری‌شده وابسته به این هستند که هر هد مالک یک بلوک از ستون‌های مجاور باشد.
  • «روی هدها حلقه بزنید و ستون‌ها را برش دهید.» این کار درست است اما کند پیش می‌رود؛ reshape و transpose با دو عملیات همان نتیجه را می‌دهند.

کجای دوره آموزش داده می‌شود

در درس اتنشن چندسر (Multi-Head Attention) جفت عملیات split و combine به‌صورت یک reshape و به‌دنبال آن یک transpose ارائه شده است، و در تمرین split و merge صحت تک‌تک درایه‌های حاصل از تقسیم بررسی می‌شود.