سؤال مصاحبه

ماسک علّی که خودِ توکن را هم مسدود می‌کند

A causal mask that blocks the token itself

  • سطح ۲: میانی
  • کدخوانی
  • ۸ دقیقه

اتنشن (attention) در یک رمزگشا (decoder)، در سطر اولِ هر توالی یک بردار صفر برمی‌گرداند. کد ماسک به این صورت است:

def causal_mask(T):
    return np.triu(np.ones((T, T), dtype=bool), k=0)

weights = softmax(scores)
weights[mask] = 0
out = weights @ V

دو ایراد در این کد وجود دارد. هر دو را پیدا کنید و توضیح دهید هرکدام چه تأثیری روی خروجی می‌گذارند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

در ساخت ماسک از آفست قطریِ صفر استفاده شده است؛ در نتیجه هر توکن خودش را هم مسدود می‌کند و توکن اول به هیچ کلیدی دسترسی ندارد که باعث خالی ماندن سطر اول می‌شود. علاوه بر این، ماسک بعد از سافت‌مکس (softmax) اعمال شده است، بنابراین مجموع درایه‌های هر سطر دیگر برابر با 1 نخواهد بود. باید ماسک را با آفست 1 بسازید و امتیازهای مسدودشده را پیش از اعمال سافت‌مکس با یک مقدار منفیِ بسیار بزرگ جایگزین کنید.

پاسخ کامل

باگ اول: قطر اصلی ماتریس

یک ماسک علّی (causal mask) به موقعیت i اجازه می‌دهد موقعیت‌های 0 تا i (شامل خودش) را ببیند. تابع np.triu با مقدار k=0، قطر اصلی را هم در مجموعه‌ی مسدودشده‌ها نگه می‌دارد. برای کوئریِ اول همه‌ی کلیدها مسدود می‌شوند؛ بنابراین این کد کل سطر اول وزن‌ها را صفر می‌کند و سطر اول خروجی نیز صفر می‌شود. اگر فقط ماسک را به قبل از سافت‌مکس ببرید و خانه‌ها را با منفی بی‌نهایت پر کنید، آن سطر چیزی برای نرمال‌سازی نخواهد داشت و حاصل تقسیم NaN می‌شود. برای اینکه قطر اصلی در دسترس بماند، باید از k=1 استفاده کنید.

باگ دوم: اعمال ماسک بعد از سافت‌مکس

صفر کردن وزن‌ها بعد از نرمال‌سازی باعث می‌شود مجموع درایه‌های هر سطر کمتر از 1 شود؛ دقیقاً به همان اندازه‌ای که کلیدهای آینده وزن گرفته بودند. در نتیجه، اندازه‌ی خروجی کوچک‌تر می‌شود و مدل با یک مقیاس متغیر آموزش می‌بیند. ماسک باید پیش از سافت‌مکس روی امتیازها اعمال شود، آن هم با جایگزین کردن خانه‌های مسدودشده با یک مقدار منفیِ بسیار بزرگ؛ به این ترتیب، مقدار نماییِ (exponential) آن‌ها صفر می‌شود و وزن درایه‌های باقی‌مانده دوباره نرمال‌سازی می‌شوند.

کد اصلاح‌شده

def causal_mask(T):
    return np.triu(np.ones((T, T), dtype=bool), k=1)

scores = np.where(mask, -1e9, scores)
weights = softmax(scores)
out = weights @ V

چرا هر دو باگ می‌توانند از آزمون ابعاد (shape test) عبور کنند؟

هیچ‌کدام از این دو باگ ابعاد آرایه‌ها را تغییر نمی‌دهند. تنها با بررسی وزن‌ها یا اطمینان از صفر نبودنِ سطر اول خروجی می‌توان متوجه آن‌ها شد. در وظیفه‌ی (task) تمرینی، وزن‌های علّی با یک مقدار مرجع مقایسه می‌شوند و سطر اول هم دقیقاً بررسی می‌شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا یک عدد منفیِ خیلی بزرگ و نه منفیِ بی‌نهایت؟ پاسخ مورد انتظار: بی‌نهایت در بیشتر فریم‌ورک‌ها کار می‌کند، اما اگر کل یک سطر ماسک شود خروجی NaN تولید خواهد کرد؛ در حالی که یک مقدار متناهی عملیات ریاضی را معتبر و تعریف‌شده نگه می‌دارد.
  • سطح 2: ماسک چگونه با بعدِ دسته (batch) تعامل می‌کند؟ پاسخ مورد انتظار: ابعاد ماسک به‌صورت توکن در توکن است و روی دسته‌ها و هدها (heads) همه‌پخشی (broadcast) می‌شود؛ بنابراین برای هر طول توالی فقط یک بار ساخته می‌شود.
  • سطح 3: از همین مدل ابتدا برای پیش‌پرکنی (prefill) و سپس برای تولید تک‌به‌تک توکن‌ها استفاده می‌شود. آیا ماسک تغییر می‌کند؟ پاسخ مورد انتظار: در زمان رمزگشایی (decode)، تک‌کوئریِ فعلی تمام کلیدهای کش‌شده (cached) را می‌بیند، بنابراین در این مرحله به هیچ ماسکی نیاز نیست؛ قاعده‌ی علّی قبلاً هنگام تولید همان کلیدها اعمال شده است.
  • سطح 3: اگر قرار باشد هم ماسک پدینگ (padding) و هم ماسک علّی اعمال شوند، چگونه آن‌ها را ترکیب می‌کنید؟ پاسخ مورد انتظار: ماسک‌های بولی را پیش از اعمال روی امتیازها با عملگر منطقی or ترکیب می‌کنیم تا کلید پدینگ‌شده برای تمام کوئری‌ها مسدود شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «وزن‌های مسدودشده را صفر کنید و سطرها را دوباره نرمال‌سازی نمایید.» از نظر عددی جواب می‌دهد اما کار را دو برابر می‌کند؛ اگر امتیازها را قبل از سافت‌مکس ماسک کنید، نرمال‌سازی به‌صورت خودکار و بدون هزینه‌ی اضافی انجام می‌شود.
  • «توکن اول نباید به چیزی اتنشن داشته باشد.» توکن اول باید به خودش اتنشن داشته باشد؛ یک سطر خالی توزیع معتبری ندارد.
  • «از یک ماتریس مثلثی پایینیِ پر از یک به‌عنوان ماسک استفاده کنید.» ماتریسِ تمام‌یک درایه‌های مجاز را مشخص می‌کند، بنابراین قبل از استفاده به‌عنوان ماسکِ درایه‌های مسدودشده، باید وارون شود.

کجای دوره آموزش داده می‌شود

در درس خوداتنشن ساخت این ماسک به‌عنوان تمرین اول خواسته شده است و تمرین اتنشن سطر اول وزن‌های ماسک‌شده را می‌سنجد.