سؤال مصاحبه

مثلث منفی بی‌نهایت از کجا می‌آید

Where the triangle of minus infinity comes from

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

دیکودر نباید توکن‌هایی را بخواند که بعد از موقعیت فعلی قرار دارند. یکی از هم‌تیمی‌هایتان پیشنهاد می‌دهد اول سافت‌مکس (Softmax) را اجرا کنیم و بعد وزن‌های موقعیت‌های بعدی را صفر بگذاریم. چرا این کار اشتباه است و این مثلثِ همیشگیِ منفی بی‌نهایت واقعاً از کجا می‌آید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

صفر کردن وزن‌ها پس از سافت‌مکس باعث می‌شود مجموع سطرها دیگر برابر یک نشود؛ ضمن اینکه توکن‌های بعدی اثرشان را روی مقدار نرمال‌سازی گذاشته‌اند. ماسک قبل از سافت‌مکس منفی بی‌نهایت را به امتیازها اضافه می‌کند تا تابع نمایی دقیقاً مقدار صفر بدهد و هر سطر، توزیعی صرفاً روی گذشته باشد. این مثلث، پچ وصله‌پینه‌ای روی اتنشن (Attention) نیست: یک میانگین متحرک علّی، ماتریسی پایین‌مثلثی با سطرهای نرمال‌شده است و ماسک صرفاً همان الگوی صفرهاست که در دامنه‌ی ورودی سافت‌مکس بازنویسی شده است.

پاسخ کامل

سه مرحله، یک پایا

با ساده‌ترین خلاصه‌سازی علّی شروع کنیم: موقعیت i برابر میانگین موقعیت‌های 0 تا i می‌شود. به‌صورت ماتریسی:

A = np.tril(np.ones((n, n)))
A = A / A.sum(axis=1, keepdims=True)
out = A @ X

صفرهای بالای قطر ماتریس، همان علّیت هستند. چیزی ماسک نشده بود؛ آینده اصلاً از اول وارد جمع نشده بود.

حالا عدد یک‌ها را با امتیازهای یادگرفتنی S جایگزین کنید. سطرها دیگر مجموعشان یک نمی‌شود، پس هر سطر را با سافت‌مکس نرمال می‌کنیم. از آنجا که خروجی سافت‌مکس هرگز صفرِ دقیق نمی‌شود، درایه‌های مربوط به آینده باید به‌صورت منفی بی‌نهایت وارد شوند، چون exp(-inf) = 0:

S = S + np.triu(np.full((n, n), -np.inf), k=1)
A = softmax(S, axis=1)

در نهایت بگذارید این امتیازها به توکن‌ها وابسته شوند: S = Q @ K.T / sqrt(d_k). ماسک، سافت‌مکس، ضرب ماتریسی. ماسک از همان میانگین ساده به جا مانده است؛ اصلاً این‌طور نبوده که بعداً به اتنشن اضافه شده باشد.

چرا منفی بی‌نهایت و نه صفر؟

امتیاز صفر، پیش از نرمال‌سازی همچنان وزن exp(0) = 1 دریافت می‌کند. فقط منفی بی‌نهایت است که وزن صفر تولید می‌کند.

فایده‌ی آن در زمان آموزش چیست؟

با وجود ماسک، یک بار گذر رو به جلو (forward pass) روی توالی‌ای از N توکن، N پیش‌بینی توکن بعدی (Next-Token Prediction) به دست می‌دهد که هر کدام فقط گذشته‌ی خود را دیده‌اند. به همین دلیل، آموزش در طول توالی به‌صورت موازی پیش می‌رود. بدون ماسک، مدل هدفِ خودش را می‌خواند و تابع زیان (Loss) فرومی‌پاشد، در حالی که مدل هیچ چیز مفیدی یاد نگرفته است.

یک بلوک عملیاتی چطور آن را ذخیره می‌کند؟

ماسک را موقع ساخت، به‌صورت یک بافر (buffer) به اندازه‌ی حداکثر طول زمینه (context length) ثبت کنید و هنگام گذر رو به جلو، گوشه‌ی بالا-چپ به ابعاد (T, T) را برش (slice) بزنید. در این صورت، ماسک روی همان دستگاهی (device) می‌نشیند که وزن‌ها هستند و هرگز وارد گراف گرادیان (gradient) نمی‌شود. ساخت دوباره‌ی آن در هر فراخوانی، در طول زمینه‌های بالا ماسک را به یک نقطه‌ی داغ تخصیص حافظه (allocator hot spot) تبدیل می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا امتیازهای آینده را در صفر ضرب نکنیم؟ پاسخ مورد انتظار: امتیاز صفر پیش از نرمال‌سازی همچنان وزن exp(0) می‌گیرد، بنابراین آینده باز هم در خروجی سهم خواهد داشت.
  • سطح 2: ماسک در یک بلوک واقعی کجا ذخیره می‌شود و چرا؟ پاسخ مورد انتظار: به‌صورت بافرِ ثبت‌شده در حداکثر طول زمینه، که در هر گذر رو به جلو برش می‌خورد؛ تا روی سخت‌افزار درست قرار بگیرد و با هر بار فراخوانی دوباره تخصیص داده نشود.
  • سطح 3: آیا انکودر هم به این مثلث نیاز دارد؟ پاسخ مورد انتظار: خیر، انکودر دوطرفه است؛ به ماسک پدینگ (Padding) نیاز دارد که آن هم از منفی بی‌نهایت استفاده می‌کند اما از دسته (batch) پیروی می‌کند، نه قطر ماتریس.
  • سطح 3: ماسک چه ربطی به آموزش موازی دارد؟ پاسخ مورد انتظار: به مدل اجازه می‌دهد با یک بار گذر، تمام پیش‌بینی‌های توکن بعدی را یک‌جا تولید کند در حالی که هر پیش‌بینی فقط گذشته‌ی خود را دیده است؛ بنابراین هر N زیان در کنار هم معتبرند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «امتیازهای آینده را صفر بگذارید.» صفر یک امتیاز معتبر است و بعد از تابع نمایی همچنان وزن می‌گیرد؛ فقط منفی بی‌نهایت وزن صفر می‌دهد.
  • «ماسک فقط ترفندی برای زمان آموزش است، پس در محیط عملیاتی (production) موقع سرو می‌توان آن را حذف کرد.» پرامپت (Prompt) موقع سرو در یک گذر پردازش می‌شود و بدون ماسک، توکن‌های پرامپت آینده‌ی خود را خواهند خواند.
  • «انکودرها هم به این مثلث نیاز دارند.» انکودر بر اساس طراحی‌اش هر دو طرف را می‌بیند؛ این مثلث دقیقاً همان چیزی است که دیکودر را دیکودر می‌کند.

کجای دوره آموزش داده می‌شود

درس مدل‌سازی علّی زبان (Causal Language Modeling) این مثلث را از میانگین پیشوندی (Prefix Average) به دست می‌آورد، و پروژه‌ی پایانی اتنشن و پروژه‌ی پایانی بلوک ترنسفورمر (Transformer) آن را به‌صورت بافر ثبت می‌کنند.