این یک تابع اتنشن (Attention) است که در پاسخ به یک تسک ارزیابی فنی (Take-home submission) ارسال شده:
def attention(Q, K, V):
scores = Q @ K.T / Q.shape[-1]
return softmax(scores) @ V
تستهای مربوط به شکل تنسورها پاس میشوند، اما تستهای وزنهای اتنشن خطا میدهند. باگ را پیدا کنید و توضیح دهید که ضریب مقیاس (Scale factor) درست جلوی چه مشکلی را میگیرد.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
امتیازها به جای جذر بعدِ کلید، بر خود بعد تقسیم شدهاند. حاصل ضرب داخلی (Dot product) بردارهای تصادفی با افزایش بعد رشد میکند؛ بنابراین بدون جذر، ورودی سافتمکس (Softmax) یا بیش از حد بزرگ میشود که آن را اشباع کرده و گرادیان (Gradient) را از بین میبرد، یا بیش از حد کوچک میشود که تمام سطرها را به سمت یکنواختی صاف میکند. خط درست، امتیازها را بر جذر آخرین بعدِ کلیدها تقسیم میکند.
پاسخ کامل
راهحل
def attention(Q, K, V):
d_k = Q.shape[-1]
scores = Q @ K.T / np.sqrt(d_k)
return softmax(scores) @ V
چرا جذر بعد؟
وقتی درایههای کوئری و کلید واریانس برابر با 1 داشته باشند، واریانس ضرب داخلی آنها برابر با بعد بردار میشود. در نتیجه، اندازه و مقیاس معمول آن جذر بعد بردار است. تقسیم بر این مقدار، امتیازها را به مقیاس یکه برمیگرداند؛ جایی که سافتمکس گرادیانهای مفیدی دارد. تقسیم بر خودِ بعد بیش از حد تصحیح میکند و باعث میشود هر سطر تقریباً یکنواخت شود؛ در این حالت خروجی بدون توجه به کوئری، تقریباً برابر با میانگین مقادیر (Values) خواهد بود.
دو باگ مشابه و مرتبط
- بدون هیچ مقیاسی: در اندازه هد (Head) برابر با 64، امتیازهای خام به ارقامی در حدود چند ده میرسند و سافتمکس اشباع شده و سطرهایی شبیه به One-hot تولید میکند.
- استفاده از
K.Tروی یک تنسور دستهای (Batched tensor): ویژگی.Tهمهی محورها را معکوس میکند؛ بنابراین شکل «دسته در توکن در ویژگی» به «ویژگی در توکن در دسته» تبدیل میشود. اگر اندازهها یکسان نباشند، ضرب ماتریسی خطای ابعاد میدهد و اگر تصادفاً اندازهها همخوانی داشته باشند، بدون خطا دستهها (Batches) را با هم مخلوط میکند. فقط باید دو محور آخر را جابهجا کنید.
تمرین چطور این باگ را میسنجد؟
این تمرین علاوه بر شکل خروجی، وزنها را هم مقایسه میکند. یک مقیاس اشتباه تمام وزنها را تغییر میدهد؛ بنابراین ماتریس وزن مرجع بلافاصله این خطا را شناسایی میکند.
سؤالهای تکمیلی مصاحبهگر
- سطح 1: شکل امتیازها برای یک توالی چقدر است؟ انتظار میرود: توکن در توکن؛ یک سطر به ازای هر کوئری روی تمام کلیدها.
- سطح 2: چرا تستهای شکل با وجود ضریب اشتباه پاس میشوند؟ انتظار میرود: تغییر مقیاس شکلها را تغییر نمیدهد؛ فقط مقادیر جابهجا میشوند.
- سطح 2: ترانهادهی (Transpose) کلیدها را برای یک ورودی دستهای چطور محاسبه میکنید؟ انتظار میرود: فقط دو محور آخر را جابهجا کنید، مثلاً با
swapaxes(-1, -2).
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «هر ضریب ثابتی جواب میدهد، مدل در طول آموزش خودش را با آن وفق میدهد.» تصویرهای (Projections) یادگرفتهشده شاید در حین آموزش این موضوع را جبران کنند، اما تمرین یک مقدار مرجع ثابت را بررسی میکند؛ ضمن اینکه در یک مدل آموزشدیده، ضریب اشتباه تمام هدها را تغییر میدهد.
- «بر طول توالی تقسیم کنید.» افزایش اندازه از بعد ویژگیها ناشی میشود، نه تعداد توکنها.
- «تغییر مقیاس فقط برای جلوگیری از سرریز عددی (Overflow) است.» شیفت دادن با مقدار بیشینه داخل سافتمکس جلوی سرریز را میگیرد؛ ضریب مقیاس، سافتمکس را از نواحی اشباع و مسطح دور نگه میدارد.
کجای دوره آموزش داده میشود
درس خوداتنشن (Self-Attention) دلیل استفاده از ضریب مقیاسِ جذر را توضیح میدهد و تمرین اتنشن وزنها را با یک مرجع میسنجد.