همتیمی جدیدی کلمهی «اتنشن» (attention) را صد بار خوانده، اما هنوز نمیتواند بگوید پرسوجو (query)، کلید (key) یا مقدار (value) چیست. این سه مفهوم را در یک دقیقه برایش توضیح دهید. سپس بگویید چه تفاوتی میان نسخهی انکودر-دیکودر سال 2014 و نسخهی داخل ترنسفورمر ایجاد شده است.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
اتنشن یک جستوجوی نرم (soft lookup) است. هر توکن سه چیز تولید میکند: یک پرسوجو که اطلاعات موردنیازش را میپرسد، یک کلید که نشان میدهد توکن چه اطلاعاتی در دست دارد، و یک مقدار که در صورت انتخابشدن توکن، تحویل داده میشود. پرسوجو در برابر تکتک کلیدها امتیازدهی میشود، این امتیازها از یک سافتمکس میگذرند، و خروجی نهایی، مجموع وزندارِ بردارهای مقدار خواهد بود. در نسخهی 2014، پرسوجو همان وضعیت دیکودر بود و کلیدها و مقدارها هم وضعیتهای پنهان یکسان انکودر بودند؛ اما ترنسفورمر هر سه را از طریق سه تصویر (projection) آموزشدیده از دل یک دنباله به دست میآورد.
پاسخ کامل
سه تصویر مجزا
برای یک دنبالهی X با n توکن که هر کدام d بُعد دارند:
Q = X @ Wq (n, dk) what each token looks for
K = X @ Wk (n, dk) what each token contains
V = X @ Wv (n, dv) what each token returns when picked
scores = Q @ K.T (n, n)
سطر iام از ماتریس امتیاز، دید یک توکن نسبت به کل دنباله است. سافتمکس این سطر را به وزنهایی تبدیل میکند که جمعشان برابر 1 میشود. خروجی برای توکن i، مجموع وزندارِ همهی بردارهای مقدار است.
تشبیه با پایگاه داده
یک پایگاه دادهی واقعی، پرسوجو را با یک کلید تطبیق میدهد و یک مقدار برمیگرداند. اما اتنشن، پرسوجو را با یک امتیاز شباهت با همهی کلیدها تطبیق میدهد و ترکیبی از تمام مقدارها را برمیگرداند. همین ترکیب است که به مدل اجازه میدهد اطلاعات موقعیتهای مختلف را در یک گام واحد با هم تلفیق کند.
نسخهی سال 2014 چه داشت؟
اتنشن انکودر-دیکودر در سال 2014 از وضعیت قبلی دیکودر به عنوان پرسوجو استفاده میکرد و آن را در برابر تکتک وضعیتهای پنهان انکودر امتیاز میداد. بردار زمینه (context vector) نیز میانگین وزندارِ همان وضعیتهای انکودر بود. در آن طراحی، کلیدها و مقدارها دقیقاً یک چیز بودند. دو تابع امتیازدهی هم رایج بود: امتیاز افزایشی (additive) که جفت بردار را از یک tanh و یک بردار آموزشدیده عبور میداد، و امتیاز ضربی (multiplicative) که حاصل ضرب داخلی را میگرفت. این راهکار سهخطی، گلوگاه اندازهثابت انکودر-دیکودر را شکست.
ترنسفورمر چه تغییری داد؟
خوداتنشن یک دنباله را در برابر خودش پرسوجو میکند و با استفاده از تصویرهای آموزشدیدهی مجزا، کلیدها را از مقدارها تفکیک میکند. اتنشن چندسر نیز چند نسخه از این فرایند را به صورت موازی اجرا میکند. ایدهی مجموع وزندارِ مقدارها همچنان پابرجاست. تابع امتیازدهی تغییر میکند: امتیاز افزایشی tanh و ضرب داخلی ساده جای خود را به ضرب داخلیِ تقسیمشده بر جذر ابعاد کلید میدهند.
سؤالهای تکمیلی مصاحبهگر
- سطح 1: ابعاد خروجی برای یک توکن چقدر است؟ پاسخ مورد انتظار: ابعاد مقدار، چون خروجی مجموع وزندارِ بردارهای مقدار است.
- سطح 2: چرا کلیدها و مقدارها تصویرهای مجزا دارند؟ پاسخ مورد انتظار: چون یک توکن میتواند بر اساس یک نوع اطلاعات تطبیق داده شود و نوع دیگری از اطلاعات را برگرداند.
- سطح 2: چرا در امتیازدهی با ضرب داخلی ساده، ابعاد پرسوجو و کلید باید برابر باشد؟ پاسخ مورد انتظار: ضرب داخلی فقط برای بردارهای همطول تعریف میشود؛ فرم کلیتر با قرار دادن یک ماتریس W، این محدودیت را حذف میکند.
- سطح 3: تلهی قراردادیِ میان دو تابع امتیازدهی کلاسیک چیست؟ پاسخ مورد انتظار: یکی از آنها از وضعیت دیکودر پیش از گام فعلی استفاده میکند و دیگری از وضعیت پس از آن؛ ترکیب نادرست این دو، گرادیانهایی با خطای نامحسوس تولید میکند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «کلید و مقدار حتماً باید یک بردار یکسان باشند.» در نسخهی کلاسیک اینطور بود، اما ترنسفورمر برای آنها تصویرهای مجزایی یاد میگیرد.
- «اتنشن تنها یک توکن را به عنوان بهترین تطبیق انتخاب میکند.» سافتمکس به تمام موقعیتها وزن میدهد و خروجی، همهی مقدارها را با هم ترکیب میکند.
- «پرسوجو از انکودر میآید.» در اتنشن انکودر-دیکودر، پرسوجو از دیکودر میآید و کلیدها و مقدارها از انکودر میآیند.
کجای دوره آموزش داده میشود
درس مکانیسم اتنشن نسخهی کلاسیک را میسازد و درس خوداتنشن تصویرها را پیادهسازی میکند.