طرح روتاری (Rotary) هر کوئری و هر کلید را به اندازهی زاویهای میچرخاند که متناسب با موقعیت مطلق توکن است. با این حال همه میگویند موقعیت نسبی را کدگذاری میکند. این تناقض ظاهری را حل کنید و بگویید برای اثبات این ویژگی چه تست واحدی (Unit test) مینویسید.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
چرخش روی جفتمختصاتها با زاویهی pos * theta_i اعمال میشود. وقتی کوئری از موقعیت m به کلیدی از موقعیت n میرسد، ضرب داخلی (Dot product) روی هر جفتبُعد عبارت cos((m - n) * theta_i) را در خود میگیرد؛ در نتیجه فقط فاصلهی بین این دو باقی میماند و دو موقعیت مطلق خنثی میشوند. آزمون: دو بردار تصادفی را یک بار در موقعیتهای (a, b) و بار دیگر در (a + k, b + k) بچرخانید، سپس بررسی کنید که مقدار ضرب داخلی در هر دو حالت تا حد خطای ممیز شناور یکسان باشد.
پاسخ کامل
چرخش
برای هر جفتبُعد (2i, 2i + 1) در هدی (Head) با عرض d_head:
def apply_rope(x, pos, base=10000):
d = len(x)
out = list(x)
for i in range(d // 2):
theta = pos / (base ** (2 * i / d))
c, s = math.cos(theta), math.sin(theta)
a, b = x[2 * i], x[2 * i + 1]
out[2 * i] = a * c - b * s
out[2 * i + 1] = a * s + b * c
return out
هر جفت در واقع نقطهای روی یک صفحه است و این چرخش، آن را به اندازهی pos * theta_i میچرخاند. مقدار زاویه برای مقادیر کوچکِ i با سرعت زیاد و برای مقادیر بزرگ بهکندی تغییر میکند، چون theta_i = base ** (-2i / d_head) است.
چرا ضرب داخلی فقط فاصله را میبیند
اگر برداری را با زاویهی آلفا بچرخانیم و حاصل را در بردار دیگری که با زاویهی بتا چرخیده ضرب داخلی کنیم، نتیجه برابر است با ضرب داخلی بردارهای اولیه وقتی به اندازهی alpha - beta چرخیدهاند. همین تابع را روی Q در موقعیت m و روی K در موقعیت n پیاده کنید؛ هر جفت ضریبی وابسته به (m - n) * theta_i تولید میکند. امتیاز اتنشن (Attention) به فاصله وابسته میشود، هرچند مبنای چرخش موقعیت مطلق بوده است. اتنشن بدون نیاز به هیچ جدول یا پارامتری، اطلاعات موقعیت نسبی را رایگان به دست میآورد.
محل اعمال
این چرخش روی Q و K بعد از تصویر (Projection) آنها و پیش از ضرب ماتریسی محاسبهی امتیاز اعمال میشود. این تبدیل هرگز به V دست نمیزند، چون مقادیر حاوی محتوایی هستند که نباید بر اساس موقعیت مکانی بچرخند؛ همچنین هرگز به امبدینگ (Embedding) ورودی دست نمیزند.
چرا برنده شد
این روش بدون دستکاری در معماری، دقیقاً در اتنشن مینشیند. متغیر base یک پیچ تنظیم بسیار تمیز است: مقیاس آن را تغییر دهید تا مدل به بافتهای طولانیتر دست پیدا کند. یکی از خانوادههای مدل با همین شیوه و به کمک روشهای مقیاسبندی مثل درونیابی آگاه از NTK (یا NTK-aware interpolation) و YaRN توانست طول بافت را از 8K به 128K برساند.
تست واحد
a, b = random vectors of width d_head
s1 = dot(apply_rope(a, pos_a), apply_rope(b, pos_b))
s2 = dot(apply_rope(a, pos_a + k), apply_rope(b, pos_b + k))
assert abs(s1 - s2) < tolerance
کل هدف این روش در همین ویژگی خلاصه میشود. اگر تست رد شود، یعنی چرخش فقط روی یک سمت اعمال شده یا دو طرف از جفتها یا زاویههای متفاوتی استفاده میکنند. قبولی در این تست لزوماً به معنای انطباق دقیق جفتها یا زاویهها با مرجع نیست؛ چون یک جفتسازی غلط ولی یکدست هم این تست را پاس میکند. بنابراین حتماً یکی از بردارهای چرخیدهشده را با مقداری که دستی حساب کردهاید هم مقایسه کنید.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا Q و K را میچرخانیم اما V را نه؟ پاسخ مورد انتظار: موقعیت مکانی باید روی میزان تطابقِ بین توکنها اثر بگذارد، نه روی محتوایی که پس از انتخاب یک توکن برگردانده میشود.
- سطح 3: چه اتفاقی میافتد اگر توکن در موقعیتی قرار بگیرد که مدل هرگز در آموزش ندیده است؟ پاسخ مورد انتظار: جفتهایی که سریع میچرخند به زاویههایی میرسند که مدل خواندن آنها را یاد نگرفته است؛ تغییر مقیاس base یا درونیابی موقعیتها آنها را به بازهی دیدهشده در آموزش برمیگرداند.
- سطح 3: روش اتنشن با بایاس خطی (Linear-bias attention) چطور بدون هیچ چرخشی به موقعیت نسبی میرسد؟ پاسخ مورد انتظار: جریمهای متناسب با
|i - j|به امتیازها اضافه میکند که شیب آن برای هر هد متفاوت است. - سطح 4: چرا بزرگتر کردن base به بافتهای طولانیتر کمک میکند؟ پاسخ مورد انتظار: پایهی بزرگتر، تمام بسامدها بهجز جفتبُعد اول را پایین میآورد (جفت اول همیشه با نرخ یک رادیان بهازای هر موقعیت میچرخد)، در نتیجه با رشد طول بافت، جفتهای پربسامد وارد زاویههای دیدهنشده نمیشوند؛ قاعدهی آگاه از NTK پایهی زاویه را با ضریب افزایش طول بافت به توان
d / (d - 2)تغییر مقیاس میدهد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «روش RoPE یک بردار موقعیت به امبدینگ اضافه میکند.» این روش کوئریها و کلیدها را درون اتنشن میچرخاند؛ امبدینگ دستنخورده باقی میماند.
- «روش RoPE به جدولی با ابعادِ بیشینهی طول در عرض بردار نیاز دارد.» زاویهها از یک فرمول به دست میآیند؛ هیچ جدول و هیچ پارامتری در کار نیست.
- «فقط کلیدها را بچرخانید تا نصف بار محاسباتی کم شود.» در این صورت امتیاز به موقعیت مطلقِ کلید وابسته میشود و ویژگی موقعیت نسبی کاملاً از بین میرود.
کجای دوره آموزش داده میشود
درس کدگذاری مکانی (Positional Encoding) فرمول این چرخش را استخراج میکند و تست فاصلهی نسبی را بهعنوان یکی از مراحل ساخت ارائه میدهد.