سؤال مصاحبه

جای کلمات را عوض کنید؛ اتنشن متوجه نخواهد شد

Shuffle the words and attention does not notice

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

یک جمله بردارید و ترتیب کلماتش را به هم بریزید. هر دو نسخه را به یک لایه‌ی خوداتنشن (Self-Attention) بدهید که هیچ سیگنال مکانی ندارد. این دو خروجی چه ارتباطی با هم دارند و شما چه راهکارهایی را در قالب سه خانواده‌ی اصلی برای حل این مشکل نام می‌برید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سطرهای خروجی دقیقاً با همان ترتیبِ به‌هم‌ریخته برمی‌گردند و هیچ چیز دیگری تغییر نمی‌کند؛ چون اتنشن فقط شباهت‌های دو‌به‌دوی میان توکن‌ها (Token) را محاسبه می‌کند. در زبان و کد، ترتیب حامل معناست؛ بنابراین مدل به سیگنال دومی نیاز دارد. سه راهکار اصلی عبارتند از: افزودن بردار موقعیت به امبدینگ (یک جدول یادگیری‌پذیر یا یک تابع سینوسی ثابت)، چرخش کوئری‌ها (Query) و کلیدها (Key) با زاویه‌ای که با موقعیت افزایش می‌یابد، و افزودن جریمه‌ی فاصله به امتیازها (Scores).

پاسخ کامل

چرا این لایه ترتیب را نمی‌فهمد؟

ماتریس امتیازها به صورت softmax(Q K^T / sqrt(d)) V است که از ضرب‌های داخلی (Dot product) بین جفت‌های توکن ساخته می‌شود. اگر جای سطرهای X را با جایگشت تغییر دهید، مقدار تک‌تک ضرب‌های داخلی حفظ می‌شود و فقط جای آن‌ها درون ماتریس تغییر می‌کند. این لایه ذاتاً نسبت به جایگشت هم‌ورد است (Permutation-equivariant).

راهکار اول: افزودن بردار موقعیت به ورودی

یک جدول یادگیری‌پذیر برای هر موقعیت یک سطر دارد؛ بنابراین به اندازه‌ی max_context_length ضرب در D پارامتر اضافه می‌کند و برای موقعیت‌های فراتر از طول آموزش‌دیده هیچ سطری ندارد. اما یک تابع سینوسی ثابت از فرمول زیر استفاده می‌کند:

angle = p / (10000 ** (2 * k / D))
emb[p, 2k]     = sin(angle)
emb[p, 2k + 1] = cos(angle)

این روش هیچ پارامتری ندارد. طول موج در ابعاد مختلف به صورت هندسی تغییر می‌کند. بعدهای پایین‌تر بیشترین زاویه به ازای هر موقعیت و کوتاه‌ترین طول موج را دارند، بنابراین موقعیت دقیق را کدگذاری می‌کنند؛ بعدهای بالاتر طولانی‌ترین طول موج را دارند و موقعیت کلی را کدگذاری می‌کنند. بردار در موقعیت p به اضافه‌ی k یک تابع خطی از بردار در موقعیت p است؛ این ویژگی به اتنشن اجازه می‌دهد فاصله‌های نسبی را به‌سادگی یاد بگیرد. بردار موقعیت با بردار توکن جمع می‌شود، نه اینکه به آن الحاق (Concatenate) شود؛ به همین دلیل D ثابت می‌ماند و خود مدل به ازای هر ویژگی تصمیم می‌گیرد که موقعیت مکانی چقدر اهمیت دارد.

راهکار دوم: چرخاندن کوئری‌ها و کلیدها

امبدینگ موقعیت روتاری (Rotary Position Embedding یا RoPE) هر جفت از مختصات را در Q و K به اندازه‌ی pos * theta_i می‌چرخاند که در آن theta_i = base ** (-2i / d_head) و پایه‌ی پیش‌فرض 10000 است. در نتیجه، ضرب داخلی کوئری چرخیده‌شده و کلید چرخیده‌شده فقط به فاصله‌ی میان آن‌ها وابسته می‌شود. این روش در سال 2026 انتخاب غالب است.

راهکار سوم: بایاس روی امتیازها

اتنشن با بایاس خطی (Linear-bias attention)، مقدار -m_h * |i - j| را به امتیاز کوئری i و کلید j اضافه می‌کند که شیب آن به ازای هر هد (Head) مشخص می‌شود. در این روش نیازی به جدول یا چرخش نیست و توانایی برون‌یابی (Extrapolation) فوق‌العاده‌ای روی ورودی‌های طولانی‌تر دارد.

جایگاه اجرای هر روش کجاست؟

خانواده‌ی اول، ورودی لایه‌ی اول را تغییر می‌دهد. دو روش دیگر درون خود اتنشن، روی تصویرها (Projections) یا امتیازها اعمال می‌شوند؛ بنابراین بدون دست زدن به امبدینگ، از همان ساختار ابعادی مرحله‌ی امبدینگ پیروی می‌کنند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: چرا دو بردار با هم جمع می‌شوند به جای اینکه به هم الحاق شوند؟ پاسخ مورد انتظار: جمع زدن باعث می‌شود D در سراسر شبکه ثابت بماند و به مدل اجازه می‌دهد به ازای هر ویژگی، وزن توکن و موقعیت را خودش بسنجد.
  • سطح 2: جدول موقعیت یادگیری‌پذیر چه هزینه‌ای دارد که روش سینوسی ندارد؟ پاسخ مورد انتظار: به اندازه‌ی max_context_length ضرب در D پارامتر اضافه می‌کند و نمی‌توان فراتر از طول آموزش‌دیده به آن اندیس داد.
  • سطح 2: چرا بعدهای بالای روش سینوسی موقعیت کلی را کدگذاری می‌کنند؟ پاسخ مورد انتظار: چون طول موج آن‌ها از همه بلندتر است، بنابراین در طول موقعیت‌ها به‌کندی تغییر می‌کنند.
  • سطح 3: چرخش در کجای بلوک اعمال می‌شود؟ پاسخ مورد انتظار: روی Q و K داخل اتنشن، بعد از تصویر و قبل از ضرب ماتریسی امتیازها؛ هرگز روی V اعمال نمی‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «سافت‌مکس (Softmax) باعث درک ترتیب در اتنشن می‌شود.» سافت‌مکس فقط یک سطر از شباهت‌ها را نرمال‌سازی می‌کند؛ اصلاً نمی‌داند کدام ستون اول است.
  • «افزودن موقعیت به عنوان یک عدد اضافی به امبدینگ.» یک اسکالر نمی‌تواند سیگنال قابل استفاده‌ای به ضرب‌های داخلی بدهد؛ این روش‌ها موقعیت را در چندین بعد پخش می‌کنند یا آن را مستقیماً وارد امتیازها می‌کنند.
  • «موقعیت مکانی فقط برای توالی‌های طولانی اهمیت دارد.» با جابه‌جا شدن کلمات یک جمله‌ی دوکلمه‌ای هم معنایش کاملاً تغییر می‌کند.

کجای دوره آموزش داده می‌شود

درس کدگذاری مکانی این سه خانواده را مقایسه می‌کند و در پروژه‌ی پایانی امبدینگ جدول‌های یادگیری‌پذیر و سینوسی ساخته می‌شوند.