سؤال مصاحبه

نقشه‌ی حرارتی توضیح به حساب نمی‌آید

A heatmap is not an explanation

  • سطح ۳: ارشد
  • مفهومی
  • ۱۰ دقیقه

در پیش‌نویس یک مقاله، از نقشه‌های حرارتی اتنشن (attention heatmaps) به عنوان اثبات این ادعا استفاده شده که مدل «روی توکن‌های درستی استدلال می‌کند». شما داور این مقاله‌اید. درباره‌ی این نقشه‌های حرارتی چه می‌گویید و چه چیزی شما را قانع می‌کند که یک هد (head) خاص، کار مشخصی انجام می‌دهد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

وزن‌های اتنشن توزیعی روی موقعیت‌ها هستند و به‌تنهایی توضیح به حساب نمی‌آیند: در برخی وظایف (tasks)، می‌توان این وزن‌ها را جابه‌جا کرد یا بدون تغییر در پیش‌بینی، آن‌ها را با مقادیر دلخواه دیگری جایگزین نمود؛ بنابراین نقشه‌ی حرارتی فقط نشان می‌دهد که جرم و تمرکز به کجا رفته است، نه این‌که آیا اصلاً اهمیتی داشته یا خیر. درخواست ابطال‌سنجی (ablation) یا بررسی خلاف‌واقع (counterfactual) کنید؛ خروجی هد را صفر یا بر بزنید و نشان دهید که پیش‌بینی تغییر می‌کند. نقش‌هایی از هدها که از آزمون ارزیابی (probe) سربلند بیرون آمده‌اند، مشخص و آزمون‌پذیرند: هدهایی که به توکن قبلی اتنشن دارند، هدهای کپی‌کننده و سرهای القا (induction heads) که رخداد قبلیِ توکن فعلی را پیدا کرده و توکنِ بعد از آن را کپی می‌کنند.

پاسخ کامل

هشدار مهم از دل مقالات

مطالعه‌ای در سال 2019 نشان داد که در برخی وظایف می‌توان توزیع اتنشن را جابه‌جا کرد یا آن را با یک جایگزین خصمانه تغییر داد، در حالی که خروجی مدل دست‌نخورده باقی می‌ماند. قاعده‌ی این درس بر همین اساس است: هرگز وزن‌های اتنشن را بدون ابطال‌سنجی یا بررسی خلاف‌واقع به عنوان شواهد (evidence) استدلال گزارش نکنید. داوران نقشه‌های حرارتی را دوست دارند چون خواندنشان آسان است؛ اما این موضوع دلیلی برای احتیاط بیشتر است، نه دلیلی برای پذیرش آن‌ها.

یک هد چه چیزی را می‌تواند نشان دهد

قلابِ بازرسی (inspection hook) در بلوک کد این درس، وزن‌های هر هد را با ابعاد (B, H, T, T) برمی‌گرداند. در یک مدل آموزش‌دیده، این الگوها در هدهای مختلف فرق دارند: برخی به توکنِ دقیقاً قبلی اتنشن دارند، برخی به ابتدای دنباله، و برخی دیگر تقریباً به‌طور یکنواخت پخش می‌شوند. این‌ها صرفاً توصیف وضعیت‌اند. برای تبدیل یک توصیف به یک ادعای علمی، مداخله لازم است.

شواهدی که قانع‌کننده‌اند

  1. ابطال‌سنجی. خروجی هد را صفر کنید یا وزن‌های آن را با یک ردیف یکنواخت جایگزین کنید و تغییر در تابع زیان (loss) یا در پیش‌بینیِ مشخص را بسنجید. هدی که تأثیرگذار باشد، مقدار این عدد را جابه‌جا می‌کند.
  2. ورودی خلاف‌واقع. توکنی را که نقشه‌ی حرارتی به آن اشاره می‌کند تغییر دهید و نشان دهید که خروجی در همان جهتی که ادعا پیش‌بینی می‌کند تغییر می‌یابد.
  3. آزمون رفتاری برای نقش ادعاشده. برای یک سر القا، یک دنباله‌ی تصادفی از توکن‌ها را دو بار پشت‌سرهم تکرار کنید و به مدل بدهید؛ سپس نشان دهید که این هد از هر توکن به توکنی اتنشن دارد که بعد از اولین رخداد آن آمده بود، و ابطال‌سنجی هد رفتار کپی کردن را حذف می‌کند.
  4. تکرارپذیری در سیدها (seeds) و پرامپت‌های مختلف. یک نقشه‌ی حرارتی روی یک نمونه‌ی منفرد صرفاً یک حکایت شخصی و غیرقابل‌اتکاست.

در متن داوری چه بنویسیم

از نویسندگان بخواهید نقشه‌های حرارتی را صرفاً برای مصورسازی نگه دارند و نتایج مداخله را به عنوان شواهد به متن اضافه کنند. اگر ابطال‌سنجی تغییری در پیش‌بینی ایجاد نکند، آن نقشه‌ی حرارتی صرفاً جنبه‌ی تزئینی داشته است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: یک هد تقریباً به‌طور یکنواخت به همه‌ی موقعیت‌ها اتنشن دارد. این موضوع چه چیزی را به شما می‌گوید؟ پاسخ مورد انتظار: به‌تنهایی پیام خاصی ندارد؛ ممکن است نوعی میانگین‌گیری انجام دهد یا هیچ اثری نداشته باشد، و فقط ابطال‌سنجی مشخص می‌کند کدام حالت است.
  • سطح 3: آزمون یک سر القا را در یک جمله توصیف کنید. پاسخ مورد انتظار: یک دنباله‌ی توکن تصادفی را تکرار کنید و بررسی کنید که هد از هر توکن به توکنِ بعد از رخداد قبلی‌اش اتنشن داشته باشد، به‌طوری که ابطال‌سنجی رفتار کپی کردن را از بین ببرد.
  • سطح 4: چرا وزن‌ها را می‌توان بدون تغییر خروجی جابه‌جا کرد؟ پاسخ مورد انتظار: مقادیر (values) در موقعیت‌های مورد توجه ممکن است اطلاعات تقریباً یکسانی داشته باشند، هدهای دیگر مازاد (redundant) باشند و لایه‌های بعدی اثر آن را جبران کنند.
  • سطح 4: چه چیزی باید به عنوان شکل اصلی (headline figure) جایگزین نقشه‌ی حرارتی شود؟ پاسخ مورد انتظار: تغییر در تابع زیان یا در احتمال هدف در اثر ابطال‌سنجی و ویرایش‌های خلاف‌واقع، همراه با نمایش بازه‌ی تغییرات در سیدهای مختلف.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «وزن بالا یعنی آن توکن علت خروجی بوده است.» وزن فقط نشان می‌دهد که جست‌وجو به کدام سمت رفته است؛ اثبات علیت نیازمند مداخله است.
  • «برای به دست آوردن اتنشن کلی مدل، از هدها میانگین بگیرید.» هدها کارهای متفاوتی انجام می‌دهند؛ میانگین‌گیری نقش‌های مستقل را پنهان می‌کند و همچنان شواهد معتبری به حساب نمی‌آید.
  • «اگر نقشه‌ی حرارتی با شهود انسانی سازگار باشد، یعنی مدل مثل انسان استدلال می‌کند.» هم‌خوانی با شهود یک آزمون نیست؛ نتایج جابه‌جایی وزن‌ها نشان می‌دهد نقشه‌های مطابق با شهود هم می‌توانند کاملاً بی‌ارتباط با خروجی باشند.

کجای دوره آموزش داده می‌شود

درس مکانیسم اتنشن (attention mechanism) دام توجیه و تفسیر را تشریح می‌کند، درس چند‌هدی نقش‌های آزموده‌شده‌ی هدها را فهرست می‌کند و پروژه‌ی پایانی اتنشن وزن‌ها را برای بازرسی در اختیارتان می‌گذارد.