سؤال مصاحبه

اتنشن اجرا می‌شود، اما بردار زمینه ابعاد اشتباهی دارد

Attention runs, and the context has the wrong shape

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

یک ماژول اتنشن (attention) بین انکودر و دیکودر بدون هیچ خطایی اجرا می‌شود، اما دقت مدل به‌مرور از پیاده‌سازی مرجع عقب می‌افتد. وقتی تنسور زمینه (context tensor) را چاپ می‌کنید، بُعد دوم آن به‌جای طول دیکودر، طول انکودر است. مراحل عیب‌یابی را توضیح دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ماژولی که اجرا می‌شود اما همچنان خروجی آن ابعاد اشتباهی دارد، دچار باگ برادکستینگ (broadcasting) شده است. برادکستینگ خاموش (silent broadcast) بدترین باگ در اتنشن به شمار می‌رود، چون به‌جای کرش کردن برنامه، بی‌صدا دقت مدل را کاهش می‌دهد. ابتدا ابعاد مورد انتظار را بنویسید: ابعاد امتیازها (scores) و وزن‌ها برابر است با دسته (batch) در طول دیکودر در طول انکودر، و ابعاد بردار زمینه برابر است با دسته در طول دیکودر در پهنای حالت انکودر. سپس ضرب ماتریسی‌ای (matmul) را پیدا کنید که عملوندهایش جابه‌جا شده‌اند یا ترانهاده (transpose) نشده‌اند؛ مشکل را با یک ترانهاده یا تغییر شکل (reshape) برطرف کنید و برای ابعاد تنسورها و جمع وزن‌ها به عدد 1، assert بگذارید.

پاسخ کامل

جدول ابعاد

تنسور ابعاد
حالت‌های انکودر H (T_enc, d_h)؛ مقدار d_h برای انکودر دوطرفه (bidirectional) دو برابر اندازه‌ی لایه‌ی پنهان است
حالت دیکودر s (d_s,)
امتیاز برای یک جایگاه از انکودر اسکالر
وزن‌ها پس از سافت‌مکس (softmax) (T_enc,) به‌ازای هر گام دیکودر
بردار زمینه (context vector) (d_h,)، هم‌اندازه‌ی یک حالت انکودر

در حالت دسته‌ای روی گام‌های دیکودر، ابعاد وزن‌ها (batch, T_dec, T_enc) و ابعاد بردار زمینه (batch, T_dec, d_h) خواهد بود.

دلیل شکل‌گیری ابعاد اشتباه

بردار زمینه حاصل weights @ H است. اگر در کد، امتیازها به‌صورت H @ H.T ساخته شده باشند (چون تنسور کوئری با حالت‌های انکودر جایگزین شده است)، ضرب ابعاد همچنان مجاز است و انجام می‌شود، اما نتیجه به‌جای طول دیکودر، طول انکودر را در آن بعد دارد. هیچ خطایی پرتاب نمی‌شود. لایه‌های بعدی این تنسور را برادکست یا تغییر شکل می‌دهند و تابع زیان (loss) هم همچنان کاهش می‌یابد؛ فقط با سرعتی کمتر.

مراحل عیب‌یابی

  1. ابعاد تک‌تک تنسورهای میانی را چاپ کنید و با جدول ابعاد مطابقت دهید.
  2. فرمول محاسبه‌ی امتیاز را بررسی کنید. در حالت جمعی (additive form)، بردار تصویر (projection vector) یک بردار با بعد اتنشن را به یک عدد اسکالر تبدیل می‌کند. در حالت ضرب نقطه‌ای (dot form)، کوئری و کلید باید پهنای یکسانی داشته باشند؛ از آنجا که انکودر دوطرفه پهنای کلید را دو برابر می‌کند، حالت ضرب نقطه‌ای شکست می‌خورد مگر اینکه یک ماتریس W میان آن‌ها قرار بگیرد.
  3. بررسی کنید کدام حالت دیکودر به کوئری داده می‌شود. یک فرمول‌بندی کلاسیک از حالتِ قبل از گام فعلی استفاده می‌کند و دیگری از حالتِ بعد از آن. ترکیب اشتباه این دو، گرادیان‌هایی نامحسوس و نادرست ایجاد می‌کند که ردیابی آن‌ها بسیار سخت است.
  4. مشکل را با یک ترانهاده، تغییر شکل یا تصویر (projection) حل کنید. هرگز راه‌حلی را که صرفاً با برادکستینگ عدم تطابق ابعاد را پنهان می‌کند، نپذیرید.

تست رگرسیون

assert output.shape == (batch, T_dec, d_h)
assert weights.shape == (batch, T_dec, T_enc)
assert weights.sum(dim=-1) is close to 1

خط سوم کدی را بررسی می‌کند که در آن سافت‌مکس روی محور اشتباهی اعمال شده است؛ یعنی همان باگ خاموش دیگر در این لایه.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: کدام تک‌تست جلوی بیشتر باگ‌های اتنشن را می‌گیرد؟ انتظار می‌رود: بررسی اینکه ابعاد وزن‌ها به‌صورت «دسته در طول دیکودر در طول انکودر» باشد و مجموع مقادیر روی محور آخر برابر با 1 شود.
  • سطح 2: ماتریس امتیازها در بُعد انکودر مربع از آب درمی‌آید؛ چه اتفاقی افتاده است؟ انتظار می‌رود: امتیاز کلیدها در برابر خودشان محاسبه شده است؛ یعنی تنسور کوئری با حالت‌های انکودر جایگزین شده است.
  • سطح 3: چرا امتیازدهی ضرب نقطه‌ای ساده در انکودر دوطرفه کار نمی‌کند؟ انتظار می‌رود: حالت انکودر پهنایی دو برابر لایه‌ی پنهان دارد، بنابراین دیگر با حالت دیکودر هم‌خوانی ندارد؛ باید از فرمول عمومی با یک ماتریس میانی استفاده کنید.
  • سطح 3: چرا قرارداد انتخاب حالت دیکودر، یک مشکل گرادیان است نه مشکل ابعاد؟ انتظار می‌رود: هر دو حالت ابعاد یکسانی دارند، پس کدی با خطا متوقف نمی‌شود؛ اما گرادیان به گام اشتباهی جریان می‌یابد و مدل تراز (alignment) را با خطایی جزئی یاد می‌گیرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ابعاد خروجی را به ابعاد مورد انتظار تغییر شکل دهید و ادامه دهید.» مقادیر درون تنسور اشتباه هستند؛ تغییر شکل فقط عدم تطابق را پنهان می‌کند.
  • «نرخ یادگیری (learning rate) را کم کنید؛ مدل ناپایدار است.» اجرای مدل ناپایدار نیست؛ بلکه دارد مقدار اشتباهی را محاسبه می‌کند.
  • «برای اصلاح ابعاد، یک ماسک اضافه کنید.» ماسک تعیین می‌کند کدام جایگاه‌ها وزن دریافت کنند، نه اینکه ساختار و چیدمان تنسور را تغییر دهد.

کجای دوره آموزش داده می‌شود

درس مکانیسم اتنشن جدول ابعاد و پرامپت عیب‌یابی ابعاد را ارائه می‌دهد، و درس خوداتنشن تصاویر را بررسی می‌کند.