سؤال مصاحبه

مسیر میان‌بر چه کاری انجام می‌دهد و دراپ‌اوت کجا قرار می‌گیرد؟

What the skip path does and where dropout may go

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

هر بلوک ترنسفورمر (transformer block) دو مسیر میان‌بر (skip path) دارد؛ یکی دور اتنشن (attention) و دیگری دور شبکه‌ی پیش‌خور (feed-forward network). این مسیرها در فرایند آموزش چه نقشی دارند؟ کدام‌یک از این دو زیرلایه اطلاعات را بین توکن‌ها جابه‌جا می‌کند؟ و چرا قرار دادن لایه‌ی دراپ‌اوت (dropout) روی خودِ مسیر میان‌بر همه‌چیز را به هم می‌ریزد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مسیر میان‌بر باعث می‌شود گرادیان (gradient) در طول عمق مدل به‌صورت جمع‌پذیر (additive) منتقل شود. در نتیجه، اندازه‌ی نُرم گرادیان در یک ساختار 12 لایه‌ای در مقیاس مناسبی باقی می‌ماند و در هر لایه مدام کوچک‌تر نمی‌شود؛ همچنین به هر بلوک اجازه می‌دهد به‌جای جایگزینی کامل، فقط یک به‌روزرسانی کوچک به بازنمایی موجود اضافه کند. از میان زیرلایه‌ها، تنها اتنشن اطلاعات توکن‌ها را با هم ترکیب می‌کند؛ شبکه‌ی MLP همان دو لایه را به‌طور مستقل روی تک‌تک موقعیت‌ها اعمال می‌کند. جایگاه درست دراپ‌اوت بعد از سافت‌مکس (softmax) اتنشن، روی خروجی اتنشن قبل از جمع با مسیر پسماند، و بعد از لایه‌ی خطی دوم در MLP است. قرار دادن دراپ‌اوت روی مسیر میان‌بر، نگاشت همانی (identity) را که گرادیان را منتقل می‌کند می‌شکند؛ مدل‌های اولیه‌ای که این کار را می‌کردند آموزش بسیار شکننده‌ای داشتند.

پاسخ کامل

بلوک به‌مثابه‌ی یک تابع

یک بلوک رمزگشا (decoder block) تنسوری (tensor) با ابعاد (batch, sequence, embedding) دریافت می‌کند و خروجی با همان ابعاد تحویل می‌دهد. درون بلوک، دو زیرلایه کار پردازش را انجام می‌دهند:

x = x + attention(norm(x))
x = x + mlp(norm(x))

هر خط، یک به‌روزرسانی جمع‌پذیر به جریانی است که از بالا به پایین در تمام بلوک‌ها حرکت می‌کند. در این درس، این تنسور را جریان پسماند (residual stream) می‌نامیم.

چرا مسیر جمع‌پذیر اهمیت دارد؟

بدون مسیر میان‌بر، گرادیان بعد از حدود 6 لایه محو می‌شود (vanish). اما با وجود آن، گرادیانِ تابع زیان (loss) نسبت به لایه‌های اولیه دارای یک مؤلفه‌ی مستقیم است که از زیرلایه‌ها عبور نمی‌کند؛ بنابراین با افزایش عمق، به‌جای این‌که تضعیف گرادیان‌ها در هم ضرب شود، مؤلفه‌ها با هم جمع می‌شوند. فایده‌ی دوم در شیوه‌ی بازنمایی است: نیازی نیست یک بلوک تمام ورودی‌اش را بازتولید کند، بلکه صرفاً آموخته‌های جدیدش را به آن می‌افزاید.

چه کسی با چه کسی گفتگو می‌کند؟

اتنشن تنها جایی است که توکن‌ها در آن اطلاعات ردوبدل می‌کنند. در مقابل، MLP وابسته به موقعیت (position-wise) عمل می‌کند: همان وزن‌ها به‌طور مستقل روی هر توکن اعمال می‌شوند؛ در بلوک کلاسیک با پهنای لایه‌ی پنهانِ 4 برابرِ عرض امبدینگ و تابع فعال‌ساز GELU. بلوک‌های مدرن از SwiGLU با 3 ماتریس و پهنایی در حدود 2.6 برابر استفاده می‌کنند تا تعداد پارامترها با همان MLP کلاسیک (4 برابر) برابر بماند، و در عین حال جمله‌های بایاس (bias) را حذف می‌کنند.

دراپ‌اوت روی branchها، هرگز روی مسیر همانی

دراپ‌اوتِ اتنشن بعد از سافت‌مکس، دراپ‌اوتِ پسماند روی خروجی اتنشن، و دراپ‌اوتِ پسماند بعد از لایه‌ی خطی دوم در MLP قرار می‌گیرد. اگر دراپ‌اوت را روی جمله‌ی همانی اعمال کنید، بخش‌هایی از آن به‌صورت تصادفی حذف می‌شود و مسیر گرادیانی که عمق مدل را دست‌یافتنی کرده بود دیگر قابل‌اتکا نخواهد بود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: اگر مدل فقط به تبدیل‌های مختص به هر توکن نیاز داشت، کدام زیرلایه را حذف می‌کردید؟ پاسخ مورد انتظار: اتنشن؛ چون MLP هیچ‌گاه به سایر موقعیت‌ها نگاه نمی‌کند.
  • سطح 3: چرا FFN در مدل‌های مدرن به‌جای ضریب 4، از ضریب انبساط حدود 2.6 استفاده می‌کند؟ پاسخ مورد انتظار: چون SwiGLU 3 ماتریس وزن دارد، بنابراین ضریب 2.6 برای پهنا، تعداد پارامترهایی معادل یک MLP دوماتریسی با ضریب 4 ایجاد می‌کند.
  • سطح 3: چرا ساختارهای مدرن جملات بایاس را در لایه‌های خطی حذف می‌کنند؟ پاسخ مورد انتظار: طبق نکات درس، این کار باعث بهبود جزئی در پرپلکسیتی (perplexity) و کاهش حجم مدل می‌شود.
  • سطح 4: داوری پیشنهاد می‌دهد برای منظم‌سازی (regularization) یک مدل کوچک، جمله‌ی همانی را دراپ‌اوت کنیم. پاسخ شما چیست؟ پاسخ مورد انتظار: خیر؛ دراپ‌اوت باید روی خروجی branchها بماند، زیرا نگاشت همانیِ جمع‌پذیر همان عاملی است که امکان رسیدن گرادیان به لایه‌های اولیه را فراهم می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مسیر میان‌بر برای این وجود دارد که ابعاد خروجی با ابعاد ورودی برابر بماند.» ابعاد خروجی در هر صورت برابر می‌ماند؛ هدف مسیر میان‌بر، جریان گرادیان و به‌روزرسانی‌های جمع‌پذیر است.
  • «قرار دادن دراپ‌اوت در هر کجای بلوک تفاوتی ایجاد نمی‌کند.» دراپ‌اوت روی جمله‌ی همانی به مسیر گرادیان آسیب می‌زند؛ دراپ‌اوت روی خروجی branchها چنین مشکلی ایجاد نمی‌کند.
  • «شبکه‌ی پیش‌خور اطلاعات بین توکن‌ها را ترکیب می‌کند.» این شبکه همان MLP را تنها روی هر موقعیت به‌صورت مجزا اعمال می‌کند؛ ترکیب اطلاعات فقط در اتنشن رخ می‌دهد.

کجای دوره آموزش داده می‌شود

در درس کامل ترنسفورمر 6 جزء اصلی بلوک معرفی می‌شوند، و پروژه‌ی پایانیِ بلوک ترنسفورمر سازوکار جریان پسماند و جایگاه دراپ‌اوت را توضیح می‌دهد.