سؤال مصاحبه

چرا لایه‌ی نرمال‌سازی به قبل از زیرلایه منتقل شد؟

Why the norm moved in front of the sublayer

  • سطح ۲: میانی
  • بده‌بستان
  • ۸ دقیقه

مقاله سال 2017 نرمال‌سازی لایه‌ای (Layer Normalization) را بعد از جمع پسماند قرار داده بود. از حدود سال 2019 به بعد، تقریباً در تمام مدل‌ها این لایه قبل از زیرلایه قرار می‌گیرد. چه چیزی تغییر کرد، چطور می‌توانید این تفاوت را ظرف یک بعدازظهر نشان دهید، و RMSNorm علاوه بر این چه تغییری ایجاد می‌کند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پس‌نرمال‌سازی (Post-norm) گرادیان مسیر میان‌بُر (skip path) را در هر لایه از یک نرمال‌سازی عبور می‌دهد؛ در نتیجه با افزایش عمق، گرادیان آب می‌رود و فرایند آموزش برای دوام آوردن به زمان‌بندی گرم‌کردن (warmup) نیاز پیدا می‌کند. پیش‌نرمال‌سازی (Pre-norm) مسیر میان‌بُر را دست‌نخورده و بدون نرمال‌سازی نگه می‌دارد؛ بنابراین گرادیان شفاف و تمیز به امبدینگ‌ها می‌رسد و مدل‌های عمیق بدون ترفندهای گرم‌کردن آموزش می‌بینند. برای اثبات تجربی، کافی است 12 لایه از هر دو حالت را با مقداردهی اولیه‌ی یکسان روی هم بچینید و نُرم گرادیان (gradient norm) را بعد از یک گام رو به عقب (Backward Pass) روی امبدینگ چاپ کنید. RMSNorm سپس تفریق میانگین را هم حذف می‌کند؛ یعنی یک عملیات کمتر، همراه با همان پایداری در عمل.

پاسخ کامل

دو شیوه‌ی جای‌گذاری

pre-norm:   x + sublayer(LN(x))
post-norm:  LN(x + sublayer(x))

ابعاد یکسان است، اما رفتار حین آموزش کاملاً تفاوت دارد. در بلوک پس‌نرمال‌سازی، بعد از جمع پسماند نرمال‌سازی قرار می‌گیرد؛ بنابراین سیگنالی که در مسیر رفت از لایه‌ها عبور می‌کند در هر لایه نرمال می‌شود و گرادیانی هم که در مسیر برگشت جریان دارد باید از تک‌تک این نرمال‌سازی‌ها بگذرد. در عمق 12 لایه و با نرخ یادگیری (Learning rate) برابر با 3e-4، این گرادیان آن‌قدر سریع تضعیف می‌شود که حتماً به گرم‌کردن نیاز خواهید داشت. در مقابل، در بلوک پیش‌نرمال‌سازی لایه‌ی نرمال‌سازی درون branch، قبل از اتنشن (Attention) و قبل از MLP می‌نشیند و مسیر میان‌بُر سیگنال خام را منتقل می‌کند.

آزمایش یک‌بعدازظهری

  1. یک ساختار 6 یا 12 لایه با فلگ pre_ln بسازید.
  2. ورودی تصادفی یکسانی را به هر دو نسخه با وزن‌های کاملاً یکسان بدهید.
  3. یک گام رو به عقب اجرا کنید و نُرم گرادیان را در لایه‌ی امبدینگ چاپ کنید.

مدل پیش‌نرمال‌سازی در همان نرخ یادگیری، گرادیان امبدینگی را نشان می‌دهد که حدود یک مرتبه‌ی بزرگی (order of magnitude) بیشتر از مدل پس‌نرمال‌سازی است.

آنچه پیش‌نرمال‌سازی نیاز دارد اما پس‌نرمال‌سازی نداشت

یک نرمال‌سازی نهایی قبل از هد (Head) خروجی. جریان پسماند (Residual Stream) در مدل پیش‌نرمال‌سازی بدون نرمال‌سازی باقی می‌ماند؛ به همین خاطر هد خروجی در انتها به یک بار نرمال‌سازی نیاز دارد.

لایه‌ی RMSNorm

لایه‌ی LayerNorm میانگین را کم می‌کند و حاصل را بر انحراف معیار تقسیم می‌نماید. RMSNorm مقادیر را بر جذر میانگین مربعات (RMS) تقسیم می‌کند و از تفریق میانگین صرف‌نظر می‌کند. این کار بار محاسباتی را به‌اندازه‌ی یک عملیات سبک‌تر می‌کند و از نظر تجربی حداقل به‌همان اندازه پایدار است؛ به همین دلیل بلوک‌های امروزی از آن استفاده می‌کنند.

جای درست دراپ‌اوت

بعد از سافت‌مکس (Softmax) اتنشن، روی خروجی اتنشن قبل از جمع پسماند، و بعد از دومین لایه‌ی خطیِ MLP. هرگز دراپ‌اوت (Dropout) را روی خود مسیر میان‌بُر اعمال نکنید؛ چون این کار ویژگی همانی جمع‌پذیر را از بین می‌برد، در حالی که دقیقاً همین ویژگی باعث جریان آزاد گرادیان در عمق مدل می‌شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: لایه‌ی نرمال‌سازی در یک بلوک پیش‌نرمال‌سازی دقیقاً کجا قرار می‌گیرد؟ پاسخ مورد انتظار: داخل هر branch پسماند، قبل از اتنشن و قبل از MLP، به‌علاوه‌ی یک نرمال‌سازی نهایی قبل از هد.
  • سطح 3: چرا مدل پیش‌نرمال‌سازی به یک نرمال‌سازی نهایی نیاز دارد اما مدل پس‌نرمال‌سازی ندارد؟ پاسخ مورد انتظار: مسیر میان‌بُر در پیش‌نرمال‌سازی نرمال‌سازی نشده است؛ بنابراین بدون آن، هد خروجی با جریانی بدون کران روبه‌رو می‌شود.
  • سطح 3: مدل 6 لایه‌ی پس‌نرمال‌سازی شما بدون مشکل آموزش می‌بیند اما نسخه‌ی 24 لایه‌ی آن واگرا می‌شود. چرا؟ پاسخ مورد انتظار: گرادیانِ مسیر میان‌بُر در هر نرمال‌سازی تضعیف می‌شود و این اثر با افزایش عمق تشدید می‌گردد؛ باید فاز گرم‌کردن اضافه کنید یا ساختار را به پیش‌نرمال‌سازی تغییر دهید.
  • سطح 4: چه چیزی شما را قانع می‌کند به‌جای RMSNorm از LayerNorm استفاده کنید؟ پاسخ مورد انتظار: اندازه‌گیری تفاوتی ملموس در کیفیت یا پایداری روی اجرای مدل خودتان؛ شواهد (Evidence) این درس نشان می‌دهد RMSNorm در عین ارزان‌تر بودن، عملکردی مشابه ارایه می‌دهد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «این دو چینش همان تابع را با ترتیبی متفاوت محاسبه می‌کنند.» ترکیب توابع در این دو حالت تفاوت دارد: یکی کل جریان داده را نرمال می‌کند و دیگری فقط ورودی branch را.
  • «گرم‌کردن جزئیاتی مربوط به نرخ یادگیری است و ربطی به نرمال‌سازی ندارد.» این درس نشان می‌دهد نیاز به گرم‌کردن مستقیماً به مسیر عبور گرادیان در پس‌نرمال‌سازی گره خورده است.
  • «RMSNorm برای پایداری به میانگین نیاز دارد.» این لایه میانگین را عمداً حذف می‌کند و در عمل هم‌پای LayerNorm ظاهر می‌شود.

کجای دوره آموزش داده می‌شود

درس جامع ترنسفورمر (Transformer) دلایل مهاجرت به پیش‌نرمال‌سازی و RMSNorm را توضیح می‌دهد، و پروژه‌ی پایانی بلوک ترنسفورمر هر دو نسخه را می‌سازد و گرادیان آن‌ها را اندازه می‌گیرد.