یک ترنسفورمر (Transformer) با وزنهای مقداردهیشده به روش کایمینگ (Kaiming)، در 20 لایه بدون هیچ مشکلی آموزش میبیند؛ اما در 126 لایه با همان فرمول قبلی واگرا میشود، در حالی که هیچ چیز دیگری تغییر نکرده است. توضیح دهید چرا افزایش عمق حتی با وجود مقداردهی اولیهای که واریانس را حفظ میکند، مدل را خراب میکند و راهحل سبک GPT-2 چطور این مشکل را برطرف میسازد.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
کایمینگ واریانس را در طول هر زیرلایه ثابت نگه میدارد، اما یک بلوک پسماند خروجی زیرلایه را دوباره با ورودی آن جمع میکند؛ واریانسِ حاصلجمعِ جملات مستقل نیز با یکدیگر جمع میشود. با N عمل جمع پسماند، واریانس جریان پسماند (Residual Stream) متناسب با N رشد میکند. در نتیجه، پشتههای عمیقتر سیگنال پسماند بزرگتری حمل میکنند و لاجیتهای (logits) اتنشن و فعالسازهای پیشخور (feed-forward activations) ساختهشده از آن نیز همگام با این سیگنال رشد میکنند. راهحل GPT-2 وزنهای لایههایی را که روی جریان پسماند مینویسند، با ضریب 1 بر روی ریشهی دوم 2N مقیاسبندی میکند تا واریانس انباشته در هر عمقی ثابت بماند.
پاسخ کامل
دو نوع حفظ واریانس
کایمینگ به یک سؤال پاسخ میدهد: چطور وزنها را انتخاب کنیم تا یک ضرب ماتریسی که به دنبالش ReLU میآید، سیگنالی با همان واریانسِ دریافتی برگرداند. این روش از اتفاقات بعدی کاملاً بیخبر است. در یک بلوک پسماند، اتفاق بعدی یک جمع است:
x = x + sublayer(x)
اگر خروجی زیرلایه تقریباً واریانسی برابر با x داشته باشد و تا حد زیادی از آن مستقل باشد، واریانس این مجموع حدوداً دو برابر میشود. هر بلوک دوباره یک جمع دیگر اضافه میکند. پس از N عمل جمع، این جریان متناسب با N رشد کرده است. درس مستقیماً به همین نکته اشاره میکند: هر جمع واریانس را افزایش میدهد، و با N لایهی پسماند، واریانس متناسب با N بالا میرود.
چرا این مشکل خودش را در عمق نشان میدهد
در 20 لایه، این رشد ضریب ناچیزی دارد و بهینهساز از پس آن برمیآید. در 126 لایه (عمقی که در درس برای یک مدل با 405B پارامتر ذکر شده است)، جریان پسماند در زمان مقداردهی اولیه آنقدر بزرگ میشود که سافتمکس (Softmax) داخل اتنشن (Attention) و فعالسازهای درون بلوکهای پیشخور، فرسنگها از بازهی مدنظرشان فاصله میگیرند و اولین بهروزرسانیها بیش از اندازه بزرگ میشوند. طبق توضیحات درس، اگر این مورد اصلاح نشود، جریان پسماند در طول پشته بدون هیچ حد و مرزی رشد خواهد کرد.
راهحل
مدل GPT-2 وزنهای تصویرهای پسماند (residual projections)—یعنی لایههایی که روی جریان مینویسند—را با ضریب 1 بر روی ریشهی دوم 2N مقیاسبندی میکند، که در آن N تعداد لایههاست. عدد 2 نشاندهندهی دو بار نوشتن در هر لایه است: یکی از سمت اتنشن و دیگری از سمت بلوک پیشخور. مجموع 2N ورودی که هرکدام با این ضریب مقیاسبندی شدهاند، واریانسی برابر با یک ورودی تکی خواهد داشت؛ بنابراین جریان پسماند در هر عمقی داخل بازهی مناسب باقی میماند. در درس اشاره شده که مدل 405B از سازوکار مشابهی بهره میبرد و ترنسفورمری که از صفر ساخته میشود، باید خودش این مقیاسبندی را اضافه کند.
روش بررسی پیش از اعمال هرگونه تغییر
توکنهای تصادفی را از مدل آموزشندیده push کنید و بزرگی جریان پسماند را در هر لایه ثبت کنید. اگر این مقدار با افزایش عمق رشد کرد، تشخیص شما تأیید میشود. یک بار دیگر مدل را همراه با مقیاسبندی اجرا کنید؛ این بار نمودار باید کاملاً افقی باشد. تمرین درس دقیقاً همین کار را در طول 50 لایه انجام میدهد.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا کایمینگ این مسئله را پوشش نمیدهد؟ انتظار میرود: این روش واریانس را صرفاً در طول یک ضرب ماتریسی به همراه ReLU حفظ میکند و از عمل جمعی که پس از آن میآید هیچ اطلاعی ندارد.
- سطح 3: چرا 2N و نه N؟ انتظار میرود: هر لایهی ترنسفورمر دو بار روی جریان مینویسد؛ یک بار از سمت اتنشن و یک بار از بلوک پیشخور. بنابراین N لایه، 2N عمل جمع ایجاد میکند.
- سطح 4: چطور پیش از تغییر مقداردهی اولیه این مشکل را در عمل بررسی میکنید؟ انتظار میرود: ورودی تصادفی را از مدل آموزشندیده push کنید و بزرگی جریان پسماند را در هر لایه لاگ بگیرید؛ رشد آن با افزایش عمق مشکل را تأیید میکند، و در نسخهی مقیاسبندیشده این نمودار باید افقی باشد.
- سطح 4: آیا معماری پیشنرمالسازی لایهای (Pre-LN) نیاز به این مقیاسبندی را از بین میبرد؟ انتظار میرود: این کار ورودیِ هر زیرلایه را نرمال میکند و به پایداری کمک میرساند، اما جمعهایی که وارد جریان میشوند بیرون از این نرمالسازی قرار دارند؛ به همین دلیل در درس همچنان این مقیاسبندی روی لایههای نویسنده اعمال میشود.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «مدلهای عمیقتر فقط به نرخ یادگیری کمتری نیاز دارند.» نرخ یادگیری (Learning rate) کوچکتر رشد وزنها را کند میکند، اما برای واریانسی که در گذر رو به جلو (forward pass) هنگام مقداردهی اولیه انباشته میشود، هیچ فایدهای ندارد.
- «کایمینگ واریانس را حفظ میکند، پس مشکل نمیتواند از عمق مدل باشد.» کایمینگ واریانس را درون هر زیرلایه حفظ میکند، نه در مجموع یک زیرلایه و ورودی آن.
- «جریان پسماند را در خروجی بر N تقسیم کنید.» اصلاح باید دقیقاً در جایی که واریانس انباشته میشود عمل کند؛ مقیاسبندی لایههای نویسنده تکتک لایههای میانی را در بازهی مناسب نگه میدارد، نه فقط لایهی آخر را.
کجای دوره آموزش داده میشود
درس مقداردهی اولیهی وزن (Weight Initialization) رشد واریانس پسماند و روش مقیاسبندی GPT-2 را توضیح میدهد.