سؤال مصاحبه

واگرایی در آموزش مدل ادغام زودهنگام در مقیاس بزرگ

An early-fusion run that diverges at scale

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

فرض کنید در حال پیش‌آموزش یک مدل ادغام زودهنگام (Early Fusion) روی توکن‌های متنی و کدهای تصویری درهم‌آمیخته (interleaved) هستید. مدل در اجراهای کوچک بدون مشکل آموزش می‌بیند؛ اما در اجرای مدل بزرگ، تابع زیان (loss) پس از مدتی ناگهان جهش می‌کند و واگرا می‌شود و امتیازهای اتنشن (attention) لایه‌به‌لایه‌ بالا می‌روند. چه اتفاقی در حال رخ دادن است، و دستورالعمل منتشرشده برای همگرا کردن چنین اجرایی چه تغییراتی ایجاد کرد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

آموزش مدل‌های ادغام زودهنگام در مقیاس بزرگ ناپایدار است؛ چون کدهای تصویر و توکن‌های متن از یک سافت‌مکس (Softmax) و یک جریان پسماند (Residual Stream) مشترک استفاده می‌کنند، درحالی‌که گرادیان‌ها و نُرم‌های متفاوتی دارند. با افزایش عمق شبکه، لاجیت‌های اتنشن رشد می‌کنند تا جایی که سافت‌مکس دچار اشباع (Saturation) می‌شود و مقدار تابع زیان (loss) منفجر می‌گردد. در آزمایش‌های مدل 34B در مقاله‌ی منتشرشده، آموزش بدون این سه تغییر در چندین چک‌پوینت (Checkpoint) واگرا شد: نرمال‌سازی تصویر پرسش (query) و کلید (key) پیش از ضرب داخلی، اعمال دراپ‌اوت (Dropout) پس از هر جمع پسماند (نه فقط بعد از اتنشن و MLP)، و استفاده از پیش‌نرمال‌سازی (Pre-norm) روی شاخه‌ی پسماند به‌همراه یک نرمال‌سازی اضافه روی اتصال جهشی (Skip connection) در آخرین بلوک. در اینجا نقش دستورالعمل آموزش درست به‌اندازه‌ی خود معماری مدل تعیین‌کننده است.

پاسخ کامل

نشانه‌ی مشکل

رشد نُرم (Norm growth). اندازه‌ی بردارهای پرسش و کلید در امتداد لایه‌ها بزرگ‌تر می‌شود، لاجیت‌های اتنشن همراه آن‌ها رشد می‌کنند، خروجی سافت‌مکس تقریباً به یک بردار one-hot تبدیل می‌شود و گرادیان‌ها پر از جهش‌های تیز می‌شوند. اجراهای کوچک به عمق یا تعداد گام‌هایی نمی‌رسند که این اثر در آن‌ها انباشته و تشدید شود؛ اما در اجرای بزرگ دقیقاً همین اتفاق می‌افتد.

چرا ادغام زودهنگام این مسئله را بدتر می‌کند؟

یک دایره‌ی واژگان مشترک (Shared Vocabulary) با 65,536 مدخل، توکن‌های متن و 8192 کد تصویر را نگه می‌دارد، و هر تصویر از 1024 کد پشت‌سرهم تشکیل شده است. توالی‌های طولانی از کدهای تصویر، گرادیان‌هایی با مقیاسی کاملاً متفاوت از متن دارند و می‌توانند جهت یک به‌روزرسانی را کاملاً در دست بگیرند. علاوه بر این، این دو مدالیته بخش‌های متفاوتی از فضای پنهان را اشغال می‌کنند که این موضوع نُرم‌های آن‌ها را از هم دورتر می‌کند.

سه تغییر کلیدی

  1. نرمال‌سازی پرسش-کلید (QK-Norm): اعمال نرمال‌سازی لایه‌ای (Layer Normalization) روی تصویر بردار پرسش و کلید درون اتنشن، پیش از محاسبه‌ی ضرب داخلی. این کار بزرگی لاجیت را در تمام اعماق مهار می‌کند؛ تغییری که بعداً چندین مدل بزرگ دیگر هم آن را به کار گرفتند.
  2. جایگاه دراپ‌اوت: دراپ‌اوت بعد از هر جمع پسماند اعمال شود، نه فقط بعد از اتنشن و بعد از MLP. این یعنی منظم‌سازی (Regularization) بیشتر در جاهایی که گرادیان کدهای تصویر ممکن است غلبه کند.
  3. ترتیب نرمال‌سازی: پیش‌نرمال‌سازی روی شاخه‌ی پسماند (که روال استاندارد است)، به‌همراه یک نرمال‌سازی اضافه روی اتصال جهشی آخرین بلوک؛ این کار جریان گرادیان را در لایه‌ی نهایی پایدار می‌کند.

نحوه‌ی اثبات آن در اجرای خودتان

  • نُرم بردار پرسش و کلید و حداکثر لاجیت اتنشن را در هر لایه در طول آموزش لاگ کنید؛ واگرایی باید در ادامه‌ی این رشد در لایه‌های عمیق رخ دهد.
  • نُرم گرادیان (gradient norm) را بر اساس مدالیته‌ی توکن تفکیک و لاگ کنید؛ غلبه‌ی گرادیان‌های مربوط به کدهای تصویر لزوم اعمال تغییر دوم را نشان می‌دهد.
  • آموزش را از یک چک‌پوینت پیش از جهش ناگهانی با فعال بودن QK-Norm دوباره شروع کنید و منحنی‌های لاجیت را با حالت قبلی مقایسه نمایید.

دسته‌ی جایگزین

یک طراحی پیوسته که در آن یک تابع زیان نفوذی (diffusion loss) روی پچ‌های تصویر (patches) در کنار تابع زیان متن آموزش داده می‌شود، از سافت‌مکس مشترک روی کدهای تصویر پرهیز می‌کند؛ اما خود این روش مسئله‌ی تعادل خاص خودش را دارد: این دو تابع زیان در مقیاس‌های متفاوتی قرار دارند و تعیین وزن میان آن‌ها خود نیازمند جست‌وجویی جداگانه است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا نرمال‌سازی پرسش‌ها و کلیدها لاجیت‌ها را مهار می‌کند؟ انتظار می‌رود: ضرب داخلی دو بردار نرمال‌شده توسط مقیاس آن‌ها محدود می‌شود؛ بنابراین با رشد جریان پسماند، لاجیت‌ها نمی‌توانند بدون مرز بالا بروند.
  • سطح 3: چرا به‌جای این کار نرخ یادگیری (Learning rate) را کم نکنیم؟ انتظار می‌رود: نرخ یادگیری کمتر فقط سرعت رشد را کُند می‌کند اما سازوکار آن را از بین نمی‌برد؛ نُرم‌ها با افزایش عمق همچنان دچار دریفت (Drift) می‌شوند و آموزش برای حل مشکلی که نرمال‌سازی برطرفش می‌کند، هزینه‌ی گام‌های اضافی می‌پردازد.
  • سطح 4: مقاله درباره‌ی مدل 34B بدون این تغییرات چه گزارشی داد؟ انتظار می‌رود: واگرایی مکرر در چندین چک‌پوینت مختلف بر اثر رشد لاجیت‌های اتنشن، یعنی انفجار نُرم‌ها؛ مشکلی که این سه تغییر آن را برطرف کردند.
  • سطح 4: طراحی پیوسته با دو تابع زیان چگونه این مسئله را با مشکلی دیگر مبادله می‌کند؟ انتظار می‌رود: سافت‌مکس مشترک روی کدهای تصویر را حذف می‌کند، اما دو تابع زیان با بزرگی‌های متفاوت پدید می‌آورد؛ وضعیتی که در آن بدون وزن‌دهی و برنامه‌ی زمان‌بندی دقیق برای توابع زیان، یک هد (Head) می‌تواند کاملاً بر دیگری مسلط شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ادغام زودهنگام ذاتاً ناپایدار است؛ از مدل‌های کوچک‌تر استفاده کنید.» مدل منتشرشده در مقیاس 34B با اعمال این سه تغییر همگرا شد؛ این ناپایداری ناشی از فرمول‌بندی و دستورالعمل آموزش است.
  • «برش گرادیان را محکم‌تر کنید.» برش گرادیان فقط به‌روزرسانی را محدود می‌کند، نه رشد لاجیت را که عامل اصلی اشباع است؛ نُرم‌ها حتی زیر برش گرادیان هم به دریفت خود ادامه می‌دهند.
  • «در تمام بخش‌ها از پس‌نرمال‌سازی (Post-norm) استفاده کنید؛ پایدارتر است.» این دستورالعمل پیش‌نرمال‌سازی را روی شاخه‌ی پسماند حفظ کرد و نرمال‌سازی را فقط به نقاطی افزود که نُرم‌ها در آن‌ها رشد می‌کردند: پرسش‌ها، کلیدها، و اتصال جهشی آخرین بلوک.

کجای دوره آموزش داده می‌شود

درس Chameleon این سه تغییر پایدارکننده و واگرایی در مقیاس بالا را مستند کرده است، و درس Transfusion رویکرد پیوسته‌ی جایگزین و مسئله‌ی تعادل مخصوص به آن را شرح می‌دهد.