سؤال مصاحبه

چرا ترنسفورمرها نرمال‌سازی را روی ویژگی‌ها انجام می‌دهند، نه روی دسته؟

Why transformers normalize across features, not the batch

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۲ دقیقه

تیمی یک دستورالعمل آموزش بینایی ماشین را به مدل ترنسفورمر منتقل می‌کند و نرمال‌سازی دسته‌ای (Batch Normalization) را نگه می‌دارد. فرایند آموزش ناپایدار می‌شود و تولید متن برای یک توالیِ تنها، خروجی‌های نامفهومی تولید می‌کند. توضیح دهید چرا ترنسفورمرها در عوض از نرمال‌سازی لایه‌ای (Layer Normalization) استفاده می‌کنند، و چه زمانی باید یک گام فراتر بروید و سراغ RMSNorm بروید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

نرمال‌سازی دسته‌ای هر ویژگی را در طول دسته نرمال می‌کند؛ بنابراین آماره‌های آن به اندازه‌ی دسته و این‌که چه توالی‌هایی هم‌زمان در یک دسته قرار گرفته‌اند وابسته‌اند. در دسته‌های کوچک، این آماره‌ها پر از نوفه می‌شوند؛ در دسته‌ای با اندازه‌ی 1 کاملاً بی‌معنی‌اند؛ و اجرای آن در آموزش و استنتاج مسیرهای کدنویسی متفاوتی دارد. در مقابل، نرمال‌سازی لایه‌ای روی ویژگی‌های یک نمونه‌ی واحد انجام می‌شود؛ بنابراین وابستگی به دسته ندارد و در هر دو حالت آموزش و استنتاج محاسبات یکسانی دارد—همان چیزی که توالی‌های با طول متغیر و تولید تک‌توالی به آن نیاز دارند. روش RMSNorm تفریق میانگین و پارامتر جابه‌جایی را حذف می‌کند، دقت مدل را حفظ می‌کند و حدود 10 درصد از هزینه‌ی محاسباتی نرمال‌سازی می‌کاهد؛ به همین دلیل بیشتر مدل‌های زبانی بزرگ امروزی از آن استفاده می‌کنند.

پاسخ کامل

نرمال‌سازی دسته‌ای و دو وابستگی آن

نرمال‌سازی دسته‌ای برای هر ویژگی، میانگین دسته را کم می‌کند، حاصل را بر انحراف معیار دسته به‌همراه اپسیلون تقسیم می‌کند، و مقیاس یادگیری‌شده‌ی گاما و جابه‌جایی بتا را اعمال می‌کند. از این سازوکار دو نتیجه حاصل می‌شود: نخست، خروجی یک نمونه به سایر نمونه‌های حاضر در دسته‌ی آن وابسته است. در این درس حداقل اندازه‌ی دسته حدود 32 در نظر گرفته شده است؛ پایین‌تر از آن، آماره‌ها پر از نوفه هستند و در دسته‌ای با اندازه‌ی 1، واریانس صفر می‌شود. دوم، در زمان استنتاج دسته‌ای وجود ندارد؛ بنابراین مدل از میانگین‌های متحرکی استفاده می‌کند که حین آموزش با تکانه‌ی (Momentum) 0.1 جمع‌آوری شده‌اند. این یعنی یک مسیر کدنویسی جداگانه و منبعی جدید برای خطاها. مدل‌های توالی‌محور با هر دو مشکل روبه‌رو می‌شوند: طول توالی‌ها متغیر است، محدودیت حافظه اندازه‌ی دسته را کوچک نگه می‌دارد، و فرایند تولید متن هم هربار فقط روی یک توالی اجرا می‌شود.

نرمال‌سازی لایه‌ای

نرمال‌سازی لایه‌ای میانگین و واریانس را روی D ویژگیِ یک نمونه محاسبه می‌کند و فقط همان نمونه را نرمال می‌سازد؛ بدون وابستگی به دسته، بدون نیاز به میانگین متحرک، و با محاسباتی کاملاً یکسان در آموزش و استنتاج. ترنسفورمرها این نرمال‌سازی را پیرامون هر بلوک اتنشن و هر بلوک پیش‌خور اعمال می‌کنند؛ یا بعد از آن‌ها در چیدمان پس‌نرمال‌سازی لایه‌ای (Post-LN)، یا قبل از آن‌ها در چیدمان پیش‌نرمال‌سازی لایه‌ای (Pre-LN) که طبق یادداشت درس، پایدارتر آموزش می‌بیند.

RMSNorm

روش RMSNorm ویژگی‌ها را بر جذر میانگین مربعات (RMS) تقسیم می‌کند و حاصل را در گاما ضرب می‌کند. در این روش خبری از تفریق میانگین و پارامتر بتا نیست. مشاهده‌ی (observation) پشت این ایده نشان داد که مرکزیت‌بخشی دوباره تأثیر چندانی روی دقت ندارد و فقط بار محاسباتی اضافه می‌کند؛ بنابراین حذف آن همان دقت را حفظ می‌کند و بار محاسباتی نرمال‌سازی را حدود 10 درصد کاهش می‌دهد. در مقیاس میلیاردها پارامتر، چنین صرفه‌جویی کاملاً ملموس است و بیشتر مدل‌های زبانی بزرگ امروزی از همین روش استفاده می‌کنند.

اصلاً چرا نرمال‌سازی دسته‌ای مفید است؟

نخستین توضیحی که برای کارکرد آن منتشر شد—تغییر متغیر درونی (internal covariate shift)—نادرست از آب درآمده است. مزیت اصلی این روش ناشی از هموارتر شدن چشم‌انداز زیان (loss landscape) و پیش‌بینی‌پذیرتر شدن گرادیان‌ها است، که به بهینه‌ساز اجازه می‌دهد گام‌های بزرگ‌تری بردارد. نرمال‌سازی لایه‌ای و RMSNorm همین مزیت را بدون وابستگی به دسته فراهم می‌کنند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: نرمال‌سازی دسته‌ای در زمان استنتاج به چه چیزی نیاز دارد که نرمال‌سازی لایه‌ای نیازی به آن ندارد؟ پاسخ مورد انتظار: میانگین‌های متحرک میانگین و واریانس که حین آموزش جمع‌آوری شده‌اند؛ نرمال‌سازی لایه‌ای آماره‌هایش را مستقیماً از خودِ همان نمونه محاسبه می‌کند.
  • سطح 3: یک بلوک ترنسفورمر، لایه‌ی نرمال‌سازی را کجا قرار می‌دهد؟ پاسخ مورد انتظار: بعد از هر بلوک اتنشن و پیش‌خور در معماری Post-LN، یا قبل از آن‌ها در معماری Pre-LN که آموزش پایدارتری دارد.
  • سطح 4: روش RMSNorm چه چیزهایی را حذف می‌کند و چه اثری بر هزینه دارد؟ پاسخ مورد انتظار: تفریق میانگین و پارامتر جابه‌جایی را حذف می‌کند؛ درس نشان می‌دهد که با همان دقت، حدود 10 درصد از بار محاسباتی نرمال‌سازی کاسته می‌شود.
  • سطح 4: چرا توضیح اولیه‌ی مربوط به کارکرد نرمال‌سازی دسته‌ای کنار گذاشته شد؟ پاسخ مورد انتظار: پژوهش‌های بعدی نشان دادند که مزیت آن از هموارتر شدن چشم‌انداز زیان با ثابت‌های لیپشیتز کوچک‌تر ناشی می‌شود، که امکان برداشتن گام‌های بزرگ‌تر را برای بهینه‌ساز فراهم می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نرمال‌سازی دسته‌ای فقط به دسته‌های بزرگ‌تری نیاز دارد.» فرایند تولید متن هر بار روی یک توالی اجرا می‌شود و طول توالی‌ها هم متفاوت است؛ راهکار مناسب، نرمال‌سازی‌ای است که کاری به ابعاد دسته نداشته باشد.
  • «نرمال‌سازی لایه‌ای منظم‌ساز ضعیف‌تری است، پس نوعی مصالحه به شمار می‌رود.» این روش روی ویژگی‌ها عمل می‌کند که بُعد درست برای داده‌های توالی‌محور است، و ناهماهنگی بین آموزش و استنتاج را هم از بین می‌برد.
  • «روش RMSNorm نوعی تقریب است که باعث افت دقت می‌شود.» درس نشان می‌دهد که این روش همان دقت را حفظ می‌کند؛ مرکزیت‌بخشی دوباره فایده‌ی ناچیزی دارد و فقط بار محاسباتی به بار می‌آورد.

کجای دوره آموزش داده می‌شود

درس منظم‌سازی هر سه روش نرمال‌سازی را می‌سازد و دلیل انتخاب آن‌ها را در ترنسفورمرها توضیح می‌دهد.