در درس سرهمبندی مدل آمده است که با تغییر تابع فعالسازی (activation) و جایگزینی نرمالسازی لایهای (LayerNorm) با RMSNorm، مدل به نسل بعدی خانوادههای متنباز تبدیل میشود. داوطلبی این پیادهسازی از RMSNorm را تحویل داده است:
def rms_norm(x, weight, eps):
mean = x.mean(axis=-1, keepdims=True)
var = ((x - mean) ** 2).mean(axis=-1, keepdims=True)
return weight * (x - mean) / np.sqrt(var) + eps
ایراد این کد کجاست و تابع درست چه چیزی را محاسبه میکند؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
این کد در واقع همان LayerNorm بدون پارامتر انتقال (shift) است، نه RMSNorm؛ علاوه بر این، اپسیلون را بهجای داخل رادیکال، بعد از جذر اضافه میکند. RMSNorm میانگین را کم نمیکند، بلکه ورودی را بر جذر میانگین مربعات روی آخرین محور (با اپسیلون داخل رادیکال) تقسیم و در یک وزن یادگرفتنی ضرب میکند.
پاسخ کامل
تفاوت دو روش نرمالسازی
def layer_norm(x, gamma, beta, eps):
mean = x.mean(axis=-1, keepdims=True)
var = ((x - mean) ** 2).mean(axis=-1, keepdims=True)
return gamma * (x - mean) / np.sqrt(var + eps) + beta
def rms_norm(x, weight, eps):
ms = (x ** 2).mean(axis=-1, keepdims=True)
return weight * x / np.sqrt(ms + eps)
روش LayerNorm ابتدا بردار هر توکن را میانگینزدایی (center) و مقیاسبندی (scale) میکند و سپس مقیاس و انتقال یادگرفتنی را روی آن اعمال مینماید. در مقابل، RMSNorm جهت بردار را حفظ میکند و فقط اندازهی آن را اصلاح مینماید. این روش نیازی به تفریق میانگین و پارامتر انتقال ندارد؛ بنابراین در هر توکن یک عملیات کاهش (reduction) و در هر لایه یک بردار پارامتر صرفهجویی میشود.
جایگاه اپسیلون
اپسیلون برای این وجود دارد که در صورت نزدیک شدن واریانس یا میانگین مربعات به صفر، عملیات تقسیم تعریفشده بماند. قرار گرفتن اپسیلون داخل رادیکال، یک کران پایین برای مخرج ایجاد میکند. اگر آن را بیرون از رادیکال بگذارید، در صورت صفر شدن واریانس هیچ اثری ندارد و تمام خروجیها را با مقداری ثابت جابهجا میکند که در هر دو حالت نادرست است. در تمرین عملی، برای هر کدام از این دو حالت قرارگیری یک آزمون خطا (mutant) وجود دارد.
اعمال روی کدام محور؟
هر دو روش نرمالسازی، عملیات کاهش را روی آخرین محور، یعنی محور ویژگیها (features)، بهطور کاملاً مستقل برای هر توکن در هر نمونهی دسته (batch) انجام میدهند. اگر کاهش روی محور دسته انجام شود، لایه به آمارهای از کل دسته تبدیل میشود؛ در نتیجه با تغییر ترکیب دسته خروجی عوض خواهد شد و فرایند استنتاج روی یک نمونهی تکی از کار میافتد.
واریانس اریب
روش LayerNorm از واریانس اریب (biased variance) استفاده میکند؛ یعنی میانگین مجذور انحرافات تقسیم بر تعداد ویژگیها. برآورد نااریب با کم کردن 1 از مخرج، صرفاً یک قرارداد آماری است که اینجا کاربردی ندارد و باعث میشود خروجی با تمام نسخههای کتابخانههای استاندارد، بهاندازهی ضریبی وابسته به ابعاد مدل، اختلاف پیدا کند.
چرا این جابهجایی در سرهمبندی مشکلی ایجاد نمیکند؟
نرمالسازی نهایی بین بلوک آخر و هد مقید (tied head) قرار میگیرد و هر دو تابع، ابعاد ورودی و خروجی یکسانی دارند. کافی است کلاس را جابهجا کنید و پارامتر انتقال را بردارید؛ هد، امبدینگ و حلقهی تولید متن دستنخورده باقی میمانند.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: آرگومان اپسیلون ورودی چه چیزی را کنترل میکند و اگر تابع آن را نادیده بگیرد چه اتفاقی میافتد؟ پاسخ مورد انتظار: کف مقدار مخرج را مشخص میکند؛ نادیده گرفتن آن و استفاده از یک مقدار ثابت باعث میشود وقتی فراخواننده مقدار دیگری را ارسال میکند، مقایسه با پیادهسازی مرجع ناموفق شود.
- سطح 3: چرا RMSNorm پارامتر انتقال ندارد؟ پاسخ مورد انتظار: چون ورودی را میانگینزدایی نمیکند، نیازی هم به بازگرداندن میانگین وجود ندارد؛ اگر هم به انتقال نیاز باشد، بایاس لایهی خطی بعدی میتواند آن را جذب کند.
- سطح 4: اگر در یک چکپوینت از پیش آموزشدیده که پارامترهای مقیاس و انتقال LayerNorm را دارد، بهجای آن RMSNorm بگذارید چه چیزی خراب میشود؟ پاسخ مورد انتظار: پارامتر انتقال جایی برای بارگذاری ندارد و پارامتر مقیاس هم روی دادههای میانگینزداییشده آموزش دیده است؛ بنابراین مدل بارگذاریشده دیگر با تابع آموزشدیده همخوانی نخواهد داشت.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «RMSNorm همان LayerNorm است که پارامتر انتقال آن حذف شده.» تفریق میانگین هم در آن حذف میشود؛ بدون این تفاوت، لایهی متفاوتی به حساب نمیآمد.
- «جای اپسیلون برای ورودیهای عادی فرقی ندارد.» اپسیلون دقیقاً برای همان ورودیهایی تعریف شده که واریانس نزدیک به صفر دارند؛ بنابراین جایگاهش کاملاً مهم است.
- «باید از واریانس نااریب استفاده کنیم چون درستتر است.» تمام نسخههای کتابخانههای استاندارد از شکل اریب استفاده میکنند؛ انتخاب این فرمول یک قرارداد است، نه یک مسئلهی آماری.
کجای دوره آموزش داده میشود
در درس سرهمبندی مدل GPT جایگاه LayerNorm نهایی مشخص و جابهجایی آن با RMSNorm مطرح شده است، و در تمرین نرمالسازی هر دو تابع ارزیابی میشوند.