یک فرایند آموزش در چند هزار گام اول کاملاً طبیعی و بدون مشکل پیش میرود، اما سپس تابع زیان (loss) شروع به بالا رفتن میکند و کیفیت نمونهها افت میکند. اپتیمایزر فقط با یک گروه پارامتر (parameter group) ساخته شده است:
optimizer = AdamW(model.parameters(), lr=lr, weight_decay=weight_decay)
تابعی بنویسید که گروههای پارامتر را بهدرستی بسازد و توضیح دهید کدام تنسورها باید از کاهش وزن (weight decay) کنار گذاشته شوند و چرا.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
کاهش وزن فقط متعلق به تنسورهای ماتریسی است؛ یعنی وزنهای خطی (linear weights) و جدولهای امبدینگ، نه مقیاسهای نرمالسازی (normalization scales) یا بایاسها (biases). اگر کاهش وزن روی مقیاس LayerNorm اعمال شود، مقدار آن در طول چند هزار گام بهسمت صفر دریفت میکند تا جایی که نرمالسازی از کار میافتد؛ این دقیقاً همان علت خرابی در مراحل پایانی آموزش است. پارامترها را بر اساس بعدشان به دو گروه «دارای کاهش وزن» و «بدون کاهش وزن» تقسیم کنید و هر دو را به اپتیمایزر تحویل دهید.
پاسخ کامل
نحوهی تفکیک
def build_param_groups(model, weight_decay):
decay, no_decay = [], []
for name, p in model.named_parameters():
if not p.requires_grad:
continue
(decay if p.dim() >= 2 else no_decay).append(p)
return [
{"params": decay, "weight_decay": weight_decay},
{"params": no_decay, "weight_decay": 0},
]
تنسورهای دوبعدی یا بزرگتر، ماتریس وزن یا جدول امبدینگ هستند. تنسورهای یکبعدی نقش مقیاس (scale) یا شیفت (shift) را دارند که شامل پارامترهای LayerNorm و تمام بایاسها میشود. قانون تفکیک بر اساس بعد بسیار ساده است و دقیقاً با روش استاندارد مطابقت دارد.
چرا کاهش وزن برای مقیاس مضر است؟
کاهش وزن در هر گام، پارامترهای مشمول را بهسمت صفر میکشد. یک وزن خطی در جهتهای متعددی فشار گرادیان دریافت میکند و این کشش نقش منظمسازی (regularization) را دارد. اما مقیاس LayerNorm فقط یک وظیفه دارد: تنظیم دامنه و بزرگی فعالسازیهای (activations) نرمالشده. کشش مداوم این پارامتر بهسمت صفر، جریان پسماند (residual stream) هر بلوک را کوچکتر میکند تا جایی که سیگنال برای لایههای بعدی بیش از حد ضعیف میشود. این اثر بهکندی انباشته میشود؛ به همین دلیل است که آموزش در ابتدا کاملاً بینقص به نظر میرسد.
چرا کاهش وزن روی بایاس اتلاف است؟
اعمال کاهش وزن روی بایاس از نظر ریاضی آسیبی نمیزند، اما چرخههای بهروزرسانی را صرف پارامتری میکند که منظمسازی نیازی به کنترل آن ندارد. در این تفکیک، بایاس هم در کنار مقیاسها کنار گذاشته میشود.
نحوهی تست این تفکیک
با یک آزمون واحد (unit test) میتوانید پارامترهای نامگذاریشده را پیمایش کنید و مطمئن شوید که هر مقیاس و بایاس در گروه بدون کاهش وزن قرار گرفته و هر وزن خطی و امبدینگ به گروه دارای کاهش وزن رفته است. درس حلقهی آموزش دقیقاً همین آزمون را بهعنوان اولین تمرین خود مطرح میکند.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: سر مدل زبانی (language model head) با امبدینگ توکن پیوند خورده است (tied). این پارامتر در کدام گروه قرار میگیرد و چند بار؟ پاسخ مورد انتظار: یک بار، در گروه دارای کاهش وزن؛ زیرا دقیقاً همان تنسور جدول امبدینگ است.
- سطح 3: اگر مدلی بهجای LayerNorm از RMSNorm استفاده کند، آیا این قاعده تغییر میکند؟ پاسخ مورد انتظار: خیر؛ وزن RMSNorm یکبعدی است و بیرون از گروه دارای کاهش وزن میماند.
- سطح 4: چرا مشکل بهجای ابتدای آموزش، در مراحل پایانی ظاهر میشود؟ پاسخ مورد انتظار: کاهش وزن در هر گام تنها کسر کوچکی از مقیاس را کم میکند؛ در نتیجه آسیب در طول هزاران گام انباشته میشود تا در نهایت فعالسازیها بیش از حد کوچک شوند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «کاهش وزن طبق تعریف روی تمام وزنها اعمال میشود.» روش استاندارد تنسورهای نرمالسازی و بایاس را کنار میگذارد؛ اعمال آن روی همهچیز، نرمالسازی را در طول زمان از کار میاندازد.
- «بر اساس نام پارامتر تصمیم میگیریم و هر چیزی را که bias نام دارد کنار میگذاریم.» نامگذاریها در پیادهسازیهای مختلف فرق میکند؛ قاعدهی مبتنی بر بعد کاملاً قابلاطمینان است.
- «کاهش وزن را آنقدر کم میکنیم تا آموزش پایدار شود.» مقدار کوچکتر فقط فرایند دریفت را کندتر میکند، اما کشش روی مقیاسها همچنان باقی میماند.
کجای دوره آموزش داده میشود
درس حلقهی آموزش تفکیک دوگروهی AdamW و تست آن را مشخص میکند و تمرین Adam کاهش وزن مجزایی (decoupled decay) را پیادهسازی میکند که این گروهها به آن ارسال میشوند.