یک گام بهینهساز دستی با برچسب AdamW نوشته شده است. آن را بررسی کنید:
def adam_step(params, grad, m, v, t, lr, beta1, beta2, eps, weight_decay):
grad = grad + weight_decay * params
m = beta1 * m + (1 - beta1) * grad
v = beta2 * v + (1 - beta2) * grad * grad
m_hat = m / (1 - beta1 ** t)
v_hat = v / (1 - beta2 ** t)
return params - lr * m_hat / (np.sqrt(v_hat) + eps), m, v
آیا این واقعاً AdamW است؟ چه تغییری رخ میدهد و چرا این موضوع برای یک مدل زبانی اهمیت دارد؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
خیر، این در واقع Adam است همراه با جریمهی L2 که درون گرادیان ادغام شده است. AdamW کاهش وزن (Weight decay) را مستقیماً روی پارامترها، متناسب با نرخ یادگیری (Learning rate) و خارج از گام تطبیقی اعمال میکند. وقتی جریمه از مسیر گرادیان عبور میکند، بر تخمین گشتاور دوم تقسیم میشود؛ در نتیجه پارامترهایی با گرادیانهای بزرگ تقریباً هیچ کاهشی دریافت نمیکنند و منظمسازی (Regularization) در سراسر مدل نامتوازن میشود.
پاسخ کامل
گام اصلاحشده
def adam_step(params, grad, m, v, t, lr, beta1, beta2, eps, weight_decay):
m = beta1 * m + (1 - beta1) * grad
v = beta2 * v + (1 - beta2) * grad * grad
m_hat = m / (1 - beta1 ** t)
v_hat = v / (1 - beta2 ** t)
new = params - lr * (m_hat / (np.sqrt(v_hat) + eps) + weight_decay * params)
return new, m, v
جملهی کاهش وزن به مقدار بهروزرسانی اضافه میشود، نه به گرادیان؛ بنابراین هرگز از تخمینهای گشتاور عبور نمیکند.
این تفاوت چه چیزی را تغییر میدهد؟
الگوریتم Adam هر مختصات را بر اساس بزرگی میانگین متحرک گرادیانش نرمال میکند. جریمهای هم که به عنوان بخشی از گرادیان وارد شود نرمال خواهد شد؛ بنابراین وزنی با گرادیان بزرگ و پر سروصدا بهندرت کاهش مییابد، در حالی که وزنی با گرادیان بسیار کوچک بهشدت دچار افت میشود. کاهش وزن تفکیکشده (Decoupled decay) هر وزن را در هر گام به نسبت ثابتی کوچک میکند؛ یعنی دقیقاً همان کاری که از یک منظمساز انتظار میرود. دستورالعملهای آموزش مدلهای زبانی از فرم تفکیکشده استفاده میکنند و حلقهی آموزش در درس مربوطه نیز گروههای پارامتری خود را بر همین اساس میسازد.
سه نکتهی مهم دیگر در این تمرین
- شمارندهی گام از یک شروع میشود. با
t = 0، تصحیح سوگیری (Bias correction) به تقسیم بر صفر میانجامد و باt + 1، گام نخست مانند گام دوم عمل میکند. - مقدار اپسیلون (Epsilon) بیرون از ریشهی دوم قرار میگیرد. اگر داخل رادیکال باشد، گرادیانهای بسیار کوچک گامی بسیار کوتاهتر از مقدار مدنظر تولید میکنند.
- این تابع آرایههای وضعیت جدیدی برمیگرداند. بهروزرسانی درجا (In-place) برای
mوv، وضعیت فراخواننده را تغییر میدهد و ادامهی آموزش از روی چکپوینت (Checkpoint) را مختل میکند.
کاهش وزن کجا نباید اعمال شود؟
حتی در فرم صحیح، کاهش وزن فقط باید روی وزنهای ماتریسی اعمال شود. مقیاسهای نرمالسازی و بایاسها هیچ کاهشی دریافت نمیکنند و تفکیک گروههای پارامتری دقیقاً برای حل همین مسئله است.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: تصحیح سوگیری در گامهای نخست چه چیزی را جبران میکند؟ پاسخ مورد انتظار: تخمینهای گشتاور از صفر شروع میشوند و در ابتدا به سمت مقادیر پایین سوگیری دارند؛ تقسیم بر
1 - beta**tمقیاس آنها را تصحیح میکند. - سطح 2: چرا بهجای بهروزرسانی درجا، آرایههای جدید بازگردانده میشوند؟ پاسخ مورد انتظار: یک تابع خالص (Pure Function) وضعیت فراخواننده را دستنخورده نگه میدارد؛ بنابراین میتوان یک گام را دوباره تکرار کرد یا با گامهای دیگر سنجید و همچنین سازگاری چکپوینت حفظ میشود.
- سطح 3: برنامهی زمانبندی نرخ یادگیری (Learning rate schedule) چگونه با کاهش وزن تفکیکشده تعامل دارد؟ پاسخ مورد انتظار: کاهش وزن در نرخ یادگیری فعلی ضرب میشود؛ بنابراین گرمکردن (Warmup) و افت کسینوسی (Cosine decay) همزمان شدت منظمسازی را در طول آموزش تغییر مقیاس میدهند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «جریمهی L2 و کاهش وزن یک چیز هستند.» این دو فقط در گرادیان کاهشی (Gradient descent) ساده بر هم منطبق میشوند، نه در یک بهینهساز تطبیقی که گرادیان را نرمال میکند.
- «برای پایداری، اپسیلون را داخل ریشهی دوم بگذارید.» این کار اندازهی گام را برای گرادیانهای کوچک تغییر میدهد؛ فرم مرجع، آن را بعد از رادیکال اضافه میکند.
- «شمارندهی گام را مثل ایندکسها از صفر شروع کنید.» در این حالت، تصحیح سوگیری در اولین گام بر صفر تقسیم میشود.
کجای دوره آموزش داده میشود
درس حلقهی آموزش بهینهساز AdamW را همراه با تفکیک کاهش وزن پیکربندی میکند، درس برنامهی زمانبندی کسینوسی آن را در کنار گرمکردن و کاهش وزن قرار میدهد و تمرین Adam فرم تفکیکشده را ارزیابی میکند.