سؤال مصاحبه

کاهش وزن در تابع زیان یا در بهینه‌ساز

Weight decay in the loss or in the optimizer

  • سطح ۲: میانی
  • بده‌بستان
  • ۸ دقیقه

می‌خواهید روی یک مدل ترنسفورمر (Transformer) که با Adam آموزش می‌بیند، کاهش وزن (Weight decay) اعمال کنید. یکی از مهندسان، جریمه‌ی L2 روی وزن‌ها را به تابع زیان (loss) اضافه می‌کند. مهندس دیگری از بهینه‌ساز AdamW همراه با آرگومانِ کاهش وزن استفاده می‌کند. هر دو ادعا می‌کنند این دو روش یکی هستند. آیا واقعاً یکی هستند و شما کدام را انتخاب می‌کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این دو روش فقط در SGD معمولی یکسان هستند. در Adam، جریمه‌ای که درون تابع زیان قرار می‌گیرد بخشی از گرادیان (gradient) می‌شود و درست مثل بقیه‌ی جمله‌ها، بر میانگین متحرک اندازه‌ی گرادیان تقسیم می‌شود؛ بنابراین، وزن‌هایی با واریانس گرادیان بالا کمتر کاهش می‌یابند و وزن‌هایی با واریانس گرادیان کم، بیشتر. در مقابل، AdamW عبارتِ lr × lambda × w را پس از به‌روزرسانی تطبیقی مستقیماً کم می‌کند؛ در نتیجه همه‌ی وزن‌ها با نسبتی یکسان کوچک می‌شوند. AdamW را انتخاب کنید؛ به همین دلیل هم در این درس، انتخاب پیش‌فرض برای ترنسفورمرها به شمار می‌رود.

پاسخ کامل

نقطه‌ی اشتراک دو روش

جمله‌ی L2 به‌صورت «لاندا بر 2 ضربدر مجموع مجذور وزن‌ها»، گرادیانی برابر با lambda × w دارد. در روش SGD، در هر به‌روزرسانی مقدار lr × lambda × w از هر وزن کم می‌شود که طبق تعریف، دقیقاً همان کاهش وزن است. هر دو نام یک عملیات واحد را توصیف می‌کنند.

جایی که Adam معادله را به هم می‌زند

الگوریتم Adam گرادیان را مستقیماً اعمال نمی‌کند، بلکه میانگین متحرک آن را وارد گشتاور اول می‌کند، مجذور آن را به گشتاور دوم می‌برد و سپس حاصل را بر جذر گشتاور دوم تقسیم می‌کند. جریمه‌ای که همراهِ گرادیان وارد این محاسبات شود، با این عملِ تقسیم، برای هر پارامتر جداگانه تغییر مقیاس می‌دهد. وزنی که گرادیان‌های نویزی و بزرگی دارد، گشتاور دوم بزرگی ثبت می‌کند و سهم اندکی از کاهش وزن می‌برد؛ در مقابل، وزنی با گرادیان‌های آرام سهم بزرگی دریافت می‌کند. این منظم‌سازی (Regularization) ناهمگون است و همان‌طور که در این درس آمده، تقریباً در هر وظیفه‌ای (Task) به جواب‌هایی ضعیف‌تر از روش تفکیک‌شده (Decoupled) همگرا می‌شود.

کاری که AdamW انجام می‌دهد

w = w - lr * m_hat / (sqrt(v_hat) + eps) - lr * lambda * w

جمله‌ی کاهش وزن بیرون از ضریب تطبیقی قرار می‌گیرد. در هر گام، از همه‌ی وزن‌ها به نسبت یکسان lr × lambda کاسته می‌شود. در کلاسی که در این درس از صفر پیاده کرده‌ایم، این کار فقط با یک خط کد اضافی پس از به‌روزرسانی Adam انجام می‌شود: کم کردنِ «نرخ یادگیری ضربدر کاهش وزن ضربدر پارامتر».

مقدارهای پیشنهادی درس

  • 0.01 برای AdamW روی ترنسفورمرها؛ مقدار پیش‌فرض در فاین‌تیونینگ (Fine-tuning) هم 0.01 است.
  • 1e-4 برای SGD روی شبکه‌های کانولوشنی (CNN)، جایی که هر دو فرمول بر هم منطبق می‌شوند.
  • تا 0.1 برای مدلی که شدیداً دچار بیش‌برازش (Overfitting) می‌شود.

آزمایشی برای دیدن تفاوت عملی

تمرین این درس: وزن‌ها را با مقادیری با قدر مطلق بزرگ مقداردهی اولیه کنید، مدل را یک بار با Adam به‌همراه L2 و یک بار با AdamW با همان ضریب کاهش وزن آموزش دهید و نمودار نُرم وزن‌ها را در طول آموزش رسم کنید. AdamW بسیار سریع‌تر و کاملاً یکدست‌تر نُرم وزن‌ها را کاهش می‌دهد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا کاهش وزن در AdamW یکنواخت است؟ پاسخ مورد انتظار: چون مستقیماً روی وزن‌ها و خارج از تقسیم تطبیقی اعمال می‌شود؛ بنابراین نسبتی که در هر گام کسر می‌شود، برای تمام وزن‌ها lr × lambda است.
  • سطح 3: جریمه‌ی L2 دقیقاً در کجای Adam دچار اشکال می‌شود؟ پاسخ مورد انتظار: وارد گرادیان می‌شود، در نتیجه وارد میانگین‌گیری گشتاور اول شده و در گشتاور دوم به توان دو می‌رسد؛ سپس تقسیم بر جذر گشتاور دوم مقیاس آن را به ازای هر پارامتر تغییر می‌دهد.
  • سطح 3: در این درس چه مقادیری برای کاهش وزن آمده است؟ پاسخ مورد انتظار: 0.01 برای AdamW روی ترنسفورمرها، 1e-4 برای SGD روی شبکه‌های کانولوشنی، و تا 0.1 برای مدلی با بیش‌برازش شدید.
  • سطح 4: چه آزمایشی این تفاوت را در چند خط نشان می‌دهد؟ پاسخ مورد انتظار: وزن‌ها را از مقادیری با قدر مطلق بزرگ شروع کنید، هر دو را با ضریب کاهش یکسان آموزش دهید و نمودار نُرم وزن‌ها را رسم کنید؛ AdamW نُرم وزن‌ها را سریع‌تر و یکدست‌تر کوچک می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «کاهش وزن و L2 طبق تعریف یکی هستند.» این دو فقط در SGD یکسان عمل می‌کنند؛ در یک بهینه‌ساز تطبیقی، مقیاس جریمه برای هر پارامتر به‌طور جداگانه تغییر می‌کند.
  • «از Adam همراه با L2 استفاده می‌کنیم و برای جبران، لاندا را بزرگ‌تر می‌گیریم.» بزرگ‌تر کردن لاندا ناهمگونی را برطرف نمی‌کند؛ باز هم به بعضی از وزن‌ها تقریباً هیچ کاهشی نمی‌رسد.
  • «چون Adam خودش را تطبیق می‌دهد، نیازی به کاهش وزن ندارد.» انطباق، اندازه‌ی گام‌ها را تنظیم می‌کند نه اندازه‌ی وزن‌ها را. ترنسفورمرهای بیش‌برازش‌شده باز هم به کاهش وزن نیاز دارند.

کجای دوره آموزش داده می‌شود

در درس بهینه‌سازها الگوریتم‌های Adam و AdamW پیاده‌سازی شده و تفکیک آن‌ها شرح داده می‌شود، و در درس منظم‌سازی مقادیر کاهش وزن آمده است.