سؤال مصاحبه

نقش تصحیح سوگیری در گام‌های اولیه‌ی الگوریتم Adam

What Adam's bias correction does in the first steps

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

الگوریتم Adam میانگین متحرک گرادیان و میانگین متحرک مجذور آن را نگه می‌دارد و پیش از به‌روزرسانی پارامترها، هر کدام را بر مقدارِ یک منهای بتا به توان t تقسیم می‌کند. یکی از هم‌تیمی‌های شما برای ساده‌تر شدن کد، این دو تقسیم را حذف می‌کند. در گام‌های اولیه‌ی آموزش چه تغییری رخ می‌دهد و این تغییر چه زمانی بی‌اثر می‌شود؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر دو میانگین از صفر شروع می‌شوند؛ بنابراین در گام اول، گشتاور اول فقط برابر با (1 - beta1) برابرِ گرادیان است (با beta1 برابر 0.9، یعنی یک‌دهم گرادیان)، و گشتاور دوم نیز با beta2 برابر 0.999، یک‌هزارم مجذور گرادیان خواهد بود. این تقسیم‌ها مقیاس هر دو مقدار را طوری تنظیم می‌کنند که برآوردهایی بدون سوگیری باشند. بدون این تقسیم‌ها، جذر گشتاور دوم بیشتر از گشتاور اول کوچک می‌شود؛ در نتیجه تا زمانی که میانگین‌ها گرم شوند، نسبت این دو و اندازه‌ی گام بسیار بزرگ‌تر از حد معمول خواهد بود. ضریب تصحیح گشتاور اول پس از حدود 50 گام به عدد 1 نزدیک می‌شود، اما ضریب گشتاور دوم (یعنی 1 منهای 0.999 به توان t) تا هزاران گام همچنان بسیار کمتر از 1 باقی می‌ماند؛ به همین دلیل، بدون انجام این تقسیم، اندازه‌ی گام تا مدت‌ها بیش از حد بزرگ می‌ماند.

پاسخ کامل

دو میانگین متحرک

m = beta1 * m + (1 - beta1) * g        first moment, the mean gradient
v = beta2 * v + (1 - beta2) * g^2      second moment, the mean squared gradient
m_hat = m / (1 - beta1^t)
v_hat = v / (1 - beta2^t)
w = w - lr * m_hat / (sqrt(v_hat) + eps)

گشتاور اول همان تکانه (momentum) است: با انتخاب 0.9 برای beta1، این گشتاور به‌طور تقریبی میانگین 10 گرادیان اخیر را می‌گیرد (حاصل 1 تقسیم بر (1 - 0.9)). گشتاور دوم، اندازه‌ی گام را برای هر پارامتر به‌طور مجزا تنظیم می‌کند: وزن‌هایی با گرادیان‌های بزرگ بر عدد بزرگ‌تری تقسیم می‌شوند و کمتر تغییر می‌کنند، در حالی که وزن‌های با گرادیان کوچک‌تر، بیشتر حرکت می‌کنند.

چرا میانگین‌ها کارشان را اشتباه شروع می‌کنند؟

در گام اول، m برابر با 0.1 گرادیان است. میانگین هنوز گرم نشده و درس این وضعیت را «ده برابر کوچک‌تر از حد واقعی» می‌نامد. همین موضوع برای v با ضریب 0.001 نیز صادق است. تقسیم m بر (1 - 0.9) در گام اول، دوباره همان مقدار گرادیان را به دست می‌دهد. در گام 100، ضریب (1 منهای 0.9 به توان 100) تقریباً برابر 1.0 است و تصحیح سوگیری عملاً ناپدید می‌شود. قاعده‌ی درس برای گشتاور اول چنین است: تا حدود 10 گام اول اهمیت دارد و بعد از گام 50 کاملاً بی‌اثر می‌شود. اما روند گشتاور دوم کندتر است. با beta2 برابر 0.999، ضریب آن تنها پس از گذشت هزاران گام به عدد 1 نزدیک می‌شود؛ بنابراین اثر تصحیح آن تا مدت‌ها ادامه دارد.

حذف این تقسیم‌ها چه پیامدی دارد؟

دو گشتاور با ضریب‌های متفاوتی منقبض و کوچک می‌شوند و در رابطه‌ی به‌روزرسانی، نسبت آن‌ها پس از گرفتن رادیکال از مخرج محاسبه می‌شود. گشتاور اول 0.1 برابر می‌شود، گشتاور دوم 0.001 برابر می‌شود و جذر آن نیز به کمتر از 0.1 کاهش می‌یابد؛ بنابراین مخرج کسر بیش از حد کوچک شده و حاصل گام بسیار بزرگ می‌شود. در به‌روزرسانی‌های اولیه، گام‌هایی نامتناسب و بیش از اندازه بزرگ بر پایه‌ی آماره‌هایی برداشته می‌شوند که تنها از یک یا دو گرادیان تشکیل شده‌اند. نشانه‌ی این مشکل، جهش ناگهانی تابع زیان (loss) در گام‌های اولیه و گاهی واگرایی کامل فرایند آموزش پیش از تثبیت آن است.

چه عامل دیگری از گام‌های اولیه محافظت می‌کند؟

گرم‌کردن اولیه (warmup) ــ یعنی استفاده از نرخ یادگیری (learning rate) پایینی که در گام‌های نخست رفته‌رفته افزایش می‌یابد ــ در همین بازه نقشی محافظتی ایفا می‌کند، اما به دلیلی متفاوت: تصحیح سوگیری مقیاس میانگین‌ها را درست می‌کند، نه نوفه‌ی (noise) آن‌ها را. توصیه‌ی درس درباره‌ی تنظیم هایپرپارامترها: ابتدا نرخ یادگیری را تغییر دهید، سپس beta2 را؛ تقریباً هرگز سراغ تغییر beta1 یا epsilon نروید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: گشتاور اول و دوم هر کدام چه چیزی را برآورد می‌کنند؟ پاسخ مورد انتظار: میانگین متحرک گرادیان که همان تکانه است، و میانگین متحرک مجذور گرادیان که اندازه‌ی گام را به‌ازای هر پارامتر تنظیم می‌کند.
  • سطح 2: با beta1 برابر 0.9، گشتاور اول به‌طور تقریبی میانگین چند گرادیان قبلی است؟ پاسخ مورد انتظار: حدود 10 گرادیان، طبق رابطه‌ی 1 تقسیم بر (1 - 0.9).
  • سطح 3: با وجود تصحیح سوگیری، چرا Adam همچنان به گرم‌کردن نیاز دارد؟ پاسخ مورد انتظار: تصحیح سوگیری مقیاس میانگین‌ها را اصلاح می‌کند، نه نوفه‌ی آن‌ها را؛ آماره‌هایی که تنها از چند گام اول به دست می‌آیند برآورد ضعیفی هستند، بنابراین یک نرخ یادگیری پایین در ابتدای کار، آسیب احتمالی را محدود می‌کند.
  • سطح 3: وقتی آموزش ناپایدار است، اول کدام هایپرپارامتر Adam را تغییر می‌دهید؟ پاسخ مورد انتظار: ابتدا نرخ یادگیری، سپس beta2؛ تقریباً هرگز دست به تغییر beta1 یا epsilon نمی‌زنیم.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «این تقسیم یک عبارت ایمنی عددی مثل epsilon است.» خیر؛ epsilon از صفر شدن مخرج جلوگیری می‌کند، اما تقسیم بر مقدارِ یک منهای بتا به توان t، اثر مقداردهی اولیه‌ی صفر میانگین‌ها را تصحیح می‌کند.
  • «بدون این تقسیم، گام‌های اولیه خیلی کوچک می‌شوند و آموزش فقط کندتر پیش می‌رود.» برعکس؛ چون جذر گشتاور دوم بیشتر از گشتاور اول کوچک می‌شود، نسبت آن‌ها و در نتیجه اندازه‌ی گام بیش از حد بزرگ خواهد شد.
  • «هر دو تصحیح بعد از حدود 50 گام بی‌اثر می‌شوند.» این موضوع فقط درباره‌ی گشتاور اول صدق می‌کند. با beta2 برابر 0.999، ضریب گشتاور دوم تا هزاران گام همچنان بسیار کمتر از 1 باقی می‌ماند.

کجای دوره آموزش داده می‌شود

در درس بهینه‌سازها الگوریتم Adam را از صفر پیاده‌سازی می‌کنیم و محاسبات مربوط به گام اول را بررسی می‌کنیم.