سؤال مصاحبه

چرا گرادیان کاهشی معمولی زیگزاگی حرکت می‌کند اما تکانه نه؟

Why plain gradient descent zigzags and momentum does not

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

فرض کنید می‌خواهید تابع روزن‌بروک (Rosenbrock function) را از نقطه‌ی (-1, 1) کمینه‌سازی کنید. گرادیان کاهشی (gradient descent) معمولی درون دره‌ی خمیده به‌کندی می‌خزد و به هزاران گام نیاز دارد؛ اما اجرای همین سناریو با تکانه (momentum) بسیار سریع‌تر به مقصد می‌رسد. توضیح دهید که این دره چه بلایی سر گرادیان کاهشی معمولی می‌آورد و تکانه چه تغییری در این روند ایجاد می‌کند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

در یک دره‌ی باریک، جهت گرادیان به‌سمت عرض دره (دیواره‌ها) است، نه در امتداد طول آن. بنابراین، در گرادیان کاهشی معمولی هر گام از یک دیواره به دیواره‌ی دیگر پرتاب می‌شود و پیشرفت چندانی به‌سمت نقطه‌ی کمینه صورت نمی‌گیرد. اما تکانه یک بردار سرعت (velocity) نگه می‌دارد که مجموع گرادیان‌های قبلی است. مؤلفه‌های عرضی مدام تغییر علامت می‌دهند و همدیگر را خنثی می‌کنند، درحالی‌که مؤلفه‌ی طولی علامت خود را حفظ می‌کند و تقویت می‌شود؛ در نتیجه، مسیر حرکت هموار و سریع خواهد بود.

پاسخ کامل

تابع

فرمول این تابع به صورت (1 - x)^2 + 100 (y - x^2)^2 است. نقطه‌ی کمینه‌ی آن در (1, 1) و در کف یک دره‌ی خمیده قرار دارد. ضریب 100 باعث می‌شود که دیواره‌های دره بسیار پرشیب و کف آن تقریباً مسطح باشد؛ بنابراین گرادیان در عرض دره بسیار بزرگ و در امتداد طول آن بسیار کوچک است.

گرادیان کاهشی معمولی

قاعده‌ی به‌روزرسانی به صورت w = w - lr times gradient است. اندازه‌ی هر گام فقط و فقط با نرخ یادگیری (learning rate) تعیین می‌شود. اگر نرخ یادگیری آن‌قدر بزرگ باشد که بتواند در امتداد کف دره حرکت کند، در جهت عرض دره پرش‌های بیش‌ازحد (overshoot) خواهد داشت؛ اگر هم آن‌قدر کوچک باشد که درون دیواره‌ها بماند، روی کف دره عملاً می‌خزد. در درس اصلی، این حالت با نرخ یادگیری 0.0005 طی 5000 گام اجرا می‌شود و باز هم پیشرفت بسیار کندی دارد.

تکانه

v = beta * v + gradient
w = w - lr * v

بردار سرعت در واقع یک مجموع نمایی از گرادیان‌های پیشین است. مؤلفه‌هایی که در هر گام علامت‌شان عوض می‌شود، داخل این مجموع همدیگر را خنثی می‌کنند. در مقابل، مؤلفه‌هایی که علامت ثابتی دارند جمع می‌شوند و باعث می‌شوند توپ در امتداد کف دره سریع‌تر بغلتد. در این درس مقدار بتا (beta) برابر با 0.9 در نظر گرفته شده که تقریباً اثر 10 گرادیان آخر را حفظ می‌کند. بتای بزرگ‌تر هموارسازی (smoothing) بیشتری ایجاد می‌کند، اما وقتی دره می‌پیچد، واکنش کندتری نشان می‌دهد.

این مسیر به کجا می‌رسد؟

الگوریتم Adam یک گام فراتر می‌رود و علاوه‌بر این، گامِ هر وزن را بر میانگین متحرک اندازه‌ی گرادیان‌هایش تقسیم می‌کند؛ بنابراین هر وزن اندازه‌ی گام مختص به خود را خواهد داشت. در اجرای تابع روزن‌بروک در این درس، Adam با نرخ یادگیری 0.01 سریع‌ترین همگرایی را دارد، تکانه مسیر هموارتری را دنبال می‌کند و گرادیان کاهشی معمولی بسیار عقب می‌ماند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: پارامتر بتا چه چیزی را کنترل می‌کند؟ پاسخ مورد انتظار: چه مقدار از سرعت قبلی در هر گام باقی بماند؛ عدد 0.9 تقریباً 10 گرادیان آخر را زنده نگه می‌دارد.
  • سطح 3: تکانه از نقطه‌ی کمینه رد می‌شود (overshoot) و دوباره برمی‌گردد. چرا؟ پاسخ مورد انتظار: سرعت انباشته‌شده، نقطه را حتی بعد از اینکه علامت گرادیان عوض شد از کف رد می‌کند؛ استفاده از بتای کوچک‌تر یا نرخ یادگیری کاهشی (decaying) جلوی این نوسان را می‌گیرد.
  • سطح 3: این حرکت زیگزاگی چطور خودش را در یک اجرای آموزش واقعی نشان می‌دهد؟ پاسخ مورد انتظار: تابع زیان (loss) ابتدا خیلی سریع افت می‌کند و سپس به یک حالت یکنواخت (plateau) می‌رسد درحالی‌که وزن‌ها نوسان می‌کنند؛ کاهش نرخ یادگیری یا استفاده از تکانه این وضعیت را هموار می‌کند.
  • سطح 4: در چنین دره‌ای، Adam چه مزیتی نسبت به تکانه دارد؟ پاسخ مورد انتظار: گام هر وزن را با معکوس میانگین متحرک اندازه‌ی گرادیانش مقیاس‌بندی می‌کند؛ بنابراین در جهت پرشیب گام‌های کوچک و در جهت هموار گام‌های بزرگی برمی‌دارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نرخ یادگیری را آن‌قدر بالا ببرید تا گرادیان کاهشی معمولی سریع‌تر پیش برود.» گام بزرگ‌تر پرش‌های عریض‌تری در عرض دره ایجاد می‌کند و قبل از اینکه در راستای طول دره سرعت بگیرد، واگرا می‌شود.
  • «تکانه یعنی همان نرخ یادگیری بزرگ‌تر.» بردار سرعت فقط در جهاتی رشد می‌کند که گرادیان‌ها علامت ثابتی داشته باشند و در جهات رفت‌وبرگشتی خنثی می‌شود؛ یک نرخ یادگیری عددی (اسکالر) نمی‌تواند چنین تفکیکی انجام دهد.
  • «این دره یک کمینه‌ی محلی است، بنابراین بهینه‌ساز گیر افتاده است.» گرادیان در کف دره صفر نیست. نقطه در هر گام حرکت می‌کند، فقط سرعتش بسیار کم است.

کجای دوره آموزش داده می‌شود

در درس بهینه‌سازی (optimization)، گرادیان کاهشی معمولی، تکانه و Adam را می‌سازیم و آن‌ها را روی تابع روزن‌بروک اجرا می‌کنیم.