سؤال مصاحبه

گرم‌کردن نرخ یادگیری جلوی چه مشکلی را می‌گیرد؟

What a learning rate warmup protects

  • سطح ۳: ارشد
  • مفهومی
  • ۱۰ دقیقه

در دستورالعمل آموزش ترنسفورمر (Transformer)، نرخ یادگیری (learning rate) از صفر شروع می‌شود، طی گام‌های اول به‌صورت خطی تا مقدار اوج بالا می‌رود و سپس با تابع کسینوسی افت می‌کند. یکی از هم‌تیمی‌هایتان می‌خواهد از همان ابتدا آموزش را با نرخ یادگیری اوج شروع کند تا این گام‌ها صرفه‌جویی شوند. توضیح دهید که این شیب افزایشی جلوی چه مشکلی را می‌گیرد، طول آن باید چقدر باشد و چگونه فرمول‌بندی شود تا با طولانی‌تر شدن اجرای آموزش مقیاس‌پذیر بماند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

اولین به‌روزرسانی‌ها شکننده‌ترین بخش آموزش هستند: وزن‌ها نزدیک به مقادیر اولیه‌شان قرار دارند، تخمین‌های پویای آدام (Adam) از میانگین و واریانس گرادیان تنها بر اساس چند نمونه‌ی انگشت‌شمار شکل گرفته‌اند، و نُرم گرادیان (gradient norm) بزرگ و پرنویز است. برداشتن یک گام در مقیاس کامل با چنین وضعیتی، یا مدل را واگرا می‌کند یا آن را به فلات زیان (loss plateau) می‌اندازد؛ جایی که دیگر هرگز از آن خارج نمی‌شود. مرحله‌ی گرم‌کردن (warmup) گام مؤثر را تا زمان پایدار شدن محاسبات آماری کوچک نگه می‌دارد؛ این بازه معمولاً حدود 1 تا 5 درصد از کل گام‌هاست و برنامه‌ی زمان‌بندی نرخ یادگیری (learning rate schedule) باید این طول را به‌جای یک تعداد گام ثابت، به‌صورت کسری از کل روند اجرا تعریف کند.

پاسخ کامل

مشکل گام صفر چیست؟

تخمین‌های دو گشتاور (moment) آدام با صفر آغاز می‌شوند. تصحیح سوگیری (bias correction) مقیاس آن‌ها را درست می‌کند، اما گام‌های اول همچنان از آمارهای حاصل از تنها یک یا دو گرادیان استفاده می‌کنند؛ چیزی که در درس برنامه‌های زمان‌بندی به آن «آمارهای بی‌ارزش» می‌گویند. هم‌زمان، وزن‌ها در وضعیت مقداردهی اولیه‌ی تصادفی هستند و نُرم گرادیان در بزرگ‌ترین و پرنویزترین حالت خود قرار دارد. برداشتن یک گام با نرخ اوج در این شرایط، جهشی بزرگ در مسیری کور و نامناسب است. در درس پروژه‌ی پایانی به دو پیامد احتمالی اشاره شده است: یا آموزش بلافاصله واگرا می‌شود، یا مدل در یک فلات زیان گیر می‌افتد و هرگز راه گریزی از آن پیدا نمی‌کند.

گرم‌کردن چه کاری انجام می‌دهد؟

lr(t) = lr_max * t / warmup_steps     for t below warmup_steps

نرخ یادگیری طی گام‌های گرم‌کردن از صفر به مقدار اوج می‌رسد. زمانی که آموزش به نرخ یادگیری کامل می‌رسد، تخمین‌های گشتاور صدها گرادیان را دیده‌اند و وزن‌ها از نقطه‌ی شروع اولیه‌ی خود فاصله گرفته‌اند. نمونه‌های برگرفته از اجراهای منتشرشده در درس برنامه‌های زمان‌بندی، از گرم‌کردن 2000 گامی تا اوج 3e-4 به همراه افت کسینوسی (cosine decay) تا 3e-5، و همچنین دوره‌ی گرم‌کردن روی 375 میلیون توکن (Token) تا اوج 6e-4 استفاده می‌کنند.

طول این دوره چقدر باید باشد؟

در درس برنامه‌های زمان‌بندی، 1 تا 5 درصد از کل گام‌ها پیشنهاد شده است و در صورت تردید، 3 تا 5 درصد. درس پروژه‌ی پایانی بازه‌ی 1 تا 3 درصد را مطرح می‌کند و روی نکته‌ی مهم‌تری دست می‌گذارد: دوره‌ی گرم‌کردن را به‌صورت کسری بنویسید. در یک اجرای 200 میلیون گامی، 2,000 گام گرم‌کردن تقریباً بلافاصله به اوج می‌رسد؛ اما در یک اجرای 20,000 گامی، همین تعداد گام معادل 10 درصد کل آموزش خواهد بود. یک عدد یکسان، دو برنامه‌ی زمان‌بندی کاملاً متفاوت می‌سازد.

چگونه مطمئن شویم درست کار کرده است؟

در هر گام، نُرم گرادیان را در کنار نرخ یادگیری ثبت (log) کنید. در یک گرم‌کردنِ تنظیم‌شده، نُرم گرادیان کمابیش هم‌گام با نرخ بالا می‌رود و پس از گذر از اوج، آرام می‌گیرد. نُرمی که بعد از پایان شیب افزایشی همچنان بالا بماند، نشان می‌دهد که نرخ اوج بیش‌ازحد تهاجمی است. در اجرایی که واگرا می‌شود، نُرم گرادیان قبل از اینکه تابع زیان (loss) منفجر شود، جهش می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا آدام به‌ویژه در گام صفر تا این حد حساس است؟ پاسخ مورد انتظار: تخمین‌های گشتاور آن از صفر شروع می‌شوند و گام‌های اول از آمارهای حاصل از یک یا دو گرادیان استفاده می‌کنند؛ تصحیح سوگیری مقیاس آن‌ها را درست می‌کند، اما نویزشان را از بین نمی‌برد.
  • سطح 3: نُرم گرادیان در طول یک گرم‌کردن سالم چگونه به نظر می‌رسد؟ پاسخ مورد انتظار: کمابیش هم‌گام با نرخ یادگیری بالا می‌رود و پس از نقطه‌ی اوج تثبیت می‌شود؛ اگر نُرم گرادیان بعد از شیب افزایشی همچنان بالا بماند، یعنی مقدار اوج بیش‌ازحد تهاجمی انتخاب شده است.
  • سطح 4: چرا با طولانی‌تر شدن اجرای آموزش، تعداد گام ثابت برای گرم‌کردن کارایی خود را از دست می‌دهد؟ پاسخ مورد انتظار: 2000 گام برای یک اجرای 20,000 گامی معادل 10 درصد است، اما در یک اجرای 200 میلیون گامی سهمی ناچیز و محوشونده به حساب می‌آید؛ بنابراین یک عدد ثابت دو برنامه‌ی متفاوت می‌سازد، درحالی‌که نسبت کسری الگوی نمودار را حفظ می‌کند.
  • سطح 4: اگر اندازه‌ی دسته (batch size) را تغییر دهید، چه مواردی را باید بازنگری کنید؟ پاسخ مورد انتظار: طول دوره‌ی گرم‌کردن و مقدار اوج؛ درس برنامه‌های زمان‌بندی دوره‌ی گرم‌کردن را تنظیمی می‌داند که با تغییر اندازه‌ی دسته حتماً باید تغییر کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «گرم‌کردن با نگه داشتن نرخ یادگیری در مقادیر پایین، گام‌ها را هدر می‌دهد.» در آموزش، 1 تا 5 درصد از کل گام‌ها صرف این کار می‌شود؛ درحالی‌که اگر آموزش در همان گام‌های نخست واگرا شود، همه‌ی گام‌ها به هدر رفته‌اند.
  • «تصحیح سوگیری مشکل شروع سرد (cold start) آدام را برطرف می‌کند، بنابراین گرم‌کردن redundant و اضافی است.» تصحیح سوگیری فقط مقیاس میانگین‌ها را تغییر می‌دهد؛ این کار نمی‌تواند از دو نمونه، تخمین آماری درستی بسازد.
  • «گرم‌کردن را روی 2000 گام بگذارید؛ اجراهای بزرگ از همین مقدار استفاده می‌کنند.» این عدد کسر مشخصی از یک اجرای خاص بوده است؛ در یک اجرای کوتاه، این مقدار بخش عمده‌ی آموزش را می‌گیرد و در یک اجرای طولانی عملاً هیچ است.

کجای دوره آموزش داده می‌شود

در درس برنامه‌های زمان‌بندی نرخ یادگیری منطق گرم‌کردن شرح داده شده و پیکربندی‌های منتشرشده معرفی شده‌اند؛ در پروژه‌ی پایانی گرم‌کردن کسینوسی هم از گرم‌کردنِ کسری دفاع شده و نُرم گرادیان در کنار نرخ یادگیری ثبت می‌شود.