سؤال مصاحبه

انتخاب نرخ یادگیری اوج و برنامه‌ی زمان‌بندی در چند ساعت

Choose a peak learning rate and a schedule in a few hours

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

مدلی به شما تحویل داده شده که هیچ نرخ یادگیری مناسبی برای آن مشخص نیست و کل بودجه‌ی محاسباتی شما هم چند ساعت بیشتر نیست. فرایندی برای انتخاب «نرخ یادگیری اوج» (peak learning rate) و «برنامه‌ی زمان‌بندی نرخ یادگیری» (learning rate schedule) طراحی کنید و بگویید چه مواردی را لاگ می‌کنید تا از این انتخاب دفاع کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ابتدا یک آزمون دامنه‌ی نرخ یادگیری (learning rate range test) اجرا کنید: مدل را حدود 100 گام آموزش دهید، به‌طوری که نرخ یادگیری به‌صورت نمایی از 1e-7 تا حدود 10 رشد کند؛ در هر گام نیز تابع زیان (loss) را ثبت کنید. نرخی را که در آن زیان با بیشترین شیب افت می‌کند پیدا کنید و نرخ یادگیری اوج را حدود 10 برابر کمتر از آن قرار دهید. سپس یک پیش‌گرمایش خطی (linear warmup) در طول 1 تا 5 درصد از گام‌ها اجرا کنید که به افت کسینوسی (cosine decay) با کفی حدود یک‌دهمِ نرخ اوج ختم شود؛ یا اگر بودجه محدود و تعداد کل گام‌ها ثابت است، سیاست تک‌چرخه‌ای (1cycle policy) را به کار بگیرید. در تمام گام‌ها، منحنی آزمون دامنه، منحنی برنامه‌ی زمان‌بندی و نُرم گرادیان (gradient norm) را در کنار نرخ یادگیری لاگ کنید.

پاسخ کامل

گام اول: اندازه بگیرید، حدس نزنید

آزمون دامنه‌ی ارائه‌شده در درس عیب‌یابی: وزن‌ها را ذخیره کنید، کار را از 1e-7 شروع کنید، در هر گام نرخ را در یک ضریب ثابت ضرب کنید تا بعد از 100 گام به حدود 10 برسد، زیان را ثبت کنید، و اگر مقدار زیان به NaN تبدیل شد یا از 10 برابرِ بهترین مقدار مشاهده‌شده فراتر رفت، کار را متوقف کنید. در پایان وزن‌ها را بازگردانید. منحنی زیان در مقادیر پایین نرخ یادگیری تخت است، حول یک نرخ مشخص با بیشترین شیب افت می‌کند، به کمینه‌ی خود می‌رسد و سپس واگرا می‌شود. نرخ اوج پیشنهادی حدود 10 برابر کمتر از تندترین شیبِ افت است؛ در مثال درس، اگر تندترین نقطه حوالی 1e-2 باشد، بهترین نرخ نزدیک به 1e-3 خواهد بود. قاعده‌ی دوم درس وضعیتی را پوشش می‌دهد که منحنی چندان شفاف نیست: سه نرخ با اختلاف 10 برابری (مثلاً 1e-2، 1e-3 و 1e-4) را امتحان کنید و زیان را بعد از چند دور (epoch) بخوانید.

گام دوم: انتخاب شکل برنامه بر اساس بودجه

وضعیت برنامه‌ی زمان‌بندی دلیل
تعداد کل گام‌ها نامشخص است ثابت، همراه با کاهش دستی هیچ برنامه‌ی دیگری قابل محاسبه نیست
چند ساعت، تعداد گام‌ها ثابت است 1cycle سریع‌ترین همگرایی برای بودجه‌ی ثابت
بودجه‌ی متوسط کسینوسی، با کفی معادل یک‌دهم نرخ اوج پیش‌فرض امن بدون پیچ تنظیم اضافه
چند روز یا چند هفته پیش‌گرمایش به‌علاوه‌ی کسینوسی پیش‌فرض مدل‌های ترنسفورمر بزرگ

برای بودجه‌ی چند ساعته با تعداد گام‌های مشخص، درسِ برنامه‌های زمان‌بندی سیاست 1cycle را پیشنهاد می‌دهد؛ این سیاست نرخ یادگیری را در نیمه‌ی اول از یک‌بیست‌وپنجمِ نرخ اوج تا خودِ نرخ اوج بالا می‌برد و در نیمه‌ی دوم آن را تا یک‌ده‌هزارم نرخ اوج پایین می‌آورد. برای هر زمان طولانی‌تر از آن، ترکیب پیش‌گرمایش با افت کسینوسی همراه با 1 تا 5 درصد پیش‌گرمایش مناسب است. با یک بهینه‌ساز تطبیقی (adaptive optimizer)، پیش‌گرمایش اختیاری نیست؛ چرا که تخمین‌های گشتاور (moment estimates) آن در گام‌های اولیه بسیار ضعیف‌اند.

گام سوم: ارزیابی اولیه‌ی صحت نرخ اوج

در اجرای ارزیابی حساسیت (sensitivity run) در درس برنامه‌های زمان‌بندی، مدل چند دور با نرخ ثابت آموزش می‌بیند و هر اجرا یکی از این برچسب‌ها را می‌گیرد: «واگراشده» (diverged)، «به‌سختی تغییرکرده» (barely moved)، «در حال یادگیری» (learning) یا «همگراشده» (converged). این کار را روی نرخ اوج انتخابی و همچنین نرخ‌های یک پله بالاتر و پایین‌تر اجرا کنید. نرخ اوج باید در دسته‌ی «در حال یادگیری» یا «همگراشده» بیفتد و نرخ بالاتر از آن باید اولین نشانه‌های مشکل را بروز دهد.

چه مواردی باید ثبت شوند

  • منحنی آزمون دامنه: نمودار زیان بر حسب نرخ یادگیری روی یک محور لگاریتمی، همراه با علامت‌گذاری نرخ اوج انتخابی.
  • تصویر برنامه‌ی زمان‌بندی روی محور گام‌ها، ذخیره‌شده در پوشه‌ی اجرا تا بازبین بتواند بدون نیاز به اجرای مجدد، آن را ببیند.
  • در هر گام، این مقادیر و دقیقاً به همین ترتیب: گام، نرخ یادگیری، نُرم L2 گرادیان و تابع زیان. طبق قاعده‌ی درس پروژه‌ی پایانی، در یک پیش‌گرمایش سالم، نُرم گرادیان همگام با نرخ بالا می‌رود و بعد از اوج تثبیت می‌شود؛ اما اگر نرخ اوج بیش از حد بالا باشد، نُرم گرادیان همچنان بالا می‌ماند.
  • چهار پارامتر عددی برنامه‌ی زمان‌بندی در یک فایل کانفیگ نسخه‌بندی‌شده، با ثبت پیش‌گرمایش به‌صورت کسری از کل گام‌ها تا اگر زمان اجرا طولانی‌تر شد نیز معتبر بماند.

پیش‌فرض‌ها برای زمانی که اصلاً وقت ندارید

طرح پشتیبان درس بهینه‌سازها: برای مدلی ناشناخته از AdamW با نرخ 3e-4 و کاهش وزن 0.01 استفاده کنید؛ برای فاین‌تیونینگ یک مدل از‌پیش‌آموزش‌دیده، نرخ 2e-5 را به کار ببرید. به این اعداد به چشم نقطه‌ی شروع آزمون دامنه نگاه کنید، نه نتیجه‌ی آن.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا نرخ اوج را پایین‌تر از نقطه‌ی تندترین شیب تنظیم می‌کنید و نه دقیقاً روی همان نقطه؟ پاسخ مورد انتظار: نقطه‌ی تندترین شیب به مرز واگرایی زیان بسیار نزدیک است و یک اجرای طولانی به حاشیه‌ی امنیت نیاز دارد؛ یک مرتبه‌ی بزرگی (order of magnitude) پایین‌تر آمدن، این حاشیه را تأمین می‌کند.
  • سطح 4: چه زمانی سیاست 1cycle را به پیش‌گرمایش به‌علاوه‌ی کسینوسی ترجیح می‌دهید؟ پاسخ مورد انتظار: در بودجه‌های کوتاه و ثابت که تعداد کل گام‌ها مشخص است؛ 1cycle برای یک حجم محاسباتی ثابت سریع‌تر همگرا می‌شود و نیازمند دانستن تعداد گام‌ها از قبل است.
  • سطح 4: نرخ اوج درست انتخاب شده اما زیان در اواخر آموزش همچنان نوسان دارد. چه چیزی را تغییر می‌دهید؟ پاسخ مورد انتظار: مقدار افت (decay) را، نه نرخ اوج را؛ برنامه‌ای که با نرخ بسیار بالایی تمام شود، گام‌هایی بزرگ‌تر از اندازه‌ی لازم برای رسیدن به کمینه‌ی نهایی برمی‌دارد، بنابراین باید کف نرخ را پایین‌تر بیاورید یا بازه‌ی افت را طولانی‌تر کنید.
  • سطح 4: اندازه‌ی مدل چگونه این برنامه را تغییر می‌دهد؟ پاسخ مورد انتظار: ابتدا نرخ اوج را روی نسخه‌ی کوچک‌تری از مدل بررسی کنید تا یک پیشین (prior) به دست آورید، سپس آن را با آزمون دامنه روی مدل اصلی تأیید کنید؛ چون نقطه‌ی بهینه با تغییر اندازه تغییر می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «برای Adam از 3e-4 استفاده کنید، همیشه جواب می‌دهد.» این عدد صرفاً پیش‌فرض اولیه‌ی درس برای زمان بی‌اطلاعی است، نه نتیجه‌ی نهایی؛ آزمون دامنه چند دقیقه بیشتر طول نمی‌کشد و حدس و گمان را با اندازه‌گیری جایگزین می‌کند.
  • «نرخی را انتخاب کنید که کمترین زیان را در آزمون دامنه دارد.» نقطه‌ی کمینه دقیقاً چسبیده به مرز واگرایی است؛ طبق درس باید نرخی حدود 10 برابر پایین‌تر از تندترین افت انتخاب شود.
  • «اگر نرخ ثابتی که انتخاب می‌کنیم درست باشد، مشکلی پیش نمی‌آید.» نرخ بهینه در طول آموزش تغییر می‌کند؛ نرخی ثابت که برای ابتدا مناسب است، در انتهای کار بیش از حد بزرگ خواهد بود. در درس، نرخ‌های ثابت فقط برای مدل‌های کوچک و عیب‌یابی نگه داشته می‌شوند.

کجای دوره آموزش داده می‌شود

درس عیب‌یابی نحوه‌ی پیاده‌سازی آزمون دامنه را آموزش می‌دهد، درس برنامه‌های زمان‌بندی نرخ یادگیری این برنامه‌ها را مقایسه کرده و جریان کاری تصمیم‌گیری را ارائه می‌دهد، درس بهینه‌سازها پیش‌فرض‌های طرح پشتیبان را معرفی می‌کند، و پروژه‌ی پایانی پیش‌گرمایش کسینوسی ساختار لاگ‌گیری (logging schema) را مشخص می‌کند.