سؤال مصاحبه

استفاده‌ی دوباره از نرخ یادگیری پیش‌آموزش برای SFT

Reusing the pretraining learning rate for SFT

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

یکی از همکارانتان همان پیکربندی پیش‌آموزش (pretraining) را برای یک دور اجرای SFT کپی کرده است: همان نرخ یادگیری اوج (peak learning rate)، همان گرم‌کردن (warmup) و 3 دوره (epoch) روی 27,000 نمونه. تابع زیان (loss) روی مجموعه‌ی SFT به‌سرعت افت می‌کند و همه خوشحال‌اند. وقتی مدل را تست می‌کنید انتظار دیدن چه چیزی را دارید، و چه مواردی را تغییر می‌دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

انتظار فراموشی فاجعه‌بار (catastrophic forgetting) را داشته باشید: مدل در قالب داده‌های آموزشی پاسخ می‌دهد، اما تابع زیان آن روی متن خام بالا می‌رود و عملکردش در کدنویسی، ریاضی و هر چیزی خارج از این مجموعه ضعیف‌تر می‌شود. در پیش‌آموزش از یک نرخ اوج استفاده شد که حدود 15 برابر بیشتر از مقدار SFT در این درس بود؛ یعنی 3e-4 در برابر 2e-5. نرخ را به بازه‌ی 1e-5 تا 5e-5 کاهش دهید، تعداد دوره‌ها را بین 1 تا 3 نگه دارید، و تابع زیان متن خام را در کنار تابع زیان SFT رصد کنید.

پاسخ کامل

دو سازوکار کاملاً متفاوت

تنظیمات پیش‌آموزش SFT
نرخ یادگیری اوج 3e-4 2e-5
دوره‌ها 1 2
گام‌های گرم‌کردن 2,000 0 تا 100
داده‌ها 2T توکن 27,000 نمونه

فرایند SFT مدلی را تنظیم می‌کند که از قبل کار می‌کند. برداشتن گام‌های بزرگ، ویژگی‌های پیش‌آموخته را با الگوهای یک مجموعه‌ی کوچک بازنویسی می‌کند و از بین می‌برد.

چطور آسیب را ببینیم

بخشی از متن خام را کنار بگذارید (held-out) و تابع زیان توکن بعدی آن را قبل و بعد از SFT اندازه بگیرید. قاعده‌ی این درس چنین است: افزایش بیش از 10 تا 15 درصد یعنی این دور آموزش بیش از حد تهاجمی بوده است. نرخ یادگیری یا تعداد دوره‌ها را کم کنید. علاوه بر این، یک ارزیابی کوچک روی وظایف (tasks) خارج از مجموعه‌ی SFT نیز اجرا کنید.

سه راهکار برای مهار مسئله

  1. نرخ یادگیری پایین، بین 1e-5 تا 5e-5.
  2. آموزش کوتاه‌مدت، 1 تا 3 دوره. بیش از 3 دوره روی یک مجموعه‌ی کوچک به حفظ‌کردن طوطی‌وار می‌انجامد و مدل نمونه‌های آموزشی را کلمه‌به‌کلمه تکرار می‌کند.
  3. ترکیب 2 تا 5 درصد متن خام پیش‌آموزش داخل دسته‌های (batches) مربوط به SFT، بدون اعمال ماسک، تا مدل توانایی عمومی خود را حفظ کند.

چرا نمودار تابع زیان گمراه‌کننده است

افت سریع تابع زیان SFT با یک نرخ بالا، ناشی از بیش‌برازش (overfitting) روی داده‌ها است، نه یادگیری واقعی. در تمرین این درس مقادیر 1e-4، 2e-5 و 1e-6 با هم مقایسه می‌شوند: مقدار بالا سریع افت می‌کند ولی در نهایت روی عدد بالاتری می‌ایستد، مقدار پایین به‌سختی تکان می‌خورد، و مقدار میانی همان نقطه‌ی ایدئال است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا نرخی که برای پیش‌آموزش جواب می‌دهد، فرایند SFT را خراب می‌کند؟ پاسخ مورد انتظار: پیش‌آموزش از نویز شروع می‌شود و میانگین را روی تریلیون‌ها توکن حساب می‌کند؛ اما SFT از یک مدل آماده و یک مجموعه‌ی کوچک آغاز می‌شود، بنابراین هر گام بزرگ ویژگی‌هایی را که در این مجموعه پوشش داده نشده‌اند پاک می‌کند.
  • سطح 2: چند دوره آموزش لازم است و چطور در این مورد تصمیم می‌گیرید؟ پاسخ مورد انتظار: 1 تا 3 دوره؛ زمانی آموزش را متوقف کنید که تابع زیان روی داده‌های دستورالعملی نگه‌داشته‌شده دیگر بهبود پیدا نکند و تابع زیان متن خام نیز از بودجه‌ی تعیین‌شده فراتر نرفته باشد.
  • سطح 3: تابع زیان روی متن خام 25 درصد بالا رفته، اما تیم محصول از پاسخ‌ها راضی است. مدل را منتشر کنیم؟ پاسخ مورد انتظار: به این شکل خیر؛ مدل بخشی از توانایی عمومی‌اش را از دست داده که کاربران نهایتاً با آن برخورد خواهند کرد؛ آموزش را با نرخ پایین‌تر یا همراه با ترکیب داده‌های پیش‌آموزش تکرار کنید و با یک ارزیابی خارج از مجموعه بسنجید.
  • سطح 3: تکنیک LoRA چگونه این شرایط را تغییر می‌دهد؟ پاسخ مورد انتظار: وزن‌های پایه دست‌نخورده و منجمد (frozen) می‌مانند، در نتیجه آسیب فقط محدود به تطبیق‌دهنده (adapter) است و عملیات merge برگشت‌پذیر خواهد بود؛ علاوه بر این، تطبیق‌دهنده نرخ یادگیری بالاتری را نسبت به به‌روزرسانی کامل وزن‌ها تحمل می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «تابع زیان SFT افت کرد، پس آموزش موفق بود.» تابع زیان روی مجموعه چیزی درباره‌ی آنچه مدل فراموش کرده نمی‌گوید؛ تابع زیان متن خام و یک ارزیابی خارج از مجموعه را بسنجید.
  • «مثل پیش‌آموزش، 2,000 گام گرم‌کردن اولیه در نظر بگیرید.» مجموعه‌ی SFT در کل گام‌های اندکی دارد؛ در این درس از 0 تا 100 گام گرم‌کردن استفاده می‌شود.
  • «از نرخ بالاتری استفاده کنید تا کار زودتر تمام شود، داده‌ها کم است.» نرخ بالا روی یک مجموعه‌ی کوچک باعث بیش‌برازش می‌شود و دانش پیش‌آموخته را بازنویسی می‌کند؛ داده‌های کم به گام‌های کوچک‌تر نیاز دارند، نه بزرگ‌تر.

کجای دوره آموزش داده می‌شود

درس SFT ابرپارامترهای پیش‌آموزش و SFT را مقایسه می‌کند و میزان فراموشی را با تابع زیان متن خام می‌سنجد.