پسآموزش
Post-training
تنظیم نظارتشده، تنظیم ترجیحات، LoRA و یادگیری تقویتی روی مدل آموزشدیده.
- ۲۴ سؤال
- ۵ ساعت تمرین
- پاسخها بستهاند تا اول خودتان جواب بدهید
سطح
نوع
۲۴ سؤال
سطح ۱ غربالگری ۴
سطح ۲ میانی ۹
- ترینر DPO که تابع زیان آن هیچ تغییری نمیکند
- پاداش درجازننده در GRPO و گروههایی که هیچ چیزی یاد نمیدهند
- اجرای فاینتیونینگ یک مدل 7B روی کارت گرافیک 24 گیگابایتی
- جایگزینی ارزیاب انسانی با یک مدل قانونمحور
- استفادهی دوباره از نرخ یادگیری پیشآموزش برای SFT
- پردازشگر گرافیکی بیکار است و لاگ RL مدام حجیمتر میشود
- جریمهی KL در RLHF از چه چیزی محافظت میکند؟
- مدل پاداش در DPO کجا رفت؟
- چرا مدلهای پاداش از مقایسههای جفتی یاد میگیرند، نه از امتیازها؟
سطح ۳ ارشد ۸
- اختلاف گام 0 چند برابر بازهی نرمال است
- انتخاب DPO یا استک کامل RLHF برای یک تیم کوچک
- افزایش حاشیه و افت احتمال پاسخهای برگزیده در اجرای DPO
- انتخاب تابع زیان ترجیح برای چهار نوع داده
- پیش از وزندهی مجدد، علت ایجاد شکاف را برطرف کنید
- بررسی ادعای افزایش سرعت در یادگیری تقویتی پیش از تبدیل آن به تنظیمات پیشفرض
- پاداش بالا میرود اما امتیازهای انسانی نه
- نوشتن و اثبات درستی پاداش سفارشی برای الگوریتم GRPO