پس‌آموزش

Post-training

تنظیم نظارت‌شده، تنظیم ترجیحات، LoRA و یادگیری تقویتی روی مدل آموزش‌دیده.

سطح ۱ غربالگری ۴

  1. یک میلیون جفت‌داده‌ی استخراج‌شده از وب یا مجموعه‌ای کوچک و گلچین‌شدهبده‌بستان۸ دقیقه
  2. شمارش پارامترهای یک تطبیق‌دهنده‌ی LoRAتخمین۶ دقیقه
  3. فقط هد را آموزش دهیم یا کل مدل را فاین‌تیون کنیم؟بده‌بستان۸ دقیقه
  4. چرا در تابع زیان SFT از توکن‌های دستورالعمل صرف‌نظر می‌کنیم؟مفهومی۶ دقیقه

سطح ۲ میانی ۹

  1. ترینر DPO که تابع زیان آن هیچ تغییری نمی‌کندکدخوانی۱۲ دقیقه
  2. پاداش درجا‌زننده در GRPO و گروه‌هایی که هیچ چیزی یاد نمی‌دهنداشکال‌یابی۱۲ دقیقه
  3. اجرای فاین‌تیونینگ یک مدل 7B روی کارت گرافیک 24 گیگابایتیتخمین۱۰ دقیقه
  4. جایگزینی ارزیاب انسانی با یک مدل قانون‌محورمفهومی۱۰ دقیقه
  5. استفاده‌ی دوباره از نرخ یادگیری پیش‌آموزش برای SFTمفهومی۸ دقیقه
  6. پردازشگر گرافیکی بیکار است و لاگ RL مدام حجیم‌تر می‌شوداشکال‌یابی۱۰ دقیقه
  7. جریمه‌ی KL در RLHF از چه چیزی محافظت می‌کند؟مفهومی۱۰ دقیقه
  8. مدل پاداش در DPO کجا رفت؟مفهومی۱۲ دقیقه
  9. چرا مدل‌های پاداش از مقایسه‌های جفتی یاد می‌گیرند، نه از امتیازها؟مفهومی۱۰ دقیقه

سطح ۳ ارشد ۸

  1. اختلاف گام 0 چند برابر بازه‌ی نرمال استاشکال‌یابی۱۲ دقیقه
  2. انتخاب DPO یا استک کامل RLHF برای یک تیم کوچکبده‌بستان۱۲ دقیقه
  3. افزایش حاشیه و افت احتمال پاسخ‌های برگزیده در اجرای DPOاشکال‌یابی۱۲ دقیقه
  4. انتخاب تابع زیان ترجیح برای چهار نوع دادهطراحی۱۵ دقیقه
  5. پیش از وزن‌دهی مجدد، علت ایجاد شکاف را برطرف کنیدبده‌بستان۱۵ دقیقه
  6. بررسی ادعای افزایش سرعت در یادگیری تقویتی پیش از تبدیل آن به تنظیمات پیش‌فرضطراحی۱۲ دقیقه
  7. پاداش بالا می‌رود اما امتیازهای انسانی نهاشکال‌یابی۱۲ دقیقه
  8. نوشتن و اثبات درستی پاداش سفارشی برای الگوریتم GRPOپروژه‌ی خانگی۳۰ دقیقه

سطح ۴ استف ۳

  1. طراحی مسیر پیش‌روی شبیه‌سازی‌شده (Rollout) غیرهمگام در یادگیری تقویتی و مهار سن نمونه‌هاطراحی۱۵ دقیقه
  2. آیا کنار گذاشتن مدل پاداش، دور زدن پاداش را متوقف می‌کند؟مفهومی۱۲ دقیقه
  3. برنامه‌ریزی پس‌آموزش یک دستیار پشتیبانیپروژه‌ی خانگی۴۵ دقیقه