سؤال مصاحبه

انتخاب DPO یا استک کامل RLHF برای یک تیم کوچک

DPO or the full RLHF stack for a small team

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۲ دقیقه

یک تیم چهارنفره از مهندسان با هشت GPU، حدود 20,000 جفت ترجیحات (preference pair) برای یک دستیار پشتیبانی مشتریان در اختیار دارند و می‌خواهند ظرف سه هفته آن را هم‌راستا کنند. یکی از مهندسان استک کامل RLHF با مدل پاداش (reward model) و PPO را پیشنهاد می‌کند و دیگری سراغ DPO می‌رود. شما کدام را انتخاب می‌کنید و تحت چه شرایطی نظرتان برمی‌گردد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

روش DPO را انتخاب کنید. با چند ده هزار جفت داده، کارایی DPO به استک کامل می‌رسد یا حتی بهتر عمل می‌کند؛ فقط یک مدل را در یک حلقه‌ی نظارت‌شده در برابر یک مدل مرجعِ ثابت (frozen) آموزش می‌دهد، به حدود یک‌سوم منابع پردازشی نیاز دارد و هر آزمایش به جای چند روز، ظرف چند ساعت تمام می‌شود. اما اگر سیگنال چندبعدی است و به یک مدل پاداش آموزش‌دیده نیاز دارید که بتوانید بررسی‌اش کنید و دوباره به کار ببرید، اگر به یک حلقه‌ی برخط (online) برای امتیازدهی به نمونه‌های تازه نیاز است، یا اگر DPO در ارزیابی‌تان به حالت یکنواخت (plateau) رسید، تصمیمتان را تغییر دهید.

پاسخ کامل

مزایای DPO

جنبه RLHF با PPO DPO
مدل‌های آموزش‌دیده سه مورد: SFT، پاداش، خط‌مشی (policy) یک مورد: خط‌مشی
مدل‌های موجود در حافظه سه یا چهار مدل در طول PPO دو مدل: خط‌مشی و مرجع
هایپرپارامترها نرخ یادگیری، ضریب KL، نسبت برش (clip ratio)، نرخ یادگیری مدل پاداش، دوره‌ها (epochs) برای هر مرحله نرخ یادگیری، بتا، دوره‌ها
پایداری حساس به تنظیمات نزدیک به SFT

برای یک مدل 70B، هر نسخه در قالب FP16 حدود 140GB حافظه می‌گیرد؛ بنابراین داشتن یک مدل کمتر در حافظه، رده‌ی سخت‌افزار موردنیاز را کاملاً عوض می‌کند.

چه زمانی DPO برنده است؟

  • مجموعه‌داده‌های کوچک، بین 5,000 تا 20,000 جفت داده. مدل پاداش برای تعمیم‌یافتن به داده‌ی کافی نیاز دارد و با داده‌ی کمتر دچار بیش‌برازش (overfitting) می‌شود؛ DPO اصلاً نیازی به ساخت چنین مدلی ندارد.
  • محدودیت منابع پردازشی. یک حلقه‌ی آموزش به جای سه حلقه؛ یعنی حدود یک‌سوم کل استک.
  • سرعت چرخه‌ی آزمایش‌ها. بررسی 10 مجموعه‌ی ترجیحات فقط به ده اجرای چندساعته نیاز دارد، بدون اینکه لازم باشد برای هر کدام یک مدل پاداش جداگانه از اول آموزش ببیند.

نتیجه‌ی مرجع این درس: یک مدل 7B که با 60K جفت داده به روش DPO هم‌راستا شد، روی یک بنچ‌مارک چت امتیاز 6.47 را آورد؛ در حالی که یک مدل چت 70B آموزش‌دیده با استک کامل نمره‌ی 6.86 گرفت، یعنی به فاصله‌ی شش‌درصدی مدلی با ده برابر اندازه‌ی خود رسید.

چه زمانی استک کامل برنده است؟

  • چندین بعد کیفیِ هم‌زمان، مثل مفید بودن (helpfulness)، بی‌ضرر بودن (harmlessness) و صداقت (honesty). مدل پاداش تعادل میان این ابعاد را یاد می‌گیرد؛ در حالی که DPO به هر جفت داده فقط به چشم یک سیگنال دودویی نگاه می‌کند.
  • یک حلقه‌ی برخط: از خط‌مشی فعلی نمونه‌گیری کنید، امتیاز دهید، مدل پاداش را دوباره آموزش دهید و کار را ادامه دهید. DPO روی یک مجموعه‌ی ثابت کار می‌کند.
  • مدل پاداشی که بتوانید برای نمونه‌گیری بهترین از بین N تا (best-of-N) یا به‌عنوان داور در زمان رمزگشایی (decode) دوباره از آن استفاده کنید.
  • بزرگ‌ترین مقیاس‌ها، جایی که طبق پایپ‌لاین‌های منتشرشده، یک مدل پاداش جداگانه ظرافت‌های بیشتری را ثبت کرده است.

مسیر عملی

کار را با DPO شروع کنید. وقتی ارزیابی به حالت یکنواخت رسید، سراغ استک کامل بروید. چندین پایپ‌لاین در محیط عملیاتی (production) هر دو روش را اجرا می‌کنند: اول استک کامل برای هم‌راستاسازی کلی، و بعد DPO برای تنظیم دقیق و هدفمند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: اجرای DPO هنوز به چه بخش‌هایی از دستورالعمل RLHF نیاز دارد؟ پاسخ مورد انتظار: یک چک‌پوینت SFT به‌عنوان مرجعِ ثابت، ارزیابی نگه‌داشته‌شده (held-out) و انتخاب بتا که نقش ضریب KL را بازی می‌کند.
  • سطح 3: جفت داده‌ها از خروجی‌های مدلی قدیمی‌تر به‌دست آمده‌اند. آیا این موضوع برای DPO اهمیت دارد؟ پاسخ مورد انتظار: بله؛ جفت‌هایی که احتمال تولیدشان با مدل مرجع کم است، پاداش‌های ضمنی (implicit reward) دلبخواهی و نامعتبر تولید می‌کنند؛ بنابراین باید جفت‌ها را از مدل SFT نمونه‌گیری کرد یا آن‌ها را بر اساس درست‌نمایی (likelihood) مرجع فیلتر کرد.
  • سطح 4: چطور می‌توان این بازه‌ی سه هفته‌ای را بدون PPO به یک حلقه‌ی تکرارشونده تبدیل کرد؟ پاسخ مورد انتظار: DPO را اجرا کنید، از خط‌مشی جدید خروجی بگیرید، روی همان نمونه‌ها ترجیحات را جمع‌آوری کنید و دوباره DPO را اجرا کنید؛ تمرین این درس به این روش DPO تکرارشونده (iterative DPO) می‌گوید.
  • سطح 4: هر دو روش در کدام حالت شکست مشترک‌اند؟ پاسخ مورد انتظار: بهینه‌سازی بیش‌ازحد یک متغیر جایگزین (proxy)؛ در یک روش مدل پاداش و در روش دیگر نسبت احتمال به مدل مرجع؛ هر دو به ارزیابی کور (blind eval) و توقف زودهنگام (early stopping) نیاز دارند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «RLHF روشی اثبات‌شده است، پس باید از آن شروع کرد.» استک کامل برای تنظیم بسیار شکننده است و به سه حلقه‌ی آموزشی نیاز دارد؛ توصیه‌ی عملی این درس شروع با DPO و رفتن سراغ استک کامل فقط در صورت رسیدن به حالت یکنواخت است.
  • «روش DPO نیازی به مرحله‌ی SFT ندارد.» این روش به یک خط‌مشی مرجع نیاز دارد و آن مرجع همان چک‌پوینت SFT است؛ روش‌های تک‌مرحله‌ای از توابع زیان (loss) دیگری استفاده می‌کنند.
  • «نیازی نیست در DPO نگران هایپرپارامترها بود.» بتا مشخص می‌کند که خط‌مشی چقدر از مرجع فاصله بگیرد؛ جست‌وجوی هایپرپارامترها (sweep) در این درس نشان می‌دهد با مقدار کوچک، پاسخ‌ها فرومی‌پاشند و با مقدار بزرگ، اصلاً یادگیری رخ نمی‌دهد.

کجای دوره آموزش داده می‌شود

در درس DPO هر دو روش از نظر داده، پردازش و حافظه مقایسه شده‌اند و درس مدل‌سازی پاداش جایگاه هرکدام را در استک چندلایه‌ی هم‌راستاسازی مشخص می‌کند.