سؤال مصاحبه

چرا مدل‌های پاداش از مقایسه‌های جفتی یاد می‌گیرند، نه از امتیازها؟

Why reward models learn from pairs, not scores

  • سطح ۲: میانی
  • مفهومی
  • ۱۰ دقیقه

برای هدف «مفید بودن» (helpfulness)، به یک مدل پاداش (reward model) نیاز دارید. مدیر محصول پیشنهاد می‌کند از ارزیاب‌ها بخواهید به هر پاسخ از 1 تا 10 امتیاز بدهند و سپس یک مدل رگرسیون روی این امتیازها آموزش دهید. چرا اکثر پایپ‌لاین‌ها به‌جای این کار، مقایسه‌های جفتی (pairwise comparisons) جمع‌آوری می‌کنند و برای آموزش از چه تابع زیانی (loss) استفاده می‌شود؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

انسان‌ها در امتیازدهی مطلق ضعیف‌اند، اما در قضاوت‌های نسبی مهارت دارند؛ به همین دلیل، پایپ‌لاین‌ها دو پاسخ را برای یک پرامپت نشان می‌دهند و می‌پرسند کدام بهتر است. مدل پاداش در واقع همان مدل تنظیم دقیق نظارت‌شده (SFT) است که هد واژگان آن با یک هد اسکالر جایگزین شده است. این مدل با تابع زیان بردلی-تری (Bradley-Terry loss) آموزش می‌بیند؛ یعنی منفیِ لگاریتم سیگموئیدِ اختلاف پاداش بین پاسخ برتر و پاسخ ردشده. این اختلاف پاداش، به لگاریتم شانس ترجیح (log-odds of preference) تبدیل می‌شود و انبوهی از قضاوت‌های نسبی را در قالب یک مقیاس عددی یکدست و سازگار درمی‌آورد.

پاسخ کامل

تابع زیان

loss = -log( sigmoid( r(x, y_preferred) - r(x, y_rejected) ) )

سیگموئیدِ اختلاف پاداش‌ها، همان احتمال برتری پاسخ برگزیده است. فرایند آموزش، پاداش پاسخ برتر را push می‌کند تا بالاتر برود و پاداش پاسخ ردشده را کاهش می‌دهد. مدل، وضعیت پنهان (hidden state) آخرین موقعیت را می‌خواند؛ زیرا به لطف اتنشن علّی، این نقطه کل پرامپت و پاسخ را دیده است؛ سپس آن را روی یک عدد نگاشت می‌کند.

انتظار چه دقتی را باید داشت؟

یک مدل پاداش تصادفی، رتبه‌ی نیمی از جفت‌ها را درست حدس می‌زند. پایپ‌لاین مرجع در درس RLHF، مدل پاداش خود را روی 33,000 مقایسه از 40 ارزیاب (که ارزیابی هر جفت حدود 5 دقیقه طول کشید) آموزش داد و به دقتی حدود 72 درصد روی جفت‌های نگه‌داشته‌شده (held-out) رسید. این عدد شاید کم به نظر برسد، اما خود ارزیاب‌ها هم فقط در حدود 73 درصد موارد با یکدیگر توافق داشتند. این نرخ توافق، برآوردی از میزان نویز موجود در برچسب‌ها است. این عدد سقف قطعی نیست، اما دقتی بسیار بالاتر از آن، زنگ خطری است که باید دنبال نشت داده (leak) در آن گشت.

نویز در برچسب‌ها

تقریباً 30 درصد از برچسب‌های انسانی نویزی یا مبهم هستند. جفت‌ها را بر اساس میزان توافق ارزیاب‌ها فیلتر کنید یا یک دما (temperature) به تابع سیگموئید بیفزایید. جفت‌هایی که هر دو پاسخشان بد است نیز همچنان به مدل یاد می‌دهند کدام گزینه «کمتر بد» است.

ابعاد مدل

مدل پاداشی که بیش از حد کوچک باشد، نمی‌تواند خروجی‌های پالیسی (policy) را به‌درستی امتیازدهی کند. در جدول این درس، در یک پایپ‌لاین از مدل پاداش 6B برای یک پالیسی 175B استفاده شده و در پایپ‌لاینی دیگر، یک مدل پاداش 52B روی 22,000 مقایسه آموزش دیده است. مدل‌های پاداش بزرگ‌تر، سیگنال‌های پایدارتری برای مرحله‌ی RL فراهم کردند.

جایگاه مدل پاداش در ادامه‌ی مسیر

همین هد اسکالر، قدرت‌بخش نمونه‌برداریِ Best-of-N در زمان رمزگشایی (decode) و بخش پاداش در پایپ‌لاین‌های استدلال است. این بخش، دروازه‌ی ورود به کل مجموعه‌ی هم‌راستاسازی (alignment) به‌شمار می‌رود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا وضعیت پنهان آخرین توکن را می‌خوانیم و میانگین موقعیت‌ها را نمی‌گیریم؟ پاسخ مورد انتظار: با وجود یک ماسک علّی (causal mask)، آخرین موقعیت به کل دنباله اتنشن داشته است، بنابراین کامل‌ترین خلاصه را در خود دارد؛ هرچند ادغام میانگین (mean pooling) هم جایگزینی است که ارزش آزمایش دارد.
  • سطح 2: مدل پاداش شما رتبه‌ی 90 درصد از جفت‌های آزمون را درست تشخیص می‌دهد. خبر خوبی است؟ پاسخ مورد انتظار: مشکوک است؛ وقتی توافق ارزیاب‌ها نزدیک 73 درصد است، چنین امتیازی نشان‌دهنده‌ی نشت داده یا میان‌بری مثل طول متن است، پس بررسی کنید مدل روی چه چیزی تکیه کرده است.
  • سطح 3: چطور مقایسه‌ها را هم‌زمان به پاداشی برای چند معیار تبدیل می‌کنید؟ پاسخ مورد انتظار: برای هر معیار (مثل مفید بودن و ایمنی) یک مدل پاداش جداگانه در نظر می‌گیرید و آن‌ها را با وزن‌دهی ترکیب می‌کنید؛ یک مدل واحد تصویری مات و درهم‌رفته از معیارها را یاد می‌گیرد.
  • سطح 4: چرا مدل پاداش بعداً به محافظت در برابر پالیسی نیاز دارد؟ پاسخ مورد انتظار: مدل پاداش فقط پاسخ‌های درون توزیع (in-distribution) را دیده است؛ پالیسی حین بهینه‌سازی (optimization) از این توزیع خارج می‌شود و پاسخ‌هایی پیدا می‌کند که به دلایل نامربوط امتیاز بالایی می‌گیرند؛ دقیقاً به همین دلیل است که مرحله‌ی RL یک جریمه‌ی KL (KL penalty) به همراه دارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «یک مدل رگرسیون روی امتیاز 1 تا 10 آموزش دهید؛ اطلاعات هر برچسب بیشتر است.» امتیازهای مطلق میان ارزیاب‌های مختلف و نشست‌ها (sessions) دچار دریفت (drift) می‌شوند؛ قضاوت جفتی ارزان و سازگار است و برازش بردلی-تری یک مقیاس عددی از آن استخراج می‌کند.
  • «دقت 72 درصد یعنی مدل پاداش خراب است.» ارزیاب‌ها فقط در حدود 73 درصد موارد با هم توافق داشتند؛ دقت مدل به توافق برچسب‌هایش نزدیک است.
  • «برای صرفه‌جویی در محاسبات از مدل پاداش کوچک استفاده کنید.» مدل پاداشی که نتواند خروجی‌های پالیسی را بازنمایی کند، سیگنال نویزی می‌دهد و پالیسی از نقاط کور آن سوءاستفاده می‌کند.

کجای دوره آموزش داده می‌شود

درس RLHF مدل پاداش و تابع زیان جفتی آن را می‌سازد و درس مدل‌سازی پاداش آن را در پایپ‌لاین کامل قرار می‌دهد.