سؤال مصاحبه

مدل پاداش در DPO کجا رفت؟

Where the reward model went in DPO

  • سطح ۲: میانی
  • مفهومی
  • ۱۲ دقیقه

روش DPO اغلب به‌صورت «همان RLHF بدون مدل پاداش» توصیف می‌شود. گام‌به‌گام توضیح دهید پاداش چه شد و کجا رفت. از تابع هدف RLHF همراه با جمله‌ی KL شروع کنید و به تابع زیانی (loss) برسید که در عمل پیاده‌سازی می‌کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

تابع هدف جریمه‌دار یک بهینه‌ی فرم بسته (closed-form) دارد: خط‌مشی بهینه (optimal policy) برابر است با خط‌مشی مرجع ضربدر تابع نمایی پاداش تقسیم بر بتا، که به ازای هر پرامپت نرمال‌سازی شده است. اگر این رابطه را معکوس کنید، پاداش برابر می‌شود با بتا ضربدر نسبت لگاریتمی خط‌مشی به مرجع، به‌علاوه‌ی جمله‌ای که صرفاً به پرامپت وابسته است. با قرار دادن این پاداش در احتمال ترجیح بردلی-تری (Bradley-Terry)، جمله‌ی وابسته به پرامپت خط می‌خورد؛ چون هر دو پاسخ پرامپت یکسانی دارند. آنچه باقی می‌ماند، یک تابع زیان بر حسب لگاریتم احتمال‌های خودِ خط‌مشی است: منفیِ لگاریتم سیگموئیدِ بتا ضربدر تفاضل این دو نسبت لگاریتمی.

پاسخ کامل

اشتقاق در چهار خط

optimum:  pi*(y|x) = pi_ref(y|x) * exp( r(x,y) / beta ) / Z(x)
invert:   r(x,y) = beta * log( pi*(y|x) / pi_ref(y|x) ) + beta * log Z(x)
BT:       P(y_w > y_l | x) = sigmoid( r(x,y_w) - r(x,y_l) )
loss:     -log sigmoid( beta * [ log pi(y_w|x)/pi_ref(y_w|x) - log pi(y_l|x)/pi_ref(y_l|x) ] )

جمله‌ی log Z صرفاً به پرامپت بستگی دارد؛ بنابراین مقدار آن برای پاسخ منتخب (chosen) و پاسخ مردود (rejected) یکسان است و از تفاضل خط می‌خورد.

آنچه به ازای هر جفت‌داده محاسبه می‌کنید

چهار لگاریتم احتمال توالی: خط‌مشی و مدل مرجع (reference model) روی پاسخ منتخب، و هر دو روی پاسخ مردود. هر کدام حاصل‌جمع لگاریتم احتمال‌های توکن بعدی، فقط روی توکن‌های پاسخ هستند و جایگاه‌های پرامپت ماسک می‌شوند. مدل مرجع بدون گرادیان اجرا می‌شود.

پاداش ضمنی

عبارت beta * (log pi(y|x) - log pi_ref(y|x)) همان پاداش ضمنی (implicit reward) است که DPO به یک پاسخ نسبت می‌دهد. حاشیه‌ی (margin) بین پاداش‌های ضمنی منتخب و مردود را ثبت (log) کنید؛ این مقدار در طول آموزش باید رشد کند. گرادیان روی لگاریتم احتمال پاسخ منتخب برابر با -beta * (1 - sigmoid(z)) است که به ازای هر مقدار z منفی خواهد بود؛ بنابراین آموزش، پاسخ منتخب را بالا push می‌کند و پاسخ مردود را پایین می‌کشد.

جمله‌ی KL کجا رفت؟

هیچ جمله‌ی KLای در تابع زیان دیده نمی‌شود. این محدودیت ساختاری است: فاصله‌گرفتن زیاد از مدل مرجع باعث بزرگ‌شدن نسبت لگاریتمی می‌شود، سیگموئید اشباع می‌گردد و گرادیان محو می‌شود. بتا تعیین می‌کند خط‌مشی تا چه اندازه اجازه‌ی حرکت دارد. در درس DPO بازه‌ی 0.1 تا 0.5 به‌عنوان محدوده و 0.1 تا 0.3 به‌عنوان نقطه‌ی تعادل معمول معرفی شده است. بتای کوچک اجازه‌ی تغییرات بزرگ را می‌دهد و خطر پاسخ‌های تباهیده (degenerate) را بالا می‌برد؛ مقداری نزدیک به 1.0 هم خط‌مشی را به مدل مرجع می‌چسباند.

چه صرفه‌جویی‌هایی دارد؟

نگه‌داشتن دو مدل در حافظه به‌جای سه یا چهار مدل، و استفاده از یک حلقه‌ی نظارت‌شده به‌جای PPO. برای یک مدل 70B هر نسخه 140GB در قالب FP16 فضا می‌گیرد؛ بنابراین مدل پاداشی که هرگز لود نمی‌کنید، صرفه‌جویی بزرگی است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا خط‌مشی باید کار خود را با کپی از مدل مرجع آغاز کند؟ انتظار می‌رود: در اشتقاق، نقطه‌ی بهینه به‌صورت مدل مرجع به‌علاوه‌ی یک جابه‌جایی یادگرفته‌شده در نظر گرفته می‌شود؛ یک کپی اولیه باعث می‌شود همه‌ی پاداش‌های ضمنی از صفر شروع شوند.
  • سطح 2: مثبت‌بودن نسبت لگاریتمی چه معنایی دارد؟ انتظار می‌رود: یعنی خط‌مشی در حال حاضر احتمال بالاتری نسبت به مدل مرجع به آن پاسخ اختصاص می‌دهد.
  • سطح 3: چرا در این اشتقاق لازم است هر دو پاسخ پرامپت مشترکی داشته باشند؟ انتظار می‌رود: جمله‌ی تقسیم (partition term) فقط به پرامپت بستگی دارد؛ با پرامپت‌های متفاوت این جمله خط نمی‌خورد و پاداش‌های ضمنی دیگر قابل مقایسه نبودند.
  • سطح 4: کدام‌یک از فرضیات اشتقاق در عمل نقض می‌شوند؟ انتظار می‌رود: دردسترس‌بودن نقطه‌ی بهینه، قرارداشتن جفت‌داده‌ها در توزیع مدل مرجع، و این‌که مدل مرجع تکیه‌گاه واقعی باشد؛ هر کدام از روش‌های بعدی این خانواده یکی از این موارد را برطرف می‌کنند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «DPO مدل مرجع ندارد؛ نکته‌ی اصلی‌اش همین است.» DPO مدل پاداش و PPO را حذف می‌کند؛ مدل مرجعِ فریز‌شده در تابع زیان باقی می‌ماند و روش‌هایی که آن را کنار می‌گذارند، نسخه‌های بعدی هستند.
  • «DPO احتمال پاسخ منتخب را بیشینه می‌کند.» این روش حاشیه‌ی تفاضل دو نسبت لگاریتمی را بیشینه می‌کند؛ احتمال مطلق پاسخ منتخب حتی می‌تواند افت کند، به شرطی که احتمال پاسخ مردود سریع‌تر کاهش یابد.
  • «بتا همان نرخ یادگیری (learning rate) است.» بتا پاداش ضمنی را مقیاس‌بندی می‌کند و تعیین‌کننده‌ی حد فاصله‌ی مجاز خط‌مشی از مدل مرجع است؛ اندازه‌ی گام بهینه‌ساز تنظیمی کاملاً جداگانه است.

کجای دوره آموزش داده می‌شود

در درس DPO اشتقاق تابع زیان آورده شده و مقادیر مختلف بتا بررسی می‌شوند؛ در پروژه‌ی پایانی DPO علامت گرادیان و ناورایی نسبت به مرجع محک می‌خورد، و در درس خانواده‌ی DPO فرضیات این روش تشریح شده‌اند.