چهار تیم با چهار مجموعهدادهی مختلف پیش شما میآیند. یکی از آنها کلیکهای لایک و دیسلایک روی پاسخهای تکی دارد. دیگری مقایسههای جفتشدهای (paired data) دارد که در بیشتر آنها طول پاسخهای ترجیحدادهشده دو برابر گزینههای ردشده است. سومی چکپوینت SFT ندارد و میخواهد کار را در یک مرحلهی آموزشی واحد مستقیماً از مدل پایه (base model) پیش ببرد. چهارمی جفتهایی دارد که ترجیح در برخی از آنها در حد شیر یا خط (پنجاه-پنجاه) است و در برخی دیگر همهی ارزیابها رویش اتفاقنظر دارند. به هر تیم کدام تابع زیان (loss) ترجیح را پیشنهاد میدهید و چرا؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
به تیم دادههای کلیکی، تابع زیان نظریهی چشمانداز (prospect theory) پیشنهاد میشود که روی برچسبهای تکی کار میکند. برای تیمی با دادههای نامتقارن از نظر طول، تابع زیانِ بدون مدل مرجع (reference model) مناسب است؛ تابعی که با نرمالسازی بر اساس طول و افزودن یک حاشیه (margin)، مانع از آن میشود که پاسخ برنده صرفاً بهخاطر تعداد توکنهای بیشتر برنده شود. تیمی که مرحلهی SFT ندارد، تابع زیان نسبت شانسها (odds-ratio loss) را میگیرد که یک عبارت ترجیح را به درستنمایی (likelihood) مدل SFT اضافه میکند و آموزش را در یک مرحله از مدل پایه انجام میدهد. در نهایت، به تیم با شدت ترجیحات متغیر، تابع زیان نگاشت همانی (identity-mapping loss) پیشنهاد میشود که حاشیهای کراندار دارد. هر یک از این گزینهها، یکی از پیشفرضهای DPO کلاسیک را اصلاح میکنند.
پاسخ کامل
از پیشفرضهای DPO شروع کنید
اشتقاق (derivation) مدل DPO بر چند فرض استوار است: دادههای جفتشده، یک مرجع SFT بهعنوان لنگر واقعی، جفتهای درونتوزیع، و ترجیحی که به یک نسبت بخت لگاریتمی (log-odds) بدون کران نگاشت میشود. هر عضو از این خانواده، یکی از این فرضها را کنار میگذارد یا اصلاح میکند.
| داده یا محدودیت | تابع زیان | چه چیزی را تغییر میدهد |
|---|---|---|
| پاسخهای تکی با برچسبهای خوب یا بد | KTO | مطلوبیت نظریهی چشمانداز روی یک برچسب واحد؛ وزن زیانها بیش از سودهاست؛ نیازی به جفت نیست |
| پاسخهای برنده بسیار طولانیتر از بازندهها | SimPO | میانگین احتمال لگاریتمی به ازای هر توکن بههمراه حاشیه؛ بدون مدل مرجع |
| بدون چکپوینت SFT، فقط در یک مرحله | ORPO | منفیِ درستنمایی لگاریتمی (log-likelihood) مدل SFT بههمراه عبارت ترجیحِ نسبت شانسها؛ عبارت SFT نقش منظمساز را دارد |
| شدت ترجیحات تفاوت زیادی دارد | IPO | خطای مربعات روی هدفی معادل یک بر روی دو بتا؛ شکاف کراندار است |
| افت احتمال لگاریتمی پاسخ انتخابی در لاگهای DPO | BPO | روش DPO بههمراه جریمه برای افت رو به پایین پاسخ برگزیده (chosen) |
| یک مجموعهدادهی جفتشدهی بزرگ و تمیز | DPO | بتای محافظهکارانه |
استدلال مربوط به هر تیم
- کلیکها فراوان و جفتنشده هستند. اجبار در جفت کردن آنها بخش زیادی از دادهها را دور میریزد؛ تابع زیان جفتنشده از تکتک برچسبها استفاده میکند.
- در DPO معمولی، پاسخ برندهی طولانی ذاتاً احتمال لگاریتمی منفیتری میگیرد؛ بنابراین شکاف میان دو پاسخ به دلیلی نادرست بزرگتر میشود و خطمشی (policy) طولانینویسی را یاد میگیرد. نرمالسازی بر اساس طول، این انگیزه را از بین میبرد. بدون مدل مرجع، کنترل دریفت (drift) نیازمند سازوکار محافظتی مختص به خود است.
- تابع زیان تکمرحلهای، مدل پایه را همزمان برای پیروی از دستورالعملها و ترجیح دادن پاسخ برگزیده آموزش میدهد؛ عبارت درستنمایی، درست همانند کاری که مدل مرجع در DPO میکرد، نقش لنگرگاه را برای مدل بازی میکند.
- در DPO، هم جفتهای نزدیک به شیر یا خط و هم جفتهای دارای اتفاقنظر کامل، هر دو شکاف را بهسمت مقادیر نامحدود push میکنند. تابع زیان کراندار، این شکاف را متناسب با شدت ترجیح نگه میدارد.
مواردی که همهی تیمها باید رعایت کنند
یک ارزیابی نگهداشتهشده (held-out) بههمراه تولید متن، توقف زودهنگام (early stopping)، و بررسی مقدار مطلق احتمال لگاریتمیِ پاسخ برگزیده. هیچکدام از این توابع زیان از گزند بهینهسازی بیشازحد (over-optimization) در امان نیستند؛ آنها فقط نقطهی اثر این مشکل را جابهجا میکنند.
شیوهی تصمیمگیری در عمل
گزینهها را روی یک مجموعهآزمون واحد اجرا کنید و به ازای هر وظیفه (task) تصمیم بگیرید. نکتهی اصلی درس این است: دلیلی ندارد بهترین تابع زیان برای استدلال ریاضی، لزوماً بهترین تابع زیان برای ایمنی هم باشد.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: تیم دادههای کلیکی یک مجموعهی کوچک از دادههای جفتشده هم دارد. آیا باید آنها را ترکیب کرد؟ انتظار میرود بگویید: بله؛ با تابع زیان جفتنشده روی کلیکها آموزش دهید و با دادههای جفتشده اعتبارسنجی کنید، یا به این دو تابع زیان وزن بدهید؛ دادههای جفتشده سیگنال تمیزتری برای ارزیابی هستند.
- سطح 3: چرا حذف مدل مرجع حافظه را آزاد میکند و هزینهی آن چیست؟ انتظار میرود بگویید: بهجای دو مدل، یک مدل در حافظه نگهداری میشود؛ هزینهی آن نبودِ لنگرگاه است، بنابراین خطمشی میتواند دچار دریفت شود، و مهار این اتفاق به دوش عبارت حاشیه و توقف زودهنگام میافتد.
- سطح 4: تیمی DPO را اجرا میکند و متوجه میشود احتمال پاسخهای برگزیده کاهش مییابد اما حاشیه بزرگتر میشود. کدام سطر از جدول برای آنها صدق میکند و چرا این مشکل با تنظیم هایپرپارامترها حل نمیشود؟ انتظار میرود بگویید: نوعی که پاسخ برگزیده را حفظ میکند (BPO)؛ گرادیان DPO معمولی فقط به اختلاف توجه دارد، بنابراین هیچ بتایی نمیتواند جهت آن را اصلاح کند.
- سطح 4: چطور به یک فرد بدبین ثابت میکنید که این توابع زیان همچنان دچار بهینهسازی بیشازحد میشوند؟ انتظار میرود بگویید: منحنیهای منتشرشده از پاداش طلایی (gold reward) در برابر واگرایی KL برای روشهای مستقیم، همان اوجگیری و سپس افتِ پایپلاینهای مبتنی بر مدل پاداش را نشان میدهند؛ پاداش ضمنی (implicit reward) از نمونههای خارج از توزیع استعلام میگیرد و منظمسازی (regularization) به روش KL هم نمیتواند آن را پایدار کند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «کلیکها را با جفت کردن یک پاسخ خوب و یک پاسخ بد برای یک پرامپت مشخص، به دادههای جفتشده تبدیل کنید.» این کار فقط پرامپتهایی را نگه میدارد که هر دو برچسب را دارند و مقایسههایی میسازد که ارزیابها واقعاً انجام ندادهاند؛ تابع زیان جفتنشده از برچسبها همانطور که هستند استفاده میکند.
- «پاسخهای برندهی طولانی را کوتاه کنید تا جفتها متعادل شوند.» این کار پاسخهایی را که کاربران ترجیح دادهاند خراب میکند؛ راهحل در نرمالسازی تابع زیان است، نه دستکاری دادهها.
- «همهجا از DPO استفاده کنید و بتا را برای هر تیم جداگانه تنظیم کنید.» بتا نمیتواند جفت بسازد، مدل مرجع را حذف کند، شکاف را محدود سازد یا جایگزین مرحلهی SFT شود؛ هر یک از این موارد نیازمند تابع زیان متفاوتی است.
کجای دوره آموزش داده میشود
در درس خانوادهی DPO هر تابع زیان و حالت شکستی که برطرف میکند آمده است، و در درس DPO مدلها، جفتها و مراجع موردنیاز برای هر روش در قالب جدول دستهبندی شدهاند.