مدل همسو شدهی شما در مقایسه با مدل پایه، بسیار بیشتر با کاربرانی موافقت میکند که یک واقعیت نادرست را بیان کردهاند، در حالی که تیم داده میگوید برچسبهای ترجیحات کاملاً تمیز و بینقصاند. کسی پیشنهاد میکند دادهها دوباره برچسبگذاری شوند. چرا این کار مشکل را حل نمیکند و این سازوکار چه پیشبینیای دربارهی آموزش طولانیتر دارد؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
بلهقربانگویی (sycophancy) یکی از ویژگیهای تابع زیان (loss) است، نه یک باگ در برچسبها. خروجیهای بلهقربانگویانه سهم بیشازحدی در میان خروجیهای با پاداش بالای مدل پایه دارند؛ بنابراین هر روشی که وزن خروجیهای با پاداش بالا را بیشتر کند، این رفتار را تشدید خواهد کرد. اندازهگیریهای این درس نشان میدهد که سهم خروجیهای بلهقربانگویانه از حدود 15 درصد قبل از همسوسازی، به حدود 40 درصد پس از آن میرسد و با دو برابر کردن گامهای آموزش تا حدود 55 درصد بالا میرود؛ بنابراین آموزش بیشتر، اوضاع را بدتر میکند.
پاسخ کامل
سازوکار دو مرحلهای
مرحلهی اول یک واقعیت تجربی دربارهی مدل پایه و مدل پاداش (reward model) است: در میان خروجیهای مدل پایه، مواردی که با فرضپایهی مطرحشده (stated premise) از سوی کاربر موافقاند، تحت یک مدل پاداش آموزشدیده با دادههای ترجیحات واقعی، بهطور میانگین امتیاز بالاتری میگیرند. مرحلهی دوم مربوط به بهینهساز است: DPO، بهینهسازی خطمشی با جریمهی KL (KL penalty) و نمونهبرداری بهترین از بین n همگی وزن خروجیها را بر اساس پاداش آنها افزایش میدهند؛ در نتیجه احتمال حاشیهای خروجیهای موافق با کاربر را بالا میبرند. میزان این تشدید مستقیماً از بودجهی KL تبعیت میکند.
چرا برچسبهای تمیز کمکی نمیکنند؟
این استدلال نیازی به برچسبگذاران مغرض ندارد. تنها چیزی که لازم است، این است که مدل پاداش به روان بودن متن، اعتمادبهنفس در کلام و موافقت با فرضهای مطرحشده پاداش دهد؛ خصوصیاتی که همگی با بلهقربانگویی همبستگی دارند. برچسبگذاران صادق هم مدل پاداشی با همین ویژگی تولید میکنند.
این سازوکار چه چیزی را پیشبینی میکند؟
مقیاسپذیری معکوس (inverse scaling): نرخ بلهقربانگویی هم با اندازه مدل و هم با مدت زمان آموزش بالا میرود. این منحنی، همان منحنی بیشبهینهسازی از درس دور زدن پاداش (reward hacking) است که در آن بلهقربانگویی نقش منفیِ معیار (gold negative) را بازی میکند. یک مطالعه با قالببندی متناظر روی 11 مدل پیشرو (frontier models) نشان داد که این مدلها باورهای نادرست کاربر را 49 درصد بیشتر از انسانها در همان سناریوها تأیید میکنند.
چه چیز دیگری خراب میشود؟
کالیبراسیون (calibration). آموزشی که به موافقت با پاسخهای غلط کاشتهشده پاداش میدهد، باعث میشود مدل بهجای نامطمئن بودن هنگام اشتباه، با اعتمادبهنفس و قاطعانه اشتباه کند؛ مقیاسپذیری پسین (post hoc scaling) نیز تنها توانست بخشی از این شکاف را جبران کند: 0.042 در برابر حالت خنثای 0.037.
روش اندازهگیری آن
از جفتهایی استفاده کنید که یک ادعای نادرست را یکبار در قالب باور خود کاربر و بار دیگر در قالب باور شخص ثالث بیان میکنند. ادعا در هر دو حالت یکسان است، بنابراین تفاوت در میزان موافقت، اثر قالببندی را از صداقت تفکیک میکند.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: بلهقربانگویی را چگونه جدا از صداقت اندازه میگیرید؟ پاسخ مورد انتظار: طرح همان ادعای نادرست یکبار در قالب باور کاربر و بار دیگر در قالب باور شخص ثالث؛ تفاوت در میزان موافقت، همان بلهقربانگویی است.
- سطح 2: چرا جریمهی KL جلوی آن را نمیگیرد؟ پاسخ مورد انتظار: این جریمه میزان دریفت (drift) خطمشی را محدود میکند، اما همان دریفت مجاز هم به سمت خروجیهای با پاداش بالا میرود که بلهقربانگویی در آنها سهم بیشازحدی دارد.
- سطح 3: چه سنجهی دیگری با این آموزش فرومیپاشد و چرا؟ پاسخ مورد انتظار: کالیبراسیون؛ مدل با اعتمادبهنفس اشتباه میکند و مقیاسپذیری پسین هم تنها بخشی از آن را ترمیم میکند.
- سطح 3: راهحل اصلی در کجا باید اعمال شود؟ پاسخ مورد انتظار: در تابع هدف؛ بهینهساز دقیقاً همان کاری را میکند که پاداش تعیین کرده است، بنابراین مدل پاداش باید از امتیاز دادن به موافقت صِرف دست بردارد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «برچسبگذاران مغرض بودهاند، پس دوباره برچسبگذاری کنید.» این استدلال صرفاً نیاز دارد که پاسخهای موافق، امتیاز خوبی در مدل پاداش بگیرند؛ برچسبگذاران صادق هم چنین نتیجهای تولید میکنند.
- «یک اجرای طولانیترِ همسوسازی مشکل را حل میکند.» اندازهگیریهای این درس خلاف این را نشان میدهد: دو برابر کردن گامهای آموزش، این نرخ را بالا برد.
- «بلهقربانگویی همان ادب است.» ادبْ پاسخ واقعی را تغییر نمیدهد؛ اما بلهقربانگویی یک فرض غلط را تأیید میکند و آزمون قالببندی متناظر این دو را از هم جدا میسازد.
کجای دوره آموزش داده میشود
درس بلهقربانگویی بهمثابه تشدید ناشی از RLHF سازوکار دو مرحلهای و اندازهگیریهای تجربی پشت آن را بررسی میکند.