برای کاهش بلهقربانگویی (sycophancy)، میتوانید در طول آموزش، امتیاز موافقت را از پاداش کم کنید. مدیر تیم همراستاسازی میخواهد وزن این جریمه تا جای ممکن بالا تنظیم شود. وزن بالا چه هزینهای دارد، چطور وزن مناسب را انتخاب میکنید، و چگونه نشان میدهید که به نتیجهی درستی رسیدهاید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
این اصلاح، امتیاز موافقتِ یک طبقهبند را—که با یک وزن مقیاس شده—از پاداش کم میکند. در پیمایشهای (sweeps) این درس، بلهقربانگویی با وزنی حدود 0.3 تا 0.5 تقریباً تا سطح مدل پایه پایین میآید؛ اما فراتر از آن، مدل در برابر ادعاهای درست هم ساز مخالف میزند. وزن را از روی مرز بهینگیِ نرخ پاسخ درست در برابر نرخ بلهقربانگویی روی جفتهای آزمایشی همسان انتخاب کنید، و حین پیمایش، حواستان به کالیبراسیون (calibration) باشد.
پاسخ کامل
اصلاح پاداش
r'(x, y) = r(x, y) - alpha * agree(x, y)
جملهی موافقت از یک طبقهبند کمکی به دست میآید؛ این طبقهبند بدون توجه به درست یا غلط بودن موضوع، بررسی میکند که آیا خروجی با مقدمههای (premises) مطرحشده در پرامپت (prompt) موافق است یا نه. وزن آلفا مشخص میکند که هزینهی هر موافقت چقدر باشد.
چرا پای یک بدهبستان در میان است؟
موافقت با کاربری که حرفش درست است، در ظاهر هیچ فرقی با موافقت با کاربری ندارد که اشتباه میکند. جریمهی موافقت دامن هر دو را میگیرد. هزینهی هر روشی برای مهار بلهقربانگویی، از دست رفتن بخشی از موافقت مفید (helpful agreement) است، چون هر دو ویژگیهای ظاهری یکسانی دارند. این یک بدهبستان است، نه یک راهحل قطعی.
انتخاب وزن مناسب
مقدار آلفا را پیمایش کنید. به ازای هر مقدار، نرخ پاسخ درست و نرخ بلهقربانگویی را روی جفتهای همسان بسنجید: ادعایی یکسان، یک بار در قالب باور کاربر و بار دیگر در قالب دیدگاه شخص ثالث، هم در نسخهای که ادعا درست است و هم در نسخهای که نادرست است. مرز را ترسیم کنید و نقطهای را برگزینید که محصول بتواند با آن کنار بیاید. دنیای آزمایشی این درس هر دو پیچ تنظیم، یعنی وزن KL و آلفا را در اختیارتان میگذارد تا بتوانید پیش از اجرای واقعی، روند تغییرات را ببینید.
نشان دادن درستی کار
اختلاف موافقت میان دو قالببندی را همراه با بازهی اطمینان (confidence interval) گزارش کنید؛ این بازه باید بر اساس جفتهای کافی برای سطح معناداری انتخابیتان برآورد شود. نرخ پاسخ درست را روی نسخههای درست گزارش دهید، چون هزینهی این کار دقیقاً در همینجا خودش را نشان میدهد. وضعیت کالیبراسیون را هم گزارش کنید؛ چرا که فرایند آموزشِ منجر به بلهقربانگویی آن را کاملاً به هم ریخته است و این اصلاح باید آن را دوباره به سمت خط مبنای (baseline) خنثی برگرداند.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: طبقهبند موافقت چه چیزی را اندازه میگیرد؟ پاسخ مورد انتظار: اینکه آیا متن تکمیلشده، فارغ از درستی موضوع، با مقدمههای موجود در پرامپت موافق است یا نه.
- سطح 2: اصلاً چرا چنین بدهبستانی وجود دارد؟ پاسخ مورد انتظار: موافقت با کاربری که حق دارد و کاربری که اشتباه میکند از نظر ظاهری یکسان است؛ بنابراین جریمهی موافقت به هر دو ضربه میزند.
- سطح 3: مجموعهی دادهی آزمایشی را برای پیمایش طراحی کنید. پاسخ مورد انتظار: جفتهای همسانی با ادعای یکسان که در قالب باور کاربر و شخص ثالث، در دو نسخهی درست و نادرست تدوین شده باشند؛ همراه با تعداد جفت کافی برای محاسبهی بازهی اطمینانِ اختلافِ موافقت.
- سطح 3: در طول پیمایش چه شاخص دیگری را زیر نظر میگیرید؟ پاسخ مورد انتظار: کالیبراسیون؛ آموزشی که باعث بلهقربانگویی شده بود آن را به هم ریخته و این اصلاح باید آن را دوباره به سمت خط مبنای خنثی ببرد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «وزن را تا جای ممکن بالا ببرید.» مدل حتی در برابر ادعاهای درست هم ساز مخالف میزند؛ با حذف بلهقربانگویی، موافقت مفید هم از دست میرود.
- «این جریمه بلهقربانگویی را از بین میبرد.» در وزن مناسب، فقط نرخ آن را به نزدیکی مدل پایه کاهش میدهد؛ خود مدل پایه هم نرخ بلهقربانگوییاش صفر نبود.
- «موافقت همیشه بد است.» موافقت با کاربری که درست میگوید، رفتاری مفید است؛ هدف این است که فقط وقتی کاربر اشتباه میکند، مدل با او مخالفت کند.
کجای دوره آموزش داده میشود
درس بلهقربانگویی جریمهی موافقت را پیشنهاد میدهد و بدهبستانهای آن را بررسی میکند.