فرض کنید دو نسخهی پرامپت را با ارائهی هر دو خروجی به یک مدل داور (judge model) و پرسیدن اینکه کدامیک بهتر است مقایسه میکنید. نسخهی B در 70 درصد از جفتها برنده میشود. سپس جای دو خروجی را با هم عوض میکنید و این بار نسخهی A در بیشتر آنها پیروز میشود. کجای کار ایراد داشته و چطور باید این مقایسه را اجرا کنید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
مدل داور دچار «سوگیری موقعیت» (position bias) است؛ یعنی گزینهای را ترجیح میدهد که اول میخواند. اجرای اول شما ترتیب را سنجیده است، نه کیفیت پرامپت را. هر جفت را در هر دو ترتیب نمرهدهی کنید؛ یک نسخه را فقط زمانی برنده به حساب آورید که در هر دو حالت پیروز شود، و تصمیمهای دوگانه (متناقض) را مساوی در نظر بگیرید. در نهایت، نرخ برد را همراه با بازهی اطمینان گزارش کنید.
پاسخ کامل
چرا اصلاً مقایسهی جفتی؟
در یک مقایسهی جفتی (pairwise comparison)، داور هیچوقت مجبور نیست تصمیم بگیرد که آیا یک خروجی در مقیاس عددی نمرهی 3 میگیرد یا 4. داور فقط برنده را انتخاب میکند؛ بنابراین، از مشکل کالیبراسیون مقیاس نمرهدهی در یک ارزیابِ منفرد جلوگیری میشود. همین ویژگی، آن را به ابزاری مناسب برای آزمون رودرروی دو نسخهی پرامپت تبدیل میکند.
سوگیری
مدلهای داور اولین گزینهی ارائهشده را ترجیح میدهند. قاعدهی این درس کوتاه است: همیشه ترتیب را تصادفی کنید و هر دو را اجرا نمایید. آزمون در یک ترتیب تنها عددی دربارهی چیدمان پرامپت به شما میدهد.
پروتکل
- به ازای هر ورودی، جفت خروجیها را در هر دو ترتیب نمرهدهی کنید.
- یک نسخه فقط در صورتی برندهی جفت میشود که در هر دو ترتیب پیروز شده باشد.
- جفتی که نتیجهاش با تغییر ترتیب عوض شود، مساوی است.
- نرخ برد و بازهی اطمینان آن را گزارش کنید. نرخ بردِ نزدیک به یکدوم یعنی داور نمیتواند دو نسخه را از هم تفکیک کند.
طول خروجیها را هم بررسی کنید. اگر نسخهی B طولانیتر باشد، ممکن است داور به پرگویی پاداش دهد. طول را نرمالسازی کنید یا در شیوهنامهی نمرهدهی قید کنید که طول متن به حساب نمیآید، سپس ببینید آیا این ترجیح داور همچنان باقی میماند یا خیر.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا مقایسهی جفتی از مشکلات کالیبراسیون شیوهنامهی نمرهدهی جلوگیری میکند؟ انتظار میرود: داور فقط یک برنده انتخاب میکند و هیچوقت یک خروجی را روی مقیاس عددی قرار نمیدهد.
- سطح 2: نسخهی B طولانیتر هم هست. چه متغیر دیگری را باید کنترل کنید؟ انتظار میرود: سوگیری پرگویی (verbosity bias)؛ طول را نرمالسازی کنید یا در شیوهنامهی نمرهدهی آن را لحاظ نکنید، سپس بررسی کنید که آیا ترجیح داور باقی میماند یا نه.
- سطح 3: پس از اجرای هر دو ترتیب، نتیجهی 40 درصد از جفتها با تغییر ترتیب عوض میشود. این موضوع چه چیزی را نشان میدهد؟ انتظار میرود: داور نمیتواند دو نسخه را در آن جفتها از هم تمیز دهد؛ آنها را مساوی در نظر بگیرید و انتظار نرخ بردی نزدیک به یکدوم را داشته باشید.
- سطح 3: چند جفت مقایسه نیاز است تا یک نرخ برد 55 درصدی واقعی (معنادار) باشد؟ انتظار میرود: به اندازهای که بازهی اطمینان، عدد یکدوم را شامل نشود؛ از بازهی اطمینان ویلسون (Wilson) یا بوتاسترپ استفاده کنید و انتظار داشته باشید که به صدها جفت نیاز باشد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «داور رفتاری تصادفی دارد، پس از داور دیگری استفاده کنید.» سوگیری موقعیت سیستماتیک است نه تصادفی؛ داور دیگر هم این مشکل را دارد و راهحلِ آن، اجرای درست پروتکل است.
- «همیشه خط مبنا را اول قرار دهید.» این کار سوگیری را در یک جهت تثبیت میکند و آن را میپوشاند؛ هر دو ترتیب را اجرا کنید.
- «مقایسهی جفتی فقط برای ارزیابهای انسانی است.» مدلهای داور هم بهمحض اینکه ترتیب تصادفی شود و هر دو ترتیب نمرهدهی شوند، مقایسهی جفتی را بهخوبی اجرا میکنند.
کجای دوره آموزش داده میشود
درس فریمورکهای ارزیابی LLM به سوگیری موقعیت و قاعدهی اجرای هر دو ترتیب اشاره میکند، و درس ارزیابی و آزمون توضیح میدهد که چرا مقایسهی جفتی از کالیبراسیون مقیاس نمرهدهی بینیاز است.