سؤال مصاحبه

مدلی که پاسخ می‌دهد، خودش نمره هم می‌دهد

The model that writes the answer grades it too

  • سطح ۲: میانی
  • بده‌بستان
  • ۸ دقیقه

در محصول شما، پاسخ‌ها را یک مدل تولید می‌کند و پایپ‌لاین ارزیابی‌تان (eval pipeline) هم با همان مدل به همراه یک شیوه‌نامه‌ی نمره‌دهی (rubric)، به این پاسخ‌ها نمره می‌دهد. پس از آخرین انتشار، امتیازها بالاتر رفته‌اند و تیم راضی است. یکی از بازبین‌ها می‌پرسد چرا ممکن است این رشد واقعی نباشد؟ ریسک کار کجاست و چه چیزی را باید تغییر دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مدلی که به اعضای خانواده‌ی خودش نمره می‌دهد، سبک خودش را ترجیح می‌دهد؛ بنابراین خودارزیابی باعث می‌شود امتیازها حدود 10 تا 20 درصد به شکل کاذب بالا بروند. این رشد ممکن است صرفاً به این معنا باشد که قاضی خروجی‌های جدید را بیشتر پسندیده است، نه این‌که کاربران راضی‌تر شده‌اند. مدل قاضی را به خانواده‌ی دیگری منتقل کنید، آن را با برچسب‌های انسانی کالیبره کنید و سپس خط مبنا (baseline) و نسخه‌ی جدید را دوباره با همین قاضی نمره‌دهی کنید.

پاسخ کامل

ریشه‌ی این سوگیری از کجاست؟

قاضی مدلی است که ترجیحات خاص خودش را دارد. چنین مدلی پاسخ‌های طولانی‌تر، پاسخ‌های متعلق به خانواده‌ی خودش و پاسخ‌هایی را که با سبک پرامپت (prompt) همخوانی دارند، ترجیح می‌دهد. وقتی قاضی از همان خانواده‌ی مدلِ تولیدکننده باشد، هر انتشاری که خروجی را به سلیقه‌ی قاضی نزدیک‌تر کند، شبیه به پیشرفت به نظر می‌رسد. در درس، این پدیده «ترجیح خودی» (self preference) نامیده شده و افزایش کاذب ناشی از آن حدود 10 تا 20 درصد برآورد می‌شود.

چرا این انتشار بهتر به نظر رسید؟

هر به‌روزرسانی علاوه‌بر محتوا، لحن، طول و ساختار را هم تغییر می‌دهد. قاضی به این سه مورد اخیر پاداش می‌دهد. بدون یک سیگنال مجزا، نمی‌توانید بفهمید چه بخشی از این رشد واقعاً ناشی از محتواست.

چه مواردی را باید تغییر داد؟

  1. قاضی را از خانواده‌ی مدل متفاوتی انتخاب کنید. ارزان‌ترین مدلی را به کار بگیرید که همچنان به آستانه‌ی کالیبراسیون (calibration threshold) موردنظرتان می‌رسد.
  2. آن را کالیبره کنید: دست‌کم 50 مورد را دستی برچسب‌گذاری کنید (درس از 100 مورد استفاده می‌کند) و همبستگی رتبه‌ای اسپیرمنِ 0.7 یا بیشتر با رتبه‌بندی انسانی را الزامی بدانید.
  3. به نسخه‌ی قبلی و نسخه‌ی جدید با همان قاضی واحد نمره دهید و تفاوت آن‌ها را گزارش کنید، نه نمره‌ی مطلق را.
  4. اثر طول متن را خنثی (نرمال‌سازی) کنید، یا در شیوه‌نامه‌ی نمره‌دهی قید کنید که طول متن به حساب نمی‌آید.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: درس در کنار ترجیح خودی، از کدام دو سوگیری دیگر قاضی نام می‌برد؟ پاسخ مورد انتظار: سوگیری موقعیت (position bias) در مقایسه‌ی جفتی (pairwise comparison)، و سوگیری پرحرفی (verbosity bias) به نفع پاسخ‌های طولانی‌تر.
  • سطح 2: قاضی متعلق به خانواده‌ی دیگر ارزان‌تر است ولی همبستگی کمتری با نظر انسان‌ها دارد. کدام را انتخاب می‌کنید؟ پاسخ مورد انتظار: ارزان‌ترین قاضی‌ای که همچنان به آستانه‌ی کالیبراسیون برسد؛ اگر پایین‌تر از آستانه باشد، خروجی صرف‌نظر از خانواده‌اش صرفاً نوفه (noise) است.
  • سطح 3: در این فصل کاری امکان تغییر خانواده‌ی قاضی را ندارید. چطور آسیب را محدود می‌کنید؟ پاسخ مورد انتظار: آن را با برچسب‌های انسانی کالیبره کنید و ضریب همبستگی را به اشتراک بگذارید، اثر طول پاسخ را نرمال‌سازی کنید و فقط تغییرات نسبی را با همان قاضیِ ثابت (frozen) بسنجید.
  • سطح 3: بعد از تغییر قاضی، چطور تفاوت بین یک رشد واقعی و ترجیح قاضی را تشخیص می‌دهید؟ پاسخ مورد انتظار: نمره‌دهی به هر دو نسخه با قاضی جدید، ارائه‌ی اختلاف همراه با بازه‌ی اطمینان (confidence interval)، و بررسی بخشی از مواردی که بیشترین جابه‌جایی را داشته‌اند با برچسب‌گذاری انسانی.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «قاضی شیوه‌نامه‌ی نمره‌دهی دارد، بنابراین خانواده‌اش اهمیتی ندارد.» شیوه‌نامه‌ی نمره‌دهی ترجیح مدل به سبک خودش را از بین نمی‌برد؛ درس نشان می‌دهد که این مسئله باعث افزایش کاذب 10 تا 20 درصدی امتیازها می‌شود.
  • «از قوی‌ترین مدلی که داریم به‌عنوان قاضی استفاده می‌کنیم؛ یعنی همان مدلی که به تولید می‌فرستیم.» قدرت مدل ترجیح خودی را حذف نمی‌کند؛ راه‌حل، استفاده از خانواده‌ای دیگر با قدرت مشابه است.
  • «امتیازها بالا رفته، پس کیفیت بهتر شده است.» امتیاز صرفاً یک شاخص تقریبی (proxy) است؛ خروجی ممکن است فقط به سمتی رفته باشد که قاضی به آن پاداش می‌دهد، مانند طول و لحن متن.

کجای دوره آموزش داده می‌شود

درس چارچوب‌های ارزیابی LLM خودارزیابی را یکی از دام‌ها می‌داند و درس ارزیابی ترجیح خودی را جزو حالت‌های شکست (failure modes) قاضی برمی‌شمارد.