دو مهندس یک مدل داور (Judge) یکسان را روی 100 پاسخ مشابه اجرا کردند؛ با این دستور که «به میزان خوببودن پاسخ از 1 تا 5 نمره بدهید». نتیجه این شد که میانگین نمراتشان نزدیک به یک نمرهی کامل با هم اختلاف داشت. چطور باید شیوهنامهی نمرهدهی (Rubric) را بازنویسی کرد تا نمرات تکرارپذیر شوند، و چه موارد دیگری باید در پرامپت داور قرار بگیرد؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
هر سطح از نمره را به رفتاری ملموس و قابل بررسی برای خواننده لنگر کنید (Anchor). شیوهنامهای که مشخص کند نمرهی 5، 4 و 3 دقیقاً چه شکلی هستند، واریانس ارزیابی داور را در مقایسه با یک مقیاس بدون لنگر بین 30 تا 40 درصد کاهش میدهد. معیارهای مختلف را جداگانه نمرهدهی کنید، ورودی، خروجی و پاسخ مرجع را در اختیار داور بگذارید و از او بخواهید استدلالش را کنار نمره بنویسد.
پاسخ کامل
از ابهام تا لنگرگذاری
یک شیوهنامهی بد صرفاً میپرسد «این پاسخ چقدر خوب است؟». یک شیوهنامهی خوب تکتک سطوح را توصیف میکند:
- 5: از نظر فکتها درست است، مستقیماً به پرسش پاسخ میدهد، جزئیات مشخص دارد و اطلاعات عملی و کاربردی ارائه میدهد.
- 4: درست و مرتبط با موضوع است، اما جزئیات کمی دارد یا کمی پرحرف است.
- 3: تا حد زیادی درست است اما یک ایراد جزئی دارد، یا بخشی از نیت (Intent) کاربر را نادیده گرفته است.
- 2: خطاهای فاحش دارد، یا فقط به شکل حاشیهای به موضوع مربوط است.
- 1: کاملاً غلط، بیربط یا آسیبرسان است.
یک معیار برای هر نمره
معیارهای مرتبطبودن (Relevance)، درستی (Correctness)، مفیدبودن (Helpfulness) و ایمنی (Safety) را در مقیاسهای جداگانه نمرهدهی کنید. اگر همه چیز را در یک نمرهی کلی خلاصه کنید، ابعاد مختلف فرومیپاشند و از دست میروند؛ بهینهسازی روی چنین نمرهای پاسخهایی بسیار کوتاه تولید میکند که به لحاظ فنی درستاند، اما عملاً هیچ فایدهای ندارند.
داور چه چیزهایی را میبیند
ورودی، خروجی، پاسخ مرجع (در صورت وجود) و شیوهنامهی نمرهدهی لنگرگذاریشده برای آن معیار خاص. از داور پاسخی ساختاریافته شامل نمره و دلیلی کوتاه بخواهید تا یک بازبین بتواند عملکرد داور را ممیزی کند.
اثبات تکرارپذیری
داور را سه بار روی هر نمونه اجرا کنید و شاخص توافق (Agreement statistic) را بین این اجراها به دست آورید. اگر عدد حاصل زیر 0.7 باشد، شیوهنامه هنوز مبهم است. چنانچه داور مدام بین دو سطح مجاور مردد میماند، نمرهدهی آن معیار را به مقایسهی جفتی (Pairwise comparison) تغییر دهید تا مقیاس عددی کاملاً حذف شود.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا باید به جای یک نمرهی کلی، چهار معیار را جداگانه نمرهدهی کنیم؟ پاسخ مورد انتظار: یک نمرهی کلی ابعاد مسئله را فرومیپاشد؛ مدل میتواند در عین درستی بیفایده باشد و این تکنمره، بدهبستان بین این دو را پنهان میکند.
- سطح 2: چطور نشان میدهید که شیوهنامهی جدید تکرارپذیر است؟ پاسخ مورد انتظار: اجرای چندبارهی داور برای هر نمونه و محاسبهی شاخص توافق؛ اگر زیر 0.7 بود باید دوباره بازنویسی شود.
- سطح 3: داور در موارد زیادی همچنان بین 3 و 4 مردد است. چه تغییری در طراحی این مشکل را برطرف میکند؟ پاسخ مورد انتظار: مقایسهی جفتی، که در آن فقط پرسیده میشود کدام خروجی بهتر است.
- سطح 3: برای یک معیار پاسخ مرجع داریم و برای دیگری نداریم. آیا شیوهنامهی نمرهدهی تغییر میکند؟ پاسخ مورد انتظار: بله؛ درستی به پاسخ مرجع لنگر میشود، در حالی که مفیدبودن و ایمنی صرفاً بر پایهی ویژگیهای خودِ خروجی سنجیده میشوند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «دمای (Temperature) داور را پایین بیاورید.» یک داور قطعی (Deterministic) هم یک مقیاس مبهم را در نمونههای مختلف به شکل متفاوتی اعمال میکند؛ راهحل اصلی اصلاح شیوهنامهی نمرهدهی است.
- «میانگین اجراهای بیشتری را بگیرید.» میانگینگیری از نوفه (Noise) فقط هزینه میتراشد و مقیاسی باقی میگذارد که دو ناظر مختلف برداشتهای متفاوتی از آن دارند.
- «یک نمرهی کلی سادهتر است.» خواندنش سادهتر است، اما بهینهسازی بر اساس آن کاملاً اشتباه است؛ این درس هشدار میدهد که بهینهسازی بر پایهی یک سنجهی واحد، خروجیهایی کوتاه و بیمصرف تولید میکند.
کجای دوره آموزش داده میشود
درس ارزیابی و آزمون شیوهنامهی نمرهدهی لنگرگذاریشده، چهار معیار اصلی و روش سنجش شاخص توافق را آموزش میدهد.