ارزیابی
Evaluation
معیارها، بسترهای ارزیابی، داورها، کالیبراسیون و روش اطمینان به یک امتیاز.
- ۲۶ سؤال
- ۵ ساعت تمرین
- پاسخها بستهاند تا اول خودتان جواب بدهید
سطح
نوع
۲۶ سؤال
سطح ۱ غربالگری ۴
سطح ۲ میانی ۱۰
- برتری چهار درصدی روی 50 نمونه
- آزمون بینقص سوزن در انبار کاه و یک قرارداد طولانی
- پیش از آنکه نمرهی داور به درگاه انتشار تبدیل شود
- امتیاز BLEU در یک مقاله 28.3 و در مقالهای دیگر 0.283 است
- همهی معیارها جابهجا شدند، بدون اینکه محصول تغییری کرده باشد
- قبولی در تلاش اول 0.6 و قبولی در پنج تلاش 0.95
- میانگین سبز است اما کاربران با خطا مواجه میشوند
- مدلی که پاسخ میدهد، خودش نمره هم میدهد
- با جابهجا کردن ترتیب، برندهی مقایسه تغییر کرد
- دو مهندس، یک داور، میانگینهای متفاوت
سطح ۳ ارشد ۸
- مقدار ECE برابر با 0.02 روی تعداد پیشبینی بسیار کم
- یک گیت ارزیابی روی تمام Pull Requestها
- میلههای خطا برای نرخ قبولی و میانگین
- با بزرگتر شدن دسته، پرپلکسیتی بهتر میشود
- امتیازدهی به کدهای تولیدشده بدون فراخوانی مستقیم در فرایند ارزیابی
- مدل داور در پارس خروجی خطا داد، ولی میانگین بالا رفت
- سه مدل، پنجاه وظیفه، یک تابلوی امتیازات
- دو بستر آزمایشی و دو فرمول برای محاسبهی pass@k