ارزیابی

Evaluation

معیارها، بسترهای ارزیابی، داورها، کالیبراسیون و روش اطمینان به یک امتیاز.

سطح ۱ غربالگری ۴

  1. صفر شدن نمره‌ی پاسخ درست در ارزیابی تطابق دقیقمفهومی۵ دقیقه
  2. متریک همپوشانی، مدل داور یا بازبینی انسانیبده‌بستان۶ دقیقه
  3. اختلاف دو نمره‌ای در یک بنچمارک اشباع‌شدهمفهومی۶ دقیقه
  4. پرپلکسیتی 10 دقیقاً چه معنایی دارد؟مفهومی۵ دقیقه

سطح ۲ میانی ۱۰

  1. برتری چهار درصدی روی 50 نمونهتخمین۸ دقیقه
  2. آزمون بی‌نقص سوزن در انبار کاه و یک قرارداد طولانیمفهومی۸ دقیقه
  3. پیش از آنکه نمره‌ی داور به درگاه انتشار تبدیل شودمفهومی۸ دقیقه
  4. امتیاز BLEU در یک مقاله 28.3 و در مقاله‌ای دیگر 0.283 استاشکال‌یابی۸ دقیقه
  5. همه‌ی معیارها جابه‌جا شدند، بدون این‌که محصول تغییری کرده باشداشکال‌یابی۷ دقیقه
  6. قبولی در تلاش اول 0.6 و قبولی در پنج تلاش 0.95بده‌بستان۸ دقیقه
  7. میانگین سبز است اما کاربران با خطا مواجه می‌شونداشکال‌یابی۸ دقیقه
  8. مدلی که پاسخ می‌دهد، خودش نمره هم می‌دهدبده‌بستان۸ دقیقه
  9. با جابه‌جا کردن ترتیب، برنده‌ی مقایسه تغییر کرداشکال‌یابی۸ دقیقه
  10. دو مهندس، یک داور، میانگین‌های متفاوتطراحی۸ دقیقه

سطح ۳ ارشد ۸

  1. مقدار ECE برابر با 0.02 روی تعداد پیش‌بینی بسیار کممفهومی۹ دقیقه
  2. یک گیت ارزیابی روی تمام Pull Requestهاطراحی۱۲ دقیقه
  3. میله‌های خطا برای نرخ قبولی و میانگینمفهومی۸ دقیقه
  4. با بزرگ‌تر شدن دسته، پرپلکسیتی بهتر می‌شودکدخوانی۱۰ دقیقه
  5. امتیازدهی به کدهای تولیدشده بدون فراخوانی مستقیم در فرایند ارزیابیطراحی۱۰ دقیقه
  6. مدل داور در پارس خروجی خطا داد، ولی میانگین بالا رفتاشکال‌یابی۸ دقیقه
  7. سه مدل، پنجاه وظیفه، یک تابلوی امتیازاتطراحی۱۰ دقیقه
  8. دو بستر آزمایشی و دو فرمول برای محاسبه‌ی pass@kکدخوانی۱۰ دقیقه

سطح ۴ استف ۴

  1. مجموعه آزمون‌های بافت طولانی برای ارتقای مدل‌هاطراحی۱۲ دقیقه
  2. ساخت یک پایپ‌لاین ارزیابی آفلاین برای مدلی کوچکپروژه‌ی خانگی۶۰ دقیقه
  3. جهش 8 امتیازی پس از افزودن پیکره متنی جدیدطراحی۱۲ دقیقه
  4. برنده تابلوی امتیازات در کدنویسی از همه بدتر استبده‌بستان۱۰ دقیقه