سؤال مصاحبه

میانگین سبز است اما کاربران با خطا مواجه می‌شوند

The mean is green and users see failures

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

داشبورد وفاداری (Faithfulness) میانگین 0.85 را روی 1000 نمونه نشان می‌دهد که بالاتر از آستانه‌ی انتشار 0.8 است. تیکت‌های پشتیبانی نشان می‌دهند دستیار در برخی پاسخ‌ها، جزئیات خط‌مشی‌ها را از خودش سرهم می‌کند. مسئول ارزیابی می‌گوید این معیار سبز است. به کجا سر می‌زنید و چه چیزی را در گزارش تغییر می‌دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

میانگین، دنباله‌ی توزیع (Tail) را پنهان می‌کند. میانگین 0.85 کاملاً با وجود یک بخش 5 درصدی از خطاهای فاجعه‌بار سازگار است، و دقیقاً همین بخش است که به تیکت‌های پشتیبانی تبدیل می‌شود. نمونه‌ها را بر اساس امتیاز مرتب کنید و 10 درصد پایینی را بخوانید. سپس در کنار میانگین، نرخ قبولی (Pass Rate) در یک آستانه‌ی مشخص و یک هشدار برای چندک پایینی (Bottom quantile) را به گزارش اضافه کنید.

پاسخ کامل

چرا داشبورد سبز است؟

بیشتر نمونه‌ها امتیاز بالایی می‌گیرند، در حالی که بخش کوچکی امتیازی نزدیک به صفر دارند. میانگین تکان چندانی نمی‌خورد، چون این بخش کوچک است. کاربرانی که در این بخش قرار می‌گیرند، پاسخی با خط‌مشی‌های ساختگی تحویل می‌گیرند و هیچ میانگینی به آن‌ها نشان نمی‌دهد که این اتفاق نادر بوده است.

چه مواردی را باید گزارش کرد؟

  • نرخ قبولی. نسبت نمونه‌هایی که بالاتر از یک آستانه قرار می‌گیرند. این شاخص قابلیت اطمینان سیستم را می‌سنجد؛ یعنی همان چیزی که کاربر لمس می‌کند؛ بنابراین بسیار کاربردی‌تر از میانگین است.
  • چندک پایینی. این درس، گزارش‌دهیِ صرفاً تجمیعی را بدون رو کردن 10 درصد پایینی رد می‌کند. در هر بار اجرا، این نمونه‌ها را دستی بخوانید.
  • امتیازها بر اساس دسته‌بندی. اگر دنباله‌ی خطاها از یک دسته‌بندی مشخص می‌آید، راه‌حل موضعی است و درگاه انتشار (Release gate) باید همان دسته را زیر نظر بگیرد.

نحوه‌ی خطایابی

  1. نمونه‌هایی را که کمترین امتیاز را گرفته‌اند استخراج کنید و بخوانید. مطمئن شوید با تیکت‌ها هم‌خوانی دارند.
  2. بررسی کنید که امتیازهای ازدست‌رفته چگونه محاسبه شده‌اند. داوری (Judge) که خروجی JSON نامعتبر بدهد، باعث ایجاد امتیاز مفقود می‌شود و حذف این امتیازها میانگین را به شکل کاذب بالا می‌برد.
  3. مطمئن شوید که داور در بازه‌ی امتیازهای پایین کالیبره شده است. مجموعه‌داده‌ای با برچسب‌گذاری دستی که فقط از نمونه‌های آسان تشکیل شده باشد، هیچ اطلاعاتی درباره‌ی دنباله‌ی خطاها نمی‌دهد.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا این درس، سهم نمونه‌های بالاتر از حد نصاب را به میانگین ترجیح می‌دهد؟ پاسخ مورد انتظار: چون می‌شمارد چه تعداد از نمونه‌ها به اندازه‌ی کافی خوب هستند؛ در نتیجه قابلیت اطمینان را اندازه می‌گیرد.
  • سطح 2: ضعیف‌ترین نمونه‌ها همگی از یک دسته‌بندی خاص می‌آیند. چه تغییری باید ایجاد کرد؟ پاسخ مورد انتظار: راه‌حل موضعی است؛ امتیازها را تفکیک‌شده بر اساس دسته‌بندی گزارش کنید و به‌جای کل نتایج، ضعیف‌ترین دسته‌بندی را معیار درگاه انتشار قرار دهید.
  • سطح 3: امتیازهای مفقود ناشی از خطای تجزیه (Parse failures)، پیش از میانگین‌گیری حذف شده‌اند. این کار چه اثری داشته است؟ پاسخ مورد انتظار: میانگین را بالا برده است؛ چون بدترین خروجی‌ها معمولاً در تجزیه شدن هم شکست می‌خورند؛ باید آن‌ها را خطا در نظر گرفت یا جداگانه گزارش کرد.
  • سطح 3: چه هشداری را به درگاه انتشار اضافه می‌کنید؟ پاسخ مورد انتظار: کفی برای 10 درصد پایینی و آستانه‌ی نرخ قبولی، هر دو در کنار میانگین.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «میانگین حد نصاب را آورده، پس نسخه تأیید است.» میانگین 0.85 اغلب یک بخش فاجعه‌بار 5 درصدی را پنهان می‌کند؛ درگاه انتشار به بررسی دنباله‌ی توزیع نیاز دارد.
  • «آستانه‌ی میانگین را به 0.9 افزایش دهیم.» آستانه‌ی میانگین بالاتر هم باز یک بخش کوچک از صفرهای مطلق را پنهان می‌کند؛ باید معیاری برای کل توزیع اضافه کنید.
  • «داور در امتیازهای پایین نویز زیادی دارد، پس آن نمونه‌ها را نادیده بگیرید.» دقیقاً همان‌جاست که خطاها جا خوش کرده‌اند؛ داور را برای نمونه‌های کم‌امتیاز هم کالیبره کنید.

کجای دوره آموزش داده می‌شود

درس چارچوب‌های ارزیابی LLM به دام تجمیع خام داده‌ها و قاعده‌ی چندک پایینی اشاره می‌کند، و درس ارزیابی نرخ قبولی را به عنوان خلاصه‌سازی کاربردی‌تر تعریف می‌کند.