سؤال مصاحبه

مدل داور در پارس خروجی خطا داد، ولی میانگین بالا رفت

The judge failed to parse and the mean went up

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۸ دقیقه

مدل داور (judge) شما برای هر نمونه یک آبجکت JSON شامل یک امتیاز برمی‌گرداند. پایپ‌لاین (pipeline) این خروجی را پارس می‌کند؛ در حالی که هیچ تغییری در محصول ایجاد نشده، میانگین وفاداری (faithfulness) از یک هفته به هفته‌ی بعد افزایش یافته است. لاگ‌ها نشان می‌دهند خروجی داور در سهم فزاینده‌ای از نمونه‌ها با خطای پارس مواجه شده است. علت این افزایش را توضیح دهید و پایپ‌لاین را اصلاح کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

خطای پارس به یک امتیازِ مفقود تبدیل می‌شود و عملیات تجمیع، این مقادیر مفقود را بی‌صدا حذف می‌کند. خروجی‌هایی که پارس نمی‌شوند معمولاً بدترین پاسخ‌ها هستند؛ بنابراین حذف آن‌ها میانگین را به شکل کاذب بالا می‌برد. این خطا را به‌صورت صریح ثبت کنید، آن را به‌عنوان یک وضعیت خروجی مجزا در نظر بگیرید، در محاسبه‌ی امتیاز علیه سیستم لحاظش کنید یا کنار میانگین گزارشش دهید، و در صورت افزایش سهم خطاها هشدار بفرستید.

پاسخ کامل

سازوکار مشکل

تولید یک JSON نامعتبر از سوی داور به مقدار «غیرعدد» (NaN یا not a number) تبدیل می‌شود. محاسبه‌ی میانگین روی ستونی با چنین مقادیری، آن‌ها را نادیده می‌گیرد. در درس، از این حالت به‌عنوان دومین خطای خاموش داور یاد شده و تأکید می‌شود که شکستِ پارس باید با شکست سریع با اعلام خطا (fail loud) و همراه با وضعیت اختصاصی خودش همراه باشد.

چرا این حذف سوگیرانه است

فرمت خروجی داور بیش از همه روی پاسخ‌های طولانی، عجیب یا موارد همراه با امتناع از پاسخ می‌شکند. این‌ها دقیقاً خروجی‌هایی هستند که امتیاز پایینی می‌گیرند؛ در نتیجه، این حذف ناخواسته کفِ توزیع داده‌ها را پاک می‌کند و میانگین صرفاً به دلیلی بالا می‌رود که هیچ ربطی به کیفیت محصول ندارد.

راهکار اصلاحی

  1. فرایند پارس را درون یک بررسی صریح قرار دهید و برای هر نمونه یک وضعیت تعیین کنید: امتیازدهی‌شده (scored)، شکست در پارس (parse failed)، خطای داور (judge error).
  2. درصد نمونه‌های با موفقیت پارس‌شده را در هر اجرا گزارش کنید. بالا رفتن سهم خطاها باید کل اجرا را ناموفق اعلام کند.
  3. میانگین را به دو شکل منتشر کنید: یک‌بار با صفر شمردن خطاها و بار دیگر با حذف آن‌ها. اگر این دو تفاوت زیادی داشتند، خطاها تصادفی نیستند.
  4. امکان یک‌بار تلاش مجدد (retry) با یک پرامپت (prompt) اصلاحی را فراهم کنید، ثبت کنید که تلاشی مجدد رخ داده و برای دفعات تلاش سقف بگذارید.
  5. متن خام خروجی داور را ذخیره کنید تا بازبین انسانی بتواند علت شکست فرمت را بخواند.

اعتبارسنجی تشخیص

میانگین هفته‌ی گذشته را با صفر در نظر گرفتن خطاها دوباره محاسبه کنید. اگر جهش میانگین ناپدید شد، علت را پیدا کرده‌اید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا نمونه‌های ناموفق در پارس، یک نمونه‌برداری تصادفی نیستند؟ پاسخ مورد انتظار: خروجی داور بیش از همه روی پاسخ‌های طولانی، عجیب یا موارد امتناع می‌شکند؛ مواردی که ذاتاً امتیاز پایینی می‌گیرند.
  • سطح 3: آیا باید به خطای پارس امتیاز صفر داد یا آن را کلاً کنار گذاشت؟ پاسخ مورد انتظار: هر دو حالت، همراه با درصد موارد پارس‌شده؛ علاوه بر این، یک گیت کنترلی باید افزایش سهم خطاها را به‌منزله‌ی اجرای ناموفق در نظر بگیرد.
  • سطح 4: ساختار خروجی داور را چگونه طراحی می‌کنید تا این مشکل دوباره به شکل خاموش تکرار نشود؟ پاسخ مورد انتظار: استفاده از یک اسکیمای (schema) سخت‌گیرانه، یک اعتبارسنج (validator) که هر ساختار دیگری را رد کند، یک فیلد وضعیت برای هر نمونه، و یک سنجه‌ی خطای پارس در سطح اجرا همراه با سیستم هشدار.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «میانگین بالا رفته، پس کیفیت بهتر شده است.» در محصول هیچ تغییری رخ نداده؛ فقط مخرج کسر تغییر کرده است.
  • «آن‌قدر تلاش مجدد انجام دهید تا خروجی پارس شود.» تلاش مجدد بدون ثبت لاگ، خطا را پنهان می‌کند و می‌تواند امتیاز را تغییر دهد؛ هر تلاش مجدد را ثبت کرده و برای آن سقف بگذارید.
  • «خطاها را حذف کنید، چون ناشی از باگ‌های خود داور هستند.» این حذف به نفع حذف خروجی‌های بد سوگیری دارد؛ فارغ از علت، عدد به‌دست‌آمده برای عملکرد محصول نادرست است.

کجای دوره آموزش داده می‌شود

در درس فریم‌ورک‌های ارزیابی LLM، خطای پارس JSON به‌عنوان یکی از خطاهای خاموش داور معرفی شده و پیاده‌سازی صریح حالت‌های خطا الزامی دانسته شده است.