سؤال مصاحبه

همه‌ی معیارها بالا هستند ولی یک واحد کاری همچنان پاسخ اشتباه می‌گیرد

Every metric is high and one unit still gets wrong answers

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

ارزیابی RAG شما بازخوانی (recall) بالا، MRR بالا، وفاداری (faithfulness) بالا و ارتباط پاسخ (answer relevance) بالایی را گزارش می‌کند، و داشبورد هفتگی دریفت (drift) هم کاملاً یکنواخت و بدون افت است. با این حال تیم پشتیبانی مدام سیلی از پاسخ‌های اشتباه را از سمت یکی از واحدهای کسب‌وکار ارجاع می‌دهد. به‌عنوان مهندس ارشد (Staff Engineer) این سیستم، چه نتیجه‌ای می‌گیرید و خود برنامه‌ی ارزیابی را چطور تغییر می‌دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

نتیجه بگیرید که مجموعه‌ی ارزیابی نماینده‌ی ترافیک واقعی آن واحد کاری نیست: همه‌ی این چهار معیار می‌توانند روی پرسش‌هایی بالا باشند که در واقعیت هیچ‌کس نمی‌پرسد. پرسش‌های واقعی آن‌ها را به داده‌های مرجع ارزیابی (qrels) اضافه کنید، تمام معیارها را بر اساس دسته‌ی پرسش و نوع سند برش (slice) بزنید و بررسی کنید که آیا اسناد آن‌ها با قطعه‌بندی (chunking) متناسب با فرمت‌شان خرد شده‌اند یا نه. سپس ساختار برنامه‌ی ارزیابی را تغییر دهید: داده‌های مرجع ارزیابی را سطح‌بندی (tier) کنید، برای جلوگیری از فرسودگی و نامعتبر شدن‌شان یک بازبینی دوره‌ای بگذارید، و افت در هر برش را یک عامل مسدودکننده‌ی انتشار (release blocker) در نظر بگیرید.

پاسخ کامل

ردیفی در جدول عیب‌یابی

درس ارزیابی، جدول عیب‌یابی خود را دقیقاً با همین الگو به پایان می‌رساند: هر چهار معیار بالا هستند، کاربران همچنان شاکی‌اند، علت احتمالی مجموعه‌ی ارزیابی غیرمعرف است، و راه‌حل، گسترش داده‌های مرجع ارزیابی با پرسش‌های واقعی کاربران است. داشبوردی هم که هر هفته دقیقاً همان مجموعه‌ی تکراری را رصد می‌کند، به همین دلیل بدون هیچ تغییری ثابت می‌ماند.

چرا میانگین‌ها حقیقت را پنهان می‌کنند

میانگین بازخوانی 90 درصد به‌راحتی می‌تواند یک دسته‌ی خاص از پرسش‌ها را که همیشه با شکست مواجه می‌شوند پنهان کند. قاعده‌ی مطرح‌شده در درس این است که داده‌های مرجع ارزیابی را بر اساس دسته‌هایی مانند عینی (literal)، بازنویسی‌شده (paraphrased) و چندموضوعی برش بزنید و نتایج هر برش را جداگانه گزارش کنید. درس قطعه‌بندی متن بُعد دیگری را هم اضافه می‌کند: مجموعه‌ای که بر اساس نوع پرسش لایه‌بندی (stratified) شده است، زیرا پرسش‌های چندگامی (multi-hop) گزینه‌های برترِ کاملاً متفاوتی را نسبت به پرسش‌های فکت‌محور آشکار می‌کنند.

تغییرات مورد نیاز در برنامه‌ی ارزیابی

  1. داده‌های مرجع ارزیابی را با پرسش‌های واقعی آن واحد توسعه دهید؛ به‌طوری‌که یک متخصص حوزه (domain expert) شناسه‌های مرجع و پاسخ‌های درست را برچسب‌گذاری کند، دقیقاً همان کاری که در پروژه‌ی پایانی محیط عملیاتی (production) برای مجموعه‌ی طلایی (golden set) شامل 200 جفت‌داده به‌همراه ارجاعات انجام شد.
  2. به هر رکورد داده‌های مرجع ارزیابی برچسب بزنید؛ برچسب‌ها باید شامل دسته‌ی پرسش و نوع سند باشند، و تک‌تک معیارها را به تفکیک هر برش گزارش کنید.
  3. ردگیری محاسبات (trace) را به ازای هر پرسش ذخیره کنید تا در هر بار اجرا باقی بماند؛ این‌گونه وقتی شکایتی رسید، می‌توانید داده‌ی مرجع ارزیابی متناظرش را پیدا کنید و ببینید آیا سیستم ارزیابی متوجه این خطا می‌شد یا نه.
  4. یک برنامه‌ی زمان‌بندی برای بازبینی داده‌های مرجع ارزیابی تنظیم کنید. با تغییر پیکره متنی (corpus)، پاسخ‌های مرجع دچار دریفت می‌شوند؛ در این درس بازبینی فصلی پیشنهاد شده است.
  5. نوع قطعه‌بند را در هدر فایل داده‌های مرجع ارزیابی قفل کنید و مطمئن شوید که جداکننده‌ی متن (splitter) در محیط عملیاتی با فرمت اسناد آن واحد همخوانی دارد.
  6. مجموعه‌ها را سطح‌بندی کنید: 20 پرسش در CI، تعداد 200 پرسش در اجرای شبانه، 2000 پرسش در اجرای هفتگی، و افت در هر برش جداگانه را مانع انتشار قرار دهید.

داشبورد چه چیزی را باید نشان می‌داد

داشبورد دریفت پروژه‌ی پایانی، کیفیت بازیابی (retrieval) را به‌صورت هفتگی پایش می‌کند و در صورت افت 5 درصدی هشدار می‌دهد. اما این سیستم فقط روی ترافیکی می‌تواند هشدار دهد که در داده‌هایش وجود دارد. وقتی پرسش‌های آن واحد کاری به این مجموعه اضافه شوند، همان هشدار تازه معنای واقعی خود را برای آن‌ها پیدا می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چطور ممکن است همه‌ی معیارها بالا باشند ولی پاسخ‌ها اشتباه از آب دربیاید؟ پاسخ مورد انتظار: معیارها روی مجموعه‌ی ارزیابی محاسبه می‌شوند، و آن پرسش‌ها و اسنادی که خطا در آن‌ها اتفاق می‌افتد اصلاً درون این مجموعه حضور ندارند.
  • سطح 4: اولین اقدام ملموس برای اصلاح داده‌های مرجع ارزیابی چیست؟ پاسخ مورد انتظار: افزودن پرسش‌های واقعی آن واحد همراه با شناسه‌ها و پاسخ‌های مرجعی که متخصص حوزه برچسب‌گذاری کرده است، همراه با برچسب‌گذاری دسته‌ی پرسش و نوع سند برای گزارش‌گیری برشی.
  • سطح 4: چطور داده‌های مرجع ارزیابی را در طول زمان معتبر و به‌روز نگه می‌دارید؟ پاسخ مورد انتظار: یک بازبینی دوره‌ای و زمان‌بندی‌شده (در درس به‌صورت فصلی آمده است)، چون با تغییر پیکره متنی پاسخ‌های مرجع هم دچار دریفت می‌شوند؛ به‌علاوه‌ی بررسی این‌که قطعه‌بندِ مشخص‌شده در هدر داده‌های مرجع با قطعه‌بندِ محیط عملیاتی یکسان باشد.
  • سطح 4: چرا با وجود افت کیفیت، داشبورد دریفت هیچ افتی را نشان نمی‌داد؟ پاسخ مورد انتظار: چون هر هفته همان مجموعه‌ی قدیمی و غیرمعرف را پایش می‌کرده است؛ هشداری که روی آن مجموعه‌ی محدود تنظیم شده، هیچ ارتباطی با ترافیکی که داخلش نیست ندارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «معیارها بالا هستند، پس مشکل از خطای کاربر است.» معیارها مجموعه‌ی ارزیابی را می‌سنجند نه کل ترافیک را؛ شکایت‌ها دقیقاً همان داده‌های گمشده هستند.
  • «آستانه‌ها (thresholds) را بالاتر ببرید.» سخت‌گیرانه‌تر کردن آستانه روی پرسش‌های اشتباه، باز هم همان پرسش‌های اشتباه را ارزیابی می‌کند.
  • «سیستم ارزیابی را با یک بنچ‌مارک عمومی بزرگ‌تر جایگزین کنید.» یک مجموعه‌ی عمومی هیچ داده‌ای از آن واحد کاری خاص ندارد؛ چاره‌ی کار ثبت و برچسب‌گذاری پرسش‌های واقعی خود آن‌هاست.

کجای دوره آموزش داده می‌شود

درس ارزیابی RAG موضوع مجموعه‌ی غیرمعرف، گزارش‌گیری برشی، فرسودگی داده‌های مرجع ارزیابی و سطح‌بندی را مشخص می‌کند؛ پروژه‌ی پایانی RAG در محیط عملیاتی مجموعه‌ی طلایی و هشدار دریفت را تنظیم می‌کند؛ و درس استراتژی‌های قطعه‌بندی متن به لایه‌بندی پرسش‌ها بر اساس نوع آن‌ها می‌پردازد.