سؤال مصاحبه

اولین معیاری که بعد از پاسخ اشتباه باید بررسی کرد

The first metric to read after a wrong answer

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

کاربری گزارش می‌دهد که دستیار اسناد پاسخی اشتباه داده است. پایپ‌لاین (Pipeline) شامل چانکر (Chunker)، بازیاب (Retriever)، بازرتبه‌بند (Reranker) و تولیدکننده (Generator) است. پیش از هر کار دیگری، فقط می‌توانید یک معیار را بررسی کنید. کدام معیار، و چرا دقیقاً همان؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

بازخوانی در k (یا Recall at k) در مرحله‌ی بازیابی (Retrieval). اگر چانک مرجع (Gold chunk) در بین k نتیجه‌ی اول نباشد، هیچ بازرتبه‌بندی نمی‌تواند آن را برگرداند و تولیدکننده معمولاً شواهد (Evidence) لازم برای ارائه‌ی پاسخ درست را نخواهد داشت—مگر این‌که چانک دیگری برحسب اتفاق حاوی آن اطلاعات باشد؛ بنابراین تحلیل معیارهای مراحل بعدی دشوار خواهد بود. بازخوانی در اولویت بررسی است، اما سدِ راه نیست: وقتی بازخوانی خوب بود، یا چانک بازیابی‌شده‌ی دیگری شواهد را در خود داشت، به سراغ موقعیت رتبه (Rank) و سپس متن تولیدشده بروید؛ چون در غیر این صورت، خرابی‌های آن بخش‌ها پنهان می‌ماند.

پاسخ کامل

دو معیار بازیابی

دقت در k (یا Precision at k) می‌سنجد چه سهمی از k نتیجه‌ی برتر، واقعاً مرجع و درست هستند. اگر مجموعه‌ی مرجع شامل 3 سند باشد و 3 نتیجه‌ی اول شامل 2 تای آن‌ها به‌همراه یک سند اشتباه باشد، دقت در 3 برابر با 2 / 3 است. بازخوانی در k می‌سنجد چه سهمی از کل اسناد مرجع در k نتیجه‌ی برتر آمده‌اند. اگر 5 نتیجه‌ی اول شامل هر 3 سند مرجع باشند، بازخوانی در 5 برابر با 1.0 خواهد بود.

تیم‌های عملیاتی (Production) به بازخوانی استناد می‌کنند. تولیدکننده می‌تواند یک چانک اضافه را به‌سادگی نادیده بگیرد، اما نمی‌تواند از چانکی که هرگز ندیده است، پاسخ بسازد.

ترتیب بررسی‌ها

نشانه علت احتمالی راه‌حل
بازخوانی پایین و دقت پایین چانکر پاسخ را بریده یا بازیاب قادر به پیدا کردن آن نیست مرزهای چانک یا مودالیتیِ بازیابی
بازخوانی قابل‌قبول، MRR پایین چانک درست در بین k نتیجه‌ی اول هست اما در جایگاه 1 قرار ندارد بازرتبه‌بند
MRR بالا، وفاداری (Faithfulness) پایین تولیدکننده با وجود بافت درست، اطلاعات ساختگی سرهم می‌کند پرامپت تولید، نقل‌قول کردن یا امتناع از پاسخ
وفاداری بالا، ارتباط پایین پاسخ مستند است اما ربطی به موضوع ندارد بازنویسنده‌ی پرسش یا پرامپت
هر چهار معیار بالا، ولی کاربران هنوز شاکی هستند مجموعه‌ی ارزیابی بازتابی از پرسش‌های واقعی نیست اضافه کردن پرسش‌های واقعی کاربران به داده‌های مرجع ارزیابی (qrels)

ارزیابی را کم‌هزینه نگه دارید

داده‌های مرجع ارزیابی را سطح‌بندی کنید: یک مجموعه‌ی تست سریع (Smoke set) با 20 پرسش که در فرایند CI اجرا شود، یک مجموعه‌ی رگرسیون با 200 پرسش که شبانه اجرا شود، و یک مجموعه‌ی عمیق با 2000 پرسش که هفتگی اجرا گردد. با افت بازخوانی درست مثل یک تستِ ردشده برخورد کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: وقتی بازخوانی مشکلی ندارد، دقت در k چه اطلاعاتی اضافه می‌کند؟ پاسخ مورد انتظار: نشان می‌دهد چه مقدار از فهرست بازگشتی نویز است؛ این موضوع زمانی اهمیت دارد که یک چانک نادرست پاسخ را خراب کند یا توکن‌ها را هدر دهد.
  • سطح 2: بازخوانی در 5 خوب است اما چانک مرجع در رتبه‌ی 4 یا 5 قرار گرفته است. کدام معیار این موضوع را نشان می‌دهد و کدام مرحله را باید اصلاح کنید؟ پاسخ مورد انتظار: MRR، و بازرتبه‌بند.
  • سطح 3: میانگین بازخوانی 90 درصد است اما یک تیم همچنان هر روز شکایت می‌کند. چه چیزی پنهان مانده است؟ پاسخ مورد انتظار: یک دسته‌ی خاص از پرسش‌ها که بازیابی همیشه آن‌ها را از دست می‌دهد؛ داده‌های مرجع ارزیابی را بر اساس دسته تقسیم‌بندی کنید (مثل واژه‌به‌واژه، بازنویسی‌شده و چندموضوعی) و نتایج هر بخش را جداگانه گزارش دهید.
  • سطح 3: چطور ارزیابی را آن‌قدر سریع نگه می‌دارید که با هر تغییر اجرا شود؟ پاسخ مورد انتظار: سطح‌بندی؛ با یک مجموعه‌ی تست سریعِ 20 پرسشی در CI، 200 پرسش به‌صورت شبانه و 2000 پرسش هفتگی.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «پاسخ را بخوانید و در موردش قضاوت کنید.» پاسخ به‌تنهایی نمی‌تواند بگوید کدام‌یک از این چهار مرحله خراب شده است.
  • «دقت در k، چون نویز باعث پاسخ اشتباه شده است.» دقت زمانی اهمیت پیدا می‌کند که چانک درست حاضر باشد؛ گم شدنِ چانک اولین فرضیه‌ای است که باید رد شود.
  • «وفاداری، چون مدل دچار توهم شده است.» پاسخی که نسبت به چانک‌های اشتباه وفادار باشد، کماکان اشتباه است؛ وفاداری فقط تولیدکننده را بر اساس آن‌چه دیده می‌سنجد.

کجای دوره آموزش داده می‌شود

درس ارزیابی RAG معیارها و جدول عیب‌یابی را تعریف می‌کند، و درس پاسخ‌گویی به سوالات تأکید می‌کند که بازیاب را باید پیش از خواننده (Reader) بسنجید.