سؤال مصاحبه

بازخوانی ثابت مانده، MRR افت کرده، و کسی دست به بازیاب نزده است

Recall holds, MRR drops, nobody touched the retriever

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۰ دقیقه

پس از یک انتشار (release)، ارزیابی شبانه‌ی RAG نشان می‌دهد بازخوانی در 5 (recall at 5) دست‌نخورده و همچنان بالاست، MRR نسبت به هفته‌ی قبل افت کرده، و وفاداری (faithfulness) هم تغییری نکرده است. هیچ‌کس به بازیاب (retriever) دست نزده است. به کدام مرحله مشکوک می‌شوید، چطور مطمئن می‌شوید، و الگوهای دیگر چه چیزی را نشان می‌دادند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

بازرتبه‌بند (reranker). به‌طور میانگین، تکه‌ی مرجع (gold chunk) همچنان در جمع 5 نتیجه‌ی اول قرار می‌گیرد، بنابراین بازخوانی حفظ می‌شود؛ اما جایگاهش در فهرست پایین‌تر آمده و در نتیجه MRR افت می‌کند، در حالی که مدل سازنده همچنان به ورودی‌های دریافتی‌اش وفادار می‌ماند. برای تأیید، ردگیری محاسبات (trace) به ازای هر پرس‌وجو را بررسی کنید: رتبه‌ی تکه‌ی مرجع را قبل و بعد از انتشار مقایسه کنید؛ سپس سراغ تغییرات بازرتبه‌بند بروید؛ مواردی مثل وزن‌ها، اندازه‌ی مجموعه‌ی کاندیداها، یا جابه‌جا شدن ترتیب پرس‌وجو و سند در جفت ورودی.

پاسخ کامل

چرا این الگو به یک مرحله‌ی خاص اشاره دارد

معیار MRR میانگین معکوس رتبه‌ی اولین سند مرتبط در تمام پرس‌وجوهاست: رتبه‌ی 1 ضریب 1.0 دارد، رتبه‌ی 2 ضریب 0.5، و رتبه‌ی 10 ضریب 0.1؛ بنابراین، نتایج صدر فهرست بر این معیار مسلط هستند. بازخوانی در 5 جایگاه سند را درون این بازه‌ی 5تایی نمی‌بیند. افت MRR در کنار ثبات بازخوانی نشان می‌دهد تکه‌ی درست درون همان بازه پایین‌تر رفته است، و مرحله‌ای که ترتیب را داخل این پنجره تعیین می‌کند، بازرتبه‌بند است. البته میانگینِ ثابت این موضوع را قطعی ثابت نمی‌کند: ممکن است در یک پرس‌وجو تکه‌ی مرجع از جمع 5تای اول خارج شده و در پرس‌وجوی دیگری جایگزین شده باشد. ردگیری محاسبات رتبه به ازای هر پرس‌وجو، جابه‌جایی‌های بازرتبه‌بند را از افت بازیابی جدا می‌کند.

جدول کامل نشانه‌ها

نشانه علت احتمالی راهکار رفع مشکل
بازخوانی و دقت (precision) پایین در k تکه‌بند (chunker) پاسخ را بریده، یا بازیاب نمی‌تواند پیدایش کند مرزهای تکه‌بندی، یا مدالیته‌ی بازیابی
بازخوانی مناسب در k، ولی MRR پایین تکه‌ی درست در k تای اول هست، اما در جایگاه 1 نیست بازرتبه‌بند
MRR بالا، ولی وفاداری پایین مدل تولیدکننده با وجود داشتن زمینه‌ی درست، محتوا جعل می‌کند پرامپت تولید، اجبار به ارجاع یا رد پاسخ‌گویی
وفاداری بالا، ولی ارتباط موضوعی پایین پاسخ مستند است ولی به موضوع ربطی ندارد بازنویسنده‌ی پرس‌وجو، یا پرامپت
هر چهار معیار بالا هستند، اما کاربران همچنان شاکی‌اند مجموعه‌ی ارزیابی نماینده‌ی داده‌های واقعی نیست اضافه کردن پرس‌وجوهای واقعی کاربران به داده‌های مرجع ارزیابی (qrels)

مطمئن شوید، حدس نزنید

ردگیری محاسبات هر معیار را در هر بار اجرای CI برای تک‌تک پرس‌وجوها ذخیره کنید. آن وقت سؤال این نیست که «کدام عدد افت کرده»، بلکه این است که «کدام پرس‌وجوها افت کرده‌اند و به چه رتبه‌ای رسیده‌اند». داده‌ها را بر اساس دسته‌ی پرس‌وجو تفکیک کنید. افتی که فقط به یک دسته محدود شده باشد (مثلاً پرس‌وجوهایی که نماد عینی و لفظی دارند)، نشانه‌ی تغییری کاملاً متفاوت با افتی است که در تمام دسته‌ها دیده می‌شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: ردگیری محاسبات نشان می‌دهد تکه‌ی مرجع فقط در پرس‌وجوهای شناسه‌ی عینی (literal identifier) به رتبه‌ی 3 سقوط کرده است. این برش از داده‌ها چه چیزی را نشان می‌دهد؟ پاسخ مورد انتظار: تغییری که سیگنال واژگانی (lexical) را درون کاندیداهای آن پرس‌وجوها ضعیف کرده است؛ به‌جای پنهان کردن مشکل پشت میانگین‌ها، آن را با تفکیک بر اساس دسته پیدا کنید.
  • سطح 3: چه تغییراتی در یک انتشار می‌تواند MRR را جابه‌جا کند، در حالی که بازخوانی در 5 ثابت بماند؟ پاسخ مورد انتظار: هر تغییری در خود بازرتبه‌بند: وزن‌های جدید، کوچک‌تر شدن استخر کاندیداها، یا جابه‌جا شدن جای پرس‌وجو و سند در جفت ورودی.
  • سطح 4: وفاداری هم افت کرده، اما بازخوانی و MRR مشکلی ندارند. کجا را بررسی می‌کنید؟ پاسخ مورد انتظار: پرامپت تولید، و خود مدل داور؛ چون داوری از همان خانواده‌ی مدل، بیش از حد به خروجی‌های خودش نمره‌ی قبولی می‌دهد؛ یک نمونه را دستی ارزیابی کنید.
  • سطح 4: چرا به‌جای میانگین‌ها، ردگیری محاسبات را به ازای هر پرس‌وجو نگه داریم؟ پاسخ مورد انتظار: میانگین 90 درصدی دسته‌ای را که همیشه پاسخ نادرست می‌گیرد پنهان می‌کند؛ علاوه بر این، وقتی کاربری شکایت کرد، می‌توانید داده‌ی مرجع ارزیابی متناظرش را پیدا کنید و ببینید آیا سیستم ارزیابی متوجه این خطا می‌شده یا نه.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «بازیاب پسرفت کرده است.» کسی به بازیاب دست نزده و بازخوانی در 5 هم تکان نخورده است؛ هرچند یک میانگین ثابت باز هم می‌تواند پرس‌وجویی را که تکه‌ی مرجعش را از دست داده پنهان کند، پس قبل از مقصر دانستن بازیابی، ردگیری رتبه را به ازای هر پرس‌وجو بررسی کنید.
  • «مدل دچار توهم شده است.» وفاداری تغییری نکرده؛ مدل تولیدکننده همچنان به ورودی‌های دریافتی‌اش وفادار است.
  • «یک بار دیگر اجرا کنید، نوسان تصادفی است.» ارزیابی به‌صورت آفلاین و کاملاً قطعی (deterministic) روی مجموعه‌داده‌ی نمونه (fixture) اجرا می‌شود؛ افت یک معیار همراه با ثبات بقیه‌ی معیارها، به یک مرحله‌ی مشخص اشاره دارد.

کجای دوره آموزش داده می‌شود

درس ارزیابی RAG معیار MRR را تعریف می‌کند و جدول نشانه‌ها را ارائه می‌دهد.