در گزارش ارزیابی RAG شما، دو معیار برای سنجش کیفیت پاسخ وجود دارد: وفاداری (faithfulness) و ارتباط پاسخ (answer relevance). یکی از همتیمیهایتان ادعا میکند که این دو معیار عملاً یک چیز را اندازه میگیرند و میخواهد یکی از آنها را حذف کند. توضیح دهید که هر کدام چه چیزی را میسنجد و پاسخی مثال بزنید که در یکی امتیاز بالا و در دیگری امتیاز پایینی میگیرد.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
وفاداری بررسی میکند که آیا تکتک ادعاهای مطرحشده در پاسخ، با زمینهی (context) بازیابیشده پشتیبانی میشوند یا خیر. ارتباط پاسخ میسنجد که آیا پاسخ ارائهشده اصلاً به سؤال میپردازد یا نه. خلاصهای کاملاً مستند از تکههای (chunks) بازیابیشده که هیچ اشارهای به سؤال اصلی نمیکند، وفاداری بالا و ارتباط پایینی میگیرد. در مقابل، پاسخی کوتاه و مستقیم که مدل صرفاً از حافظهی خودش داده باشد، ارتباط بالا و وفاداری پایینی خواهد داشت.
پاسخ کامل
نحوهی محاسبهی هر معیار
| معیار | ورودی داور | خروجی |
|---|---|---|
| وفاداری | یک ادعا از پاسخ، بههمراه زمینهی بازیابیشده | بله یا خیر؛ تجمیعشده بهصورت نسبت ادعاهای تأییدشده |
| ارتباط پاسخ | پرسش، بههمراه پاسخ | آیا پاسخ به سؤال پرداخته است یا خیر |
فرایند ارزیابی ابتدا پاسخ را به ادعاهایی در قالب تکجمله خرد میکند. به وفاداری، مستند بودن (groundedness)، پشتیبانی (support) یا انتساب (attribution) هم میگویند. در نسخهی محیط عملیاتی (production)، درسِ پرسشوپاسخ وفاداری را بهصورت استلزام (entailment) میان ادعا و زمینه توصیف میکند؛ ارتباط پاسخ نیز بهصورت تولید پرسشهای فرضی از روی پاسخ و مقایسهی آنها با سؤال واقعی سنجیده میشود.
چرا باید هر دو باقی بمانند؟
هر یک از این دو، خطایی را شناسایی میکند که دیگری توان دیدنش را ندارد:
- وفاداری، دادههای ساختگی را گیر میاندازد؛ چون آن گزاره هیچ مبنایی در زمینه ندارد.
- ارتباط پاسخ، جوابهایی را که از موضوع پرت شدهاند شناسایی میکند؛ زیرا داور اصلاً زمینه را نمیبیند و فقط میپرسد آیا به سؤال جواب داده شده است یا نه.
جدول عیبیابی در درس ارزیابی از همین جفت استفاده میکند. شاخص MRR بالا همراه با وفاداری پایین، انگشت اشاره را به سمت پرامپت تولید (generation prompt) میبرد. وفاداری بالا در کنار ارتباط پایین، نشاندهندهی مشکل در بازنویس پرسوجو (query rewriter) یا پرامپت است.
بینیازی از پاسخ ایدئال (Gold Answer)
هر دو معیار بر اساس زمینه و پرسش ارزیابی میشوند، نه بر اساس یک پاسخ مرجع. همین موضوع به شما امکان میدهد ترافیک زنده را بدون نیاز به دادههای برچسبخورده بسنجید؛ آن هم در کنار دقت زمینه (context precision) و بازخوانی زمینه (context recall) در بخش بازیابی (retrieval).
جایگزین آفلاین
در این درس یک داور قطعی (deterministic) مبتنی بر همپوشانی (overlap) توکنها فراتر از یک آستانه (threshold) ارائه شده است تا ارزیابی بدون نیاز به فراخوانی شبکه اجرا شود. این داور معنا را درک نمیکند؛ بنابراین در محیط عملیاتی، جای خود را به یک مدل داور از خانوادهای متفاوت با مدل تولیدکننده میدهد.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: کدامیک از این دو، توهم را تشخیص میدهد؟ پاسخ مورد انتظار: وفاداری؛ زیرا یک گزارهی ساختگی هیچ پشتوانهای در زمینهی بازیابیشده ندارد.
- سطح 2: ارتباط پایین همراه با وفاداری بالا نشاندهندهی مشکل در کدام مرحله است؟ پاسخ مورد انتظار: بازنویس پرسوجو یا پرامپت تولید؛ زمینه دربارهی موضوع دیگری بوده، یا پاسخ از سؤال فاصله گرفته است.
- سطح 3: چرا هیچکدام از این دو معیار به پاسخ مرجع نیاز ندارند؟ پاسخ مورد انتظار: هر دو بر اساس زمینه و پرسش سنجیده میشوند؛ دقیقاً همین نکته باعث کارایی آنها روی ترافیک زنده میشود.
- سطح 3: محدودیت داور آفلاین این درس چیست؟ پاسخ مورد انتظار: همپوشانی توکنها را فراتر از یک آستانه میشمارد و نمیتواند معنا را درک کند؛ در محیط عملیاتی باید از یک مدل داور استفاده کرد که از خانوادهای متفاوت با مدل تولیدکننده باشد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «این دو یکی هستند؛ پاسخی که وفادار باشد مرتبط هم هست.» یک پاسخ وفادار میتواند زمینهی بازیابیشده را خلاصه کند و کلاً سؤال را نادیده بگیرد.
- «وقتی بازیابی خوب باشد، سنجش ارتباط پاسخ کفایت میکند.» داورِ ارتباط هرگز زمینه را نمیبیند؛ بنابراین پاسخی که مدل فقط از حافظهی خودش داده باشد، میتواند مرتبط ولی کاملاً نامستند باشد.
- «وفاداری به پاسخ ایدئال نیاز دارد.» این معیار در برابر زمینهی بازیابیشده سنجیده میشود و به همین دلیل روی ترافیک زنده جواب میدهد.
کجای دوره آموزش داده میشود
درس ارزیابی RAG هر دو معیار و داور جایگزین را تعریف کرده است، و درس پرسش و پاسخ حالتهای مورد استفاده در محیط عملیاتی را ارائه میدهد.