دستیار اسناد شما به تمام پرسشها پاسخ میدهد، حتی آنهایی که در پیکره متنی (corpus) پوشش داده نشدهاند؛ و کاربران دقیقاً همین پاسخهای ساختگی را به خاطر میسپارند. مسیری طراحی کنید که به سیستم اجازه دهد بگوید پاسخ را نمیداند، و مشخص کنید چطور کارکرد درست این مسیر را ارزیابی میکنید.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
امتیاز رتبه 1 بازرتبهبند (reranker) را برای تمام پرسشها ثبت (log) کنید و وقتی این امتیاز از یک آستانه (threshold) اختصاصیِ پیکره متنی کمتر شد، بهجای تحویل تکههای ضعیف به مدل تولیدکننده، از پاسخدهی امتناع کنید (امتناع مدل یا refusal). به مدل تولیدکننده دستور دهید فقط بر اساس قطعههای متنی پاسخ دهد، برای هر ادعا منبع بیاورد و اگر قطعهها پاسخ را در بر ندارند، بگوید نمیداند. تنظیم امتناع (refusal calibration) را بسنجید: بشمارید سیستم روی پرسشهایی که پاسخشان در پایگاه داده نیست با چه بسامدی امتناع میکند، و نرخ اطمینان کاذب (false confidence rate) را نیز زیر نظر بگیرید.
پاسخ کامل
دروازه 1: پیش از تولید پاسخ
درس بازرتبهبند، امتیاز رتبه 1 کراسانکودر (cross-encoder) را ثبت میکند. اگر بالاترین امتیاز یک پرسش پایینتر از آستانهی اختصاصیِ پیکره متنی قرار گیرد، آن پرسش خارج از دامنه است و درس سیستم سرتاسری (end-to-end) روند امتناع را روی آن اعمال میکند: مدل تولیدکننده متن امتناع را بدون هیچ ارجاعی برمیگرداند. پروژه نهایی محیط عملیاتی (production) این وضعیت را حالت نامطمئن (unsure mode) مینامد و افت نرخ اطمینان کاذب را در آن اندازه میگیرد. درس پاسخ به پرسشها کار را سادهتر شروع میکند: تعیین یک آستانه روی بالاترین شباهت بازیابی (retrieval) و تنظیم آن روی یک مجموعهداده نگهداشتهشده (held-out).
دروازه 2: حین تولید پاسخ
پرامپت به مدل میگوید فقط از قطعههای متنی استفاده کند، برای هر ادعا نشانهی مرجع (anchor) آن را ذکر کند، و وقتی قطعهها پاسخ را شامل نمیشوند، بگوید نمیداند. درس پاسخ به پرسشها نشان داد که ارجاعدهی مکانی (grounding) صریح همراه با دستور امتناع، توهم مدل را در مقایسه با یک پرامپت ساده بین 40 تا 60 درصد کاهش میدهد.
دروازه 3: پس از تولید پاسخ
پاسخ را تجزیه کنید و هر ادعا را با بندی که مرجعِ آن ارجاع داده تطبیق دهید. ادعایی که فاقد مرجع باشد، یا بند ارجاعشده حاوی آن ادعا نباشد، حذف میشود یا پرسش برای بازتولید مجدداً ارسال میگردد. به این ترتیب، پاسخی که توانسته از سد بررسی امتیاز عبور کند هم نمیتواند ادعایی را به کاربر تحویل دهد که بند ارجاعی از آن پشتیبانی نمیکند.
روش ارزیابی
- تنظیم امتناع: سهم مواردی که سیستم از پاسخ به آنها امتناع کرده، از میان مجموعهای از پرسشها که پاسخی در پایگاه داده ندارند.
- نرخ اطمینان کاذب: سهمی از همان پرسشهای بدون پاسخ که در نهایت پاسخی دریافت کردهاند.
- نرخ امتناع اشتباه: سهم پرسشهای درون پیکره متنی که سیستم به اشتباه از پاسخ به آنها امتناع کرده است. اگر آستانه بیش از حد بالا باشد، سیستم در این شاخص با شکست روبهرو میشود.
آستانه را همیشه روی مجموعهداده نگهداشتهشده جابهجا و تنظیم کنید، نه بر اساس گزارشهای موردی در محیط عملیاتی؛ و هر بار که مدل امبدینگ، بازرتبهبند یا پیکره متنی تغییر کرد، کالیبراسیون (calibration) آن را دوباره انجام دهید.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: این آستانه از کجا بهدست میآید؟ پاسخ مورد انتظار: بر اساس توزیع امتیازهای رتبه 1 روی یک مجموعهداده نگهداشتهشده شامل پرسشهای مشخصِ درون و بیرون پیکره متنی؛ این مقدار مختص همان پیکره متنی است.
- سطح 3: پرامپت تولیدکننده علاوه بر عبارت «فقط از زمینه استفاده کن» به چه چیزی نیاز دارد؟ پاسخ مورد انتظار: ارجاعِ هر ادعا به نشانهی مرجع آن و اعلام ندانستن در صورتی که قطعهها پاسخ را در بر نگیرند؛ این دستورِ صریح در درس پاسخ به پرسشها، توهم را 40 تا 60 درصد کم کرد.
- سطح 4: امتناع بیش از حد هم نوعی شکست است. چطور بین این دو تعادل برقرار میکنید؟ پاسخ مورد انتظار: پایش نرخ اطمینان کاذب روی پرسشهای بیرون پیکره در کنار نرخ امتناع اشتباه روی پرسشهای درون پیکره، و جابهجایی آستانه روی مجموعهداده نگهداشتهشده.
- سطح 4: فیلتر پسپردازشِ ارجاعها چگونه با دروازهی امتناع هماهنگ عمل میکند؟ پاسخ مورد انتظار: هر ادعا با بندی که مرجعش ارجاع داده بررسی میشود، و ادعای بدون مرجع یا ادعایی که بند ارجاعی آن را بیان نمیکند، حذف یا دوباره پرسیده میشود؛ بدینترتیب پاسخی ضعیف که از سد امتیاز گذشته هم نمیتواند ادعایی بدون پشتوانه تحویل دهد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «به مدل بگویید بااحتیاط پاسخ دهد.» یک دستور متنی نمیتواند امتیازهای بازیابی را ببیند؛ اولین دروازه باید پیش از تولید قرار گیرد.
- «هر گاه بازیابی کمتر از k تکه متن برگرداند، امتناع کنید.» تعداد تکهها نشاندهندهی اطمینان نیست؛ تکههای ضعیف هم میتوانند k جایگاه (slot) را پر کنند.
- «آستانه را یک بار از روی مجموعهدادهی نمونه (fixture) تعیین کنید.» این آستانه مختص پیکره متنی است و هر بار که مدل امبدینگ، بازرتبهبند یا پیکره متنی تغییر کند، تغییر میکند.
کجای دوره آموزش داده میشود
درس RAG سرتاسری مسیر امتناع و تولیدکنندهی همراه با ارجاع را پیاده میکند، درس پاسخ به پرسشها تنظیم امتناع را تعریف میکند، پروژه نهایی RAG در محیط عملیاتی حالت نامطمئن را اضافه میکند، و درس کراسانکودر امتیاز رتبه 1 را ثبت میکند.