سؤال مصاحبه

بالا ماندن نمره‌ی وفاداری در حالی که بازبین‌ها فکت‌های ساختگی پیدا می‌کنند

Faithfulness stays high while reviewers find invented facts

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۰ دقیقه

امتیاز وفاداری (Faithfulness) شما از مدلی به‌دست می‌آید که هر ادعا را در کنار بافتار بازیابی‌شده می‌خواند و با «بله» یا «خیر» پاسخ می‌دهد. این امتیاز یک ماه است که نزدیک به سقف مانده، اما بازبین‌ها مدام در نمونه‌های بررسی‌شده، فکت‌های ساختگی پیدا می‌کنند. مدل تولیدکننده و مدل داور یکی هستند. چه اتفاقی دارد می‌افتد و چه چیزی را باید تغییر دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

داوری که از همان خانواده‌ی مدل تولیدکننده باشد، خروجی‌های خود را وفادارانه‌تر از واقعیت نمره‌دهی می‌کند؛ در نتیجه، این عدد بالا می‌ماند در حالی که نمونه‌ها واقعیت را برملا می‌کنند. مدل داور را به خانواده‌ی دیگری تغییر دهید یا نمونه‌ای را دستی نمره‌دهی کنید، و همچنین یک بررسی در سطح کل نمونه اضافه کنید؛ چون ممکن است تک‌تک جمله‌ها تأیید شوند، اما پاسخ در کل گمراه‌کننده باشد.

پاسخ کامل

این معیار چگونه ساخته می‌شود

فرایند ارزیابی، پاسخ را به ادعاهایی در قالب جمله خرد می‌کند، از داور می‌پرسد که آیا بافتار بازیابی‌شده از هر ادعا پشتیبانی می‌کند یا خیر، و نسبت ادعاهای پذیرفته‌شده را گزارش می‌دهد. در این درس، یک داور جایگزین و قطعی (Deterministic) بر پایه‌ی همپوشانی (Overlap) توکن‌ها ارائه شده تا ارزیابی به‌صورت آفلاین اجرا شود، و در محیط عملیاتی (Production) یک فراخوانی مدل جایگزین آن می‌شود. درس پاسخ‌گویی به سؤالات، ساختار نسخه عملیاتی را شرح می‌دهد: استلزام معنایی میان هر ادعا و بافتار، بدون نیاز به پاسخ طلایی (Gold answer).

دو نقطه‌ی کور

  1. سوگیری داور (Judge bias): مدل خروجی‌های خانواده‌ی خودش را وفادارانه‌تر از واقعیت داوری می‌کند. قاعده‌ی این درس مشخص است: برای داور از خانواده‌ای متفاوت با مدل تولیدکننده استفاده کنید، یا نمونه‌ای را دستی نمره‌دهی کنید.
  2. بررسی‌های ریز، ادعاهای کلان را جا می‌اندازند: ممکن است تک‌تک جملات مستند باشند، اما پاسخ در مجموع به نتیجه‌ای برسد که بافتار اصلاً آن را تایید نمی‌کند. علاوه بر معیار خودکار، یک بررسی کیفی در سطح کل نمونه اضافه کنید.

چه مواردی را باید تغییر داد

  • خانواده‌ی مدل داور را تغییر دهید، سپس میزان اختلاف نظر بین داور قدیمی و جدید را روی همان مجموعه‌داده‌ی نمونه (Fixture) بسنجید. تمرین این درس نیز همین کار را بین داور ماک و یک مدل واقعی انجام می‌دهد.
  • هر هفته یک نمونه‌ی ثابت را دستی نمره‌دهی کنید و آن را به عنوان مجموعه‌ی کالیبراسیون (Calibration) برای امتیاز خودکار در نظر بگیرید.
  • به‌جای بله یا خیرِ صرف، وفاداری درجه‌بندی‌شده با سه حالت را در نظر بگیرید: «پشتیبانی‌نشده»، «تا حدی پشتیبانی‌شده» و «کاملاً پشتیبانی‌شده».
  • معیار ارتباط پاسخ (Answer relevance) را در کنار وفاداری نگه دارید. پاسخی مستند به سؤالی اشتباه، در یکی از این معیارها قوی و در دیگری ضعیف خواهد بود.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چطور پیش از اعمال هر تغییری، ابعاد مشکل داور را اندازه می‌گیرید؟ انتظار می‌رود: نمونه‌ای از ادعاها را دستی نمره‌دهی کنید و میزان اختلاف میان داور و برچسب‌های انسانی را بسنجید.
  • سطح 3: همه‌ی جمله‌ها تأیید می‌شوند اما پاسخ در کل گمراه‌کننده است. کدام بررسی مچ این خطا را می‌گیرد؟ انتظار می‌رود: یک بررسی کیفی در سطح کل نمونه، علاوه بر معیار مبتنی بر تک‌تک ادعاها.
  • سطح 4: چرا ممکن است یک نمره‌ی وفاداری بالا در کنار پاسخی کاملاً بی‌فایده قرار بگیرد؟ انتظار می‌رود: وفاداری، پاسخ را با بافتار می‌سنجد نه با سؤال؛ بنابراین پاسخی نامربوط اما مستند، در وفاداری نمره‌ی بالایی می‌گیرد و در ارتباط نمره‌ی پایینی ثبت می‌کند.
  • سطح 4: تیم می‌خواهد قوی‌ترین مدل موجود را به عنوان داور انتخاب کند، که دست‌برقضا همان مدل تولیدکننده است. چه می‌گویید؟ انتظار می‌رود: اولویت اول در انتخاب داور استقلال آن است؛ یک داور قوی هم برای خروجی‌های هم‌خانواده‌ی خودش دچار سوگیری خواهد بود، پس باید از خانواده‌ی دیگری استفاده کنید و یک نمونه‌ی کالیبراسیونِ نمره‌دهی‌شده به‌دست انسان را نگه دارید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «امتیاز بالاست، پس بازبین‌ها اشتباه می‌کنند.» این امتیاز فقط نظر یک مدل درباره‌ی خروجی‌های خانواده‌ی خودش است؛ نمونه‌های بررسی‌شده، حقیقت پایه (Ground truth) هستند.
  • «پرامپت داور را سخت‌گیرانه‌تر کنید تا مشکل حل شود.» پرامپت یا آستانه‌ی (Threshold) سخت‌گیرانه‌تر، سوگیری نسبت به هم‌خانواده‌های خود مدل را از بین نمی‌برد؛ فقط استفاده از خانواده‌ای دیگر یا ارزیابی دستیِ یک نمونه این مشکل را رفع می‌کند.
  • «به‌جای وفاداری، از ارتباط پاسخ استفاده کنید.» این دو موضوعات متفاوتی را می‌سنجند؛ ارتباط بررسی می‌کند که آیا پاسخ به اصل سؤال پرداخته یا نه، و کاری با ارجاع‌دهی مکانی (Grounding) و مستند بودن آن ندارد.

کجای دوره آموزش داده می‌شود

درس ارزیابی RAG به سوگیری داور و شکاف ادعاهای کلان اشاره می‌کند، و درس پاسخ‌گویی به سؤالات وفاداری مبتنی بر استلزام معنایی را در محیط عملیاتی شرح می‌دهد.