سؤال مصاحبه

صفر شدن نمره‌ی پاسخ درست در ارزیابی تطابق دقیق

Exact match gives zero to a correct answer

  • سطح ۱: غربالگری
  • مفهومی
  • ۵ دقیقه

سیستم پاسخ‌گویی به سؤالات شما عبارت «June 29th, 2007» را برمی‌گرداند. پاسخ مرجع «June 29, 2007» است. یکی از هم‌تیمی‌هایتان گزارش می‌دهد که این نمونه نمره‌ی صفر گرفته است و از شما می‌خواهد کل فرایند ارزیابی را با F1 در سطح توکن (Token F1) جایگزین کنید. به او چه می‌گویید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر دو معیار برای شکل‌های متفاوتی از پاسخ مناسب‌اند. تطابق دقیق (Exact Match) کل رشته را پس از نرمال‌سازی مقایسه می‌کند؛ بنابراین حتی یک کاراکتر اضافی نمره را صفر می‌کند. F1 در سطح توکن، کیسه‌های توکن‌ها را مقایسه می‌کند؛ در نتیجه این جفت‌پاسخ حدود 75 درصد نمره می‌گیرد. ابتدا نرمال‌سازی را به تطابق دقیق اضافه کنید، سپس معیار ارزیابی را بر اساس ساختار پاسخ‌هایی که نمره‌گذاری می‌کنید برگزینید.

پاسخ کامل

هر معیار چه چیزی را مقایسه می‌کند؟

تطابق دقیق ابتدا هر دو طرف را نرمال‌سازی می‌کند و سپس برابری آن‌ها را می‌سنجد. ارزیابی تطابق دقیق در پروژه‌ی پایانی، متن را به حروف کوچک تبدیل می‌کند، فاصله‌های ابتدا و انتها را برمی‌دارد، فاصله‌های متوالی را ادغام کرده و علائم نگارشی انتهایی را در صورتی که تنها تفاوت دو طرف باشد حذف می‌کند. پس از این مرحله، «Paris»، «Paris.» و « paris » همگی پاسخی یکسان شمرده می‌شوند. اما پسوند در «29th» جزو علائم نگارشی نیست؛ بنابراین این جفت‌پاسخ همچنان رد می‌شود.

معیار F1 در سطح توکن، هر دو طرف را به توکن‌ها خرد می‌کند، اشتراک چندمجموعه‌ای (Multiset intersection) را می‌شمارد و میانگین توافقی دقت (Precision) و بازخوانی (Recall) را محاسبه می‌کند. این معیار تغییر ترتیب کلمات و بازنویسی را نادیده می‌گیرد و می‌بخشد، اما فریب همپوشانی (Overlap) واژگانی را می‌خورد: پیش‌بینی‌ای که بیشتر توکن‌هایش با مرجع مشترک است ولی یک فکت را تغییر داده، همچنان نمره‌ی بالایی می‌گیرد.

از کدام معیار استفاده کنیم؟

شکل پاسخ معیار
تاریخ، عدد، حرف، برچسب تطابق دقیق همراه با نرمال‌سازی
عبارت کوتاه با چند نگارش معتبر F1 در سطح توکن، بالاترین نمره میان همه‌ی مراجع
جمله یا پاراگراف F1 در سطح توکن به‌عنوان کف نمره، یک داور کالیبره‌شده برای سنجش معنا

چرا نباید همه‌چیز را تغییر دهیم؟

معیار F1 در سطح توکن به کلمات مشترک پاداش می‌دهد، نه به درستی پاسخ. پاسخی طولانی که صورت سؤال را تکرار می‌کند و سپس موجودیت اشتباهی را تحویل می‌دهد، می‌تواند نمره‌ای بالاتر از یک پاسخ کوتاه و درست بگیرد. تطابق دقیق را برای جاهایی نگه دارید که پاسخ قطعی (Deterministic) است. از F1 در سطح توکن جایی استفاده کنید که بازنویسی کلمات امری عادی است. از داور در جایی کمک بگیرید که فقط معنا اهمیت دارد، و البته حتماً ابتدا آن را کالیبره کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: نمره‌ی یک در F1 در سطح توکن به چه معناست؟ پاسخ مورد انتظار: پیش‌بینی و مرجع، پس از نرمال‌سازی، دقیقاً چندمجموعه (multiset) یکسانی از توکن‌ها دارند، با هر ترتیبی.
  • سطح 2: مرجع «Paris» و پیش‌بینی «Paris.» است. کدام معیار بدون نرمال‌سازی رد می‌شود؟ پاسخ مورد انتظار: تطابق دقیق؛ اما با اعمال قاعده‌ی علائم نگارشی انتهایی قبول می‌شود.
  • سطح 2: چه زمانی بالاترین نمره را از میان چند مرجع می‌گیرید؟ پاسخ مورد انتظار: وقتی یک سؤال بیش از یک رشته‌ی پاسخ معتبر دارد؛ معیارهای F1 و ROUGE-L بالاترین نمره‌ی به‌دست‌آمده میان هدف‌ها را در نظر می‌گیرند.
  • سطح 3: نمره‌ی F1 در سطح توکن بالا است اما پاسخ اشتباه است. چطور چنین اتفاقی می‌افتد؟ پاسخ مورد انتظار: همپوشانی واژگانی با محتوای نادرست، مانند ذکر یک موجودیت اشتباه درون جمله‌ای که بیشتر توکن‌هایش با مرجع مشترک است؛ نمره‌گذاری آن موجودیت را با تطابق دقیق انجام دهید یا از داور استفاده کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «تطابق دقیق ایراد دارد، پس باید حذف شود.» تطابق دقیق همراه با نرمال‌سازی، معیار درستی برای تاریخ‌ها، اعداد و حروف گزینه‌ها در سؤالات چندگزینه‌ای است؛ تنها گام مفقوده، نرمال‌سازی است.
  • «معیار F1 در سطح توکن معنا را می‌فهمد.» این معیار فقط توکن‌های مشترک را می‌شمارد؛ دو پاسخ بدون حتی یک توکن مشترک می‌توانند هر دو درست باشند، و یک پاسخ غلط می‌تواند در بیشتر توکن‌ها با مرجع مشترک باشد.
  • «یک انسان به این پاسخ نمره‌ی 100 می‌دهد، پس همیشه باید از داور استفاده کنیم.» داور هزینه دارد و نیازمند یک دور اجرای کالیبراسیون (Calibration) است؛ برای یک تاریخ، تطابق دقیقِ نرمال‌سازی‌شده هم رایگان است و هم دقیق.

کجای دوره آموزش داده می‌شود

درس فریم‌ورک‌های ارزیابی LLM با همین جفت‌پاسخ آغاز می‌شود، و پروژه‌ی پایانی پایپ‌لاین ارزیابی قواعد نرمال‌سازی را برای تطابق دقیق و F1 در سطح توکن ارائه می‌دهد.