برای ارزیابی یک قابلیت خلاصهسازی، سه راه پیش رو دارید: همپوشانی (overlap) انگرام (n-gram) با متن مرجع، استفاده از یک مدل قوی بر اساس یک شیوهنامهی نمرهدهی (rubric)، یا بررسی توسط کارشناسان انسانی. تیم شما فقط یک بعدازظهر وقت و بودجهی محدودی دارد. چطور تصمیم میگیرید از کدام روش و برای چه کاری استفاده کنید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
از هر سه روش استفاده کنید، اما هر کدام را برای وظیفهای (task) متفاوت. متریکهای همپوشانی رایگان و آنی هستند، اما فقط در 40 تا 60 درصد مواقع با نظر انسانها همخوانی دارند؛ بنابراین نقش خط مبنا (baseline) و تست اولیه (smoke test) را بازی میکنند. هزینهی مدل داور (judge model) به ازای هر 1000 نمونه چند دلار است و اگر شیوهنامهی نمرهدهیِ محکمی داشته باشد، بین 82 تا 88 درصد با انسانها همنظر است؛ پس باید ارزیابِ پیشفرض شما باشد. انسانها حقیقت پایه (ground truth) هستند؛ وقت و تخصص آنها را صرف کالیبراسیون (calibration) داور و بررسی موارد خاص (edge cases) کنید، نه برای ارزیابی تکتک commitها.
پاسخ کامل
مقایسهی روشها
| روش | سرعت | هزینه به ازای هر 1000 نمونه | میزان همخوانی با انسان | کاربرد |
|---|---|---|---|---|
| BLEU یا ROUGE | زیر یک ثانیه | صفر | 40 تا 60 درصد | خط مبنا، تستهای اولیه |
| شباهت امبدینگ (Embedding similarity) | حدود 30 ثانیه | صفر | 55 تا 70 درصد | غربالگری اولیه |
| مدل داور، ردهی کوچک | حدود 3 دقیقه | حدود 8 دلار | 82 تا 86 درصد | داور پیشفرض در CI |
| مدل داور، ردهی بزرگ | حدود 5 دقیقه | حدود 25 دلار | 85 تا 88 درصد | موارد حساس و ایمنی |
| کارشناس انسانی | حدود 2 ساعت | حدود 500 دلار | حقیقت پایه | کالیبراسیون، تعیین خطمشی |
چرا به هر سه روش نیاز داریم؟
متریکهای همپوشانی معنا را درک نمیکنند. دو پاسخ ممکن است هیچ کلمهی مشترکی نداشته باشند ولی هر دو درست باشند؛ از طرفی پاسخی با نمرهی ROUGE بالا ممکن است از نظر سیاق و متن غلط باشد. دلیل حفظ این متریکها رایگان بودن، اجرای چندثانیهای و مصونیت آنها در برابر دریفت (drift) ناشی از تغییر مدلهای ارزیاب است.
مدل داور مفاهیمی مثل مرتبط بودن، صحت، مفید بودن و ایمنی را ارزیابی میکند. این مدل ستون فقرات ارزیابی شماست، چون مقیاسپذیر است. البته پیش از آنکه نمرهاش اعتباری داشته باشد، به یک شیوهنامهی نمرهدهی با سطوح مشخص و یک مرحله کالیبراسیون در مقایسه با برچسبهای انسانی نیاز دارد.
بازبینی انسانی کند و پرهزینه است، اما تنها حقیقت پایهی واقعی به شمار میرود. وقت کارشناسان را برای کالیبره کردن نمرات خودکار و بررسی مواردی نگه دارید که مدل داور در آنها به نتیجهی قطعی نمیرسد.
برنامهی پیشنهادی برای بعدازظهر
متریکهای همپوشانی را روی همهی نمونهها اجرا کنید تا شکستهای فاحش فوراً شناسایی شوند. سپس مدل داور را روی مجموعهی طلایی (golden set) با معیارهای چهارگانه به کار بگیرید. در نهایت، از دو نفر بخواهید بخش کوچکی از نمونهها را برچسبگذاری کنند؛ خروجی این افراد را با نمرات داور بسنجید و بعد سراغ میانگین نهایی بروید.
سؤالهای تکمیلی مصاحبهگر
- سطح 1: معیار ROUGE چه چیزی را اندازه میگیرد؟ پاسخ مورد انتظار: بازخوانی (recall) انگرامهای متن مرجع که مخصوص خلاصهسازی طراحی شده است.
- سطح 2: وقتی مدل داور داریم، چرا باید متریک همپوشانی را نگه داریم؟ پاسخ مورد انتظار: چون رایگان و سریع است، پسرفتهای فاحش را در عرض چند ثانیه نشان میدهد و با تغییر مدل داور دچار تغییر نمیشود.
- سطح 2: چه زمانی استفاده از مدل داور کافی نیست؟ پاسخ مورد انتظار: در تصمیمگیریهای بسیار حساس یا مرتبط با خطمشی، و هر زمان که داور روی این وظیفه در برابر برچسبهای انسانی کالیبره نشده باشد.
- سطح 3: در درس آمده است که مدل داور باید حداقل همسطح مدلی باشد که آن را ارزیابی میکند؛ چرا؟ پاسخ مورد انتظار: داورِ ضعیف نمرات نادقیق و پر از نویز میدهد و متوجه خطاهای مدل قویتر نمیشود.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «انسانها استاندارد طلایی هستند، پس همهچیز را دستی نمرهدهی کنید.» بازبینی انسانی ساعتها زمان میبرد و حدود 500 دلار به ازای هر 1000 نمونه هزینه دارد؛ بنابراین نمیتوان آن را به ازای هر تغییر اجرا کرد.
- «متریکهای همپوشانی برای متنهای تولیدی بیفایدهاند.» این متریکها پسرفتهای فاحش را بدون هیچ هزینهای شناسایی میکنند؛ فقط معنا را تشخیص نمیدهند.
- «یک متریک را انتخاب و همان را بهینهسازی کنید.» بهینهسازیِ صرف برای صحت، به پاسخهای تلگرافی و غیرقابلاستفاده منجر میشود؛ همیشه چند معیار را ارزیابی کنید.
کجای دوره آموزش داده میشود
در درس ارزیابی و آزمون، این سه روش از نظر سرعت، هزینه و میزان همخوانی با انسان مقایسه شدهاند.