سؤال مصاحبه

امتیاز BLEU در یک مقاله 28.3 و در مقاله‌ای دیگر 0.283 است

BLEU 28.3 in one paper and 0.283 in another

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

دو مقاله امتیاز BLEU را روی یک مجموعه‌ی آزمون یکسان گزارش کرده‌اند؛ یکی عدد 28.3 را نوشته و دیگری 0.283. تیم سومی هم روی همان خروجی‌ها، امتیاز ROUGE-L را 10 نمره پایین‌تر از شما گزارش می‌دهد. مدیرتان می‌پرسد کدام عدد درست است. چه پاسخی می‌دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

همه‌ی این اعداد بسته به پیکربندی سنجه‌ها (metric setup) می‌توانند درست باشند. BLEU مقداری کسری است و یکی از مقاله‌ها آن را در 100 ضرب کرده است. امتیاز ROUGE-L هم اگر یک کتابخانه متن را به حروف کوچک تبدیل کند و دیگری نکند، یا توکن‌سازی متفاوتی داشته باشند، 10 نمره تغییر می‌کند. قبل از مقایسه، تنظیمات سنجه را بخوانید؛ در بستر آزمایشی (harness) خودتان هم یک توکن‌ساز و یک قاعده‌ی هموارسازی (smoothing) مشخص را تعیین و آن‌ها را با تست‌ها قفل کنید.

پاسخ کامل

مقیاس عددی

این دو عدد BLEU در واقع یک امتیاز واحد روی دو مقیاس مختلف هستند. چیزی برای عیب‌یابی وجود ندارد؛ فقط کافی است کنار هر عددی که منتشر می‌کنید مقیاس آن را هم بنویسید.

توکن‌ساز

پروژه‌ی پایانی برای تمام سنجه‌ها از یک توکن‌ساز مشخص استفاده می‌کند: متن را با حروف کوچک درمی‌آورد و دنباله‌های پیوسته از نویسه‌های کلمه‌ای را نگه می‌دارد. به این ترتیب، همه‌ی سنجه‌ها توکن‌های یکسانی را می‌خوانند. توکن‌ساز را عوض کنید تا عملاً بنچ‌مارک دیگری را اجرا کرده باشید. اختلاف 10 نمره‌ای در ROUGE-L دقیقاً نتیجه‌ی همین تغییر است؛ وقتی یک طرف بزرگی و کوچکی حروف را حفظ می‌کند و طرف دیگر آن را نادیده می‌گیرد.

درون این عدد چه می‌گذرد؟

  • BLEU-4 دقت n-gram اصلاح‌شده (modified n-gram precision) را برای n از 1 تا 4 محاسبه می‌کند. شمارش هر n-gram در خروجیِ کاندید، روی بیشترین تعداد تکرار همان عبارت در هر کدام از مراجع محدود (clip) می‌شود تا کاندید نتواند صرفاً با تکرار یک عبارت امتیاز بگیرد. جریمه‌ی کوتاهی طول (brevity penalty) امتیاز کاندیدهای کوتاه‌تر از مرجع را پایین می‌آورد. هموارسازی با افزودن یک واحد به شمارش‌ها (add-one smoothing) هم مانع از محاسبه‌ی لگاریتم صفر در صورت عدم تطابق 4-gram می‌شود و روی کاندیدهای طولانی نیز تفاوت چندانی با مقدار بدون هموارسازی ایجاد نمی‌کند.
  • ROUGE-L طولانی‌ترین زیردنباله‌ی مشترک (longest common subsequence) را پیدا می‌کند. بازخوانی (recall) برابر است با طول زیردنباله تقسیم بر طول مرجع، دقت (precision) همان مقدار است تقسیم بر طول کاندید، و امتیاز نهایی F1 آن‌هاست.

در بستر آزمایشی خود چه کنیم؟

سنجه‌ها را خودتان بنویسید تا همکارانتان بتوانند روند آن را بازبینی کنند. آن‌ها را با بردارهای مرجع برگرفته از مثال‌های حل‌شده تثبیت کنید، نه با یک کتابخانه‌ی متفرقه. حالت‌های حدی را تست کنید: خروجی خالی، مرجع خالی، نبود هیچ توکن مشترک، تطابق دقیق (exact match) و عبارت تکراری.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا محدودسازی شمارش (clipping) در BLEU اهمیت دارد؟ پاسخ مورد انتظار: کاندیدی که یک عبارت تطبیق‌یافته را مدام تکرار کند، دقت n-gram را به‌شکل کاذب بالا می‌برد؛ محدودسازی سقف شمارش را روی تعداد تکرار آن در مرجع می‌بندد.
  • سطح 2: جریمه‌ی کوتاهی طول چه کاری انجام می‌دهد؟ پاسخ مورد انتظار: امتیاز خروجی کاندیدی را که از مرجع کوتاه‌تر است کم می‌کند تا یک خروجی کوتاه نتواند صرفاً با تکیه بر دقت بالا امتیاز خوبی بگیرد.
  • سطح 3: چرا به شمارش n-gramها یک واحد اضافه می‌کنیم؟ پاسخ مورد انتظار: در جفتی که هیچ 4-gram مشترکی ندارد، لگاریتم صفر شده و امتیاز کل صفر می‌شود؛ هموارسازی میانگین هندسی را متناهی نگه می‌دارد و روی کاندیدهای طولانی هم تغییر محسوسی ایجاد نمی‌کند.
  • سطح 3: چگونه اعداد سنجه‌های خود را در طول یک سال اجرا قابل مقایسه نگه می‌دارید؟ پاسخ مورد انتظار: توکن‌ساز و روش هموارسازی را در کد ثابت کنید، بردارهای مرجع را در تست‌ها نگه دارید و نسخه‌ی سنجه را در کنار هر تابلوی امتیازات (leaderboard) ثبت کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «از همان کتابخانه‌ای استفاده کن که بقیه استفاده می‌کنند.» دو کتابخانه‌ی مختلف روی خروجی‌های یکسان 10 نمره اختلاف دارند؛ باز هم باید بدانید هر کدام از چه توکن‌ساز و چه حالتی برای حروف بزرگ و کوچک استفاده کرده‌اند.
  • «BLEU قدیمی است، کنارش بگذارید.» هنوز پایه‌ی بیشتر اعداد و ارقام منتشرشده همین سنجه است؛ اول خواندن و تحلیل آن را یاد بگیرید، بعد سنجه‌های مبتنی بر مدل را روی آن سوار کنید.
  • «تبدیل به حروف کوچک نمی‌تواند امتیاز را 10 نمره تغییر دهد.» پروژه‌ی پایانی نشان می‌دهد که در ROUGE-L بین دو کتابخانه دقیقاً همین اتفاق می‌افتد؛ زیرا تغییر بزرگی و کوچکی حروف، توکن‌های منطبق را عوض می‌کند.

کجای دوره آموزش داده می‌شود

در پروژه‌ی پایانی سنجه‌های کلاسیک توضیح داده شده است که چرا توکن‌ساز مانند یک قرارداد است و محاسبات BLEU و ROUGE-L چگونه انجام می‌شوند.