سؤال مصاحبه

اختلاف دو نمره‌ای در یک بنچمارک اشباع‌شده

Two points on a saturated benchmark

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

فروشنده‌ای به شما نشان می‌دهد که مدل جدیدش در یک بنچمارک چندگزینه‌ای عمومی نمره‌ی 89 درصد گرفته است، در حالی که مدل فعلی شما نمره‌ی 87 دارد. آن‌ها ادعا می‌کنند این اختلاف ثابت می‌کند مدل جدید باهوش‌تر است. چرا قانع نمی‌شوید و در عوض چه درخواستی مطرح می‌کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

وقتی تمام مدل‌های پیشرو (Frontier Models) در بازه‌ای باریک نزدیک به سقف جدول قرار می‌گیرند، بنچمارک‌های عمومی دیگر توان تفکیک مدل‌ها را از دست می‌دهند. سه عامل باعث این وضعیت می‌شود: داده‌های آموزشی حاویِ خودِ آزمون، ترکیب‌های آموزشی تنظیم‌شده متناسب با قالب آزمون، و اشباع (Saturation)؛ وضعیتی که در آن پرسش‌های باقی‌مانده مبهم‌اند یا برچسب‌گذاری اشتباه دارند. اختلاف دو نمره‌ای در این بازه یا نویز است یا حاصل حفظ‌کردن. در عوض، بخواهید مدل را روی وظیفه (Task) مد نظرتان و با داده‌های خودتان اجرا کنند.

پاسخ کامل

فشرده شدن نمرات

بنچمارکی که در این درس بررسی شد، 15,908 پرسش در 57 موضوع مختلف دارد. ظرف سه سال، نمرات مدل‌های پیشرو در یک بازه‌ی محدود 3 نمره‌ای در صدر جدول فشرده شدند. مدلی که در این بنچمارک نمره‌ی 88.7 درصد کسب کرده بود، حتی نمی‌توانست حروف یک کلمه‌ی کوتاه را بشمارد؛ وظیفه‌ای که به هیچ دانشی درباره‌ی جهان نیاز ندارد. این نمره بنچمارک را می‌سنجد، نه توان انجام کار واقعی را.

سه سازوکار اصلی

  1. آلودگی داده‌ها (Data Contamination): پیکره‌های متنی آموزش از وب جمع‌آوری می‌شوند و پرسش‌های بنچمارک هم در وب قرار دارند. برای اینکه پاسخ‌ها سر از داده‌های آموزشی درآورند نیازی به تقلب کسی نیست.
  2. آموزش متناسب با آزمون (Teaching to the test): آزمایشگاه‌ها ترکیب داده‌های آموزشی را متناسب با قالب آزمون تنظیم می‌کنند. در یک آزمون چهارگزینه‌ای، مدلی که توزیع گزینه‌ها را یاد بگیرد، بدون دانستن پاسخ هم نمره‌ی بیشتری می‌گیرد.
  3. اشباع: وقتی همه‌ی مدل‌ها نمره‌ای بین 85 تا 90 درصد می‌گیرند، آن 10 تا 15 درصد پرسشِ باقی‌مانده اغلب مبهم، دارای برچسب‌گذاری اشتباه یا دور از ذهن هستند. ارتقا از 87 به 89 می‌تواند صرفاً به معنای حفظ‌کردن دو پرسش بیشتر باشد.

چه درخواستی مطرح کنیم؟

  • یک ارزیابی سفارشی روی وظیفه‌ی خودتان: حداقل 50 نمونه برای یک پیش‌نمونه (Prototype) و 200 نمونه یا بیشتر برای تصمیم‌گیری جهت ورود به محیط عملیاتی (Production)، همراه با حالت‌های خاص و ورودی‌های خصمانه.
  • ارائه‌ی نتایج به تفکیک دسته‌بندی‌ها، نه صرفاً یک عدد میانگین و تجمیعی.
  • بررسی آلودگی داده‌ها (Contamination Check): جست‌وجوی پرسش‌های ارزیابی و بازنویسی‌های بسیار نزدیک آن‌ها در پیکره متنی آموزش.

بنچمارک‌ها هنوز برای غربالگری و انتخاب اولیه‌ی مدل‌ها مفیدند، اما تصمیم نهایی به ارزیابی سفارشی خودتان نیاز دارد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: سه دسته‌بندی اصلی در ارزیابی را نام ببرید. پاسخ مورد انتظار: بنچمارک‌های عمومی، ارزیابی‌های سفارشی روی داده‌های خودتان، و ارزیابی‌های انسانی.
  • سطح 2: اگر مدلی پاسخ را نداند، قالب آزمون چگونه باز هم به آن کمک می‌کند؟ پاسخ مورد انتظار: آزمون چهارگزینه‌ای است و توزیع پاسخ‌ها تقریباً یکنواخت است؛ بنابراین صرف شناخت قالب آزمون، نمره را بالا می‌برد.
  • سطح 2: بنچمارک‌ها هنوز به چه دردی می‌خورند؟ پاسخ مورد انتظار: انتخاب اولیه‌ی مدل پیش از ساخت ارزیابی سفارشی.
  • سطح 3: چطور بررسی می‌کنید که داده‌های یک بنچمارک به مجموعه‌ی آموزش مدل راه یافته‌اند یا نه؟ پاسخ مورد انتظار: پیکره متنی آموزش را برای یافتن پرسش‌های ارزیابی و بازنویسی‌های نزدیک آن‌ها جست‌وجو کرده و سهم مواردِ یافته‌شده را گزارش می‌کنیم.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اختلاف دو نمره‌ای در یک بنچمارک استاندارد، تفاوت واقعی و معناداری است.» در صدر یک بنچمارک اشباع‌شده، پرسش‌های باقی‌مانده معمولاً مبهم یا دور از ذهن هستند؛ بنابراین دو نمره می‌تواند صرفاً ناشی از حفظ‌کردن دو پرسش بیشتر باشد.
  • «آزمایشگاه‌ها با آموزش مدل روی سوالات آزمون تقلب می‌کنند.» خزش داده‌ها در مقیاس وب بدون هیچ نیت (Intent) قبلی پرسش‌ها را وارد داده‌ها می‌کند؛ پیامد کار یکسان است، اما راهکار این مشکل بررسی آلودگی داده‌ها است، نه اتهام زدن.
  • «به جای آن از بنچمارک کدنویسی استفاده کنید.» یک بنچمارک تکمیل تابع با 164 مسئله، فقط تولید تابع مجزا را پوشش می‌دهد و هیچ دیدی درباره‌ی اشکال‌زدایی یا بازآفرینی کد در چندین فایل ارائه نمی‌کند.

کجای دوره آموزش داده می‌شود

در درس ارزیابی در مرحله‌ی LLMs from scratch، مفاهیم آلودگی داده‌ها، آموزش متناسب با آزمون و اشباع توضیح داده شده‌اند.