سؤال مصاحبه

برنده تابلوی امتیازات در کدنویسی از همه بدتر است

The leaderboard winner is worst on code

  • سطح ۴: استف
  • بده‌بستان
  • ۱۰ دقیقه

یک تابلوی امتیازات (Leaderboard)، مدل‌های کاندیدای شما را بر اساس یک امتیاز تجمیعی رتبه‌بندی می‌کند و مدل برتر با اختلاف اندکی برنده می‌شود. یکی از همکاران تیم کدنویسی می‌گوید مدل برتر، بین این سه گزینه بدترین عملکرد را در کارهای آن‌ها دارد. هر دو نفر هم یک گزارش واحد را خوانده‌اند. چنین چیزی چطور ممکن است، این امتیاز تجمیعی چه چیزی را پنهان می‌کند و چطور باید گزارش را منتشر کنید تا پاسخگوی نیاز هر دو خواننده باشد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

امتیاز تجمیعی یک میانگین وزنی است؛ بنابراین یک مدل می‌تواند در مجموع برنده شود اما در یک دسته‌بندی خاص ببازد، و یک اختلاف اندک هم ممکن است درون بازه اطمینانِ میانگین قرار بگیرد. میانگین‌های تفکیک‌شده‌ی هر دسته‌بندی را همراه با بازه‌ها در کنار امتیاز تجمیعی منتشر کنید و وزن‌ها را هم بنویسید. اگر تابلوی امتیازات مقیاس‌ها را هم با هم ترکیب کند، وظیفه‌ای (Task) با دامنه‌ی تغییرات گسترده‌تر، بدون اینکه کسی متوجه شود میانگین را تحت‌الشعاع قرار می‌دهد.

پاسخ کامل

امتیاز تجمیعی از کجا می‌آید

پایپ‌لاین (Pipeline) ارزیابی، هر ارزیابی را در بازه یکه نرمال‌سازی می‌کند و یک میانگین وزنی می‌گیرد؛ ترکیب پیش‌فرض در آنجا 0.2 برای پرپلکسیتی (Perplexity)، 0.3 برای تطابق دقیق (Exact Match)، 0.3 برای F1 در سطح توکن (Token F1) و 0.2 برای داور است. تجمیع‌کننده در درس تابلوی امتیازات، میانگین ساده را روی وظایف محاسبه می‌کند. در هر دو حالت، تیتر اصلی صرفاً نتیجه‌ی یک نوع وزن‌دهی به چندین عدد است و وزن‌دهی متفاوت، برنده‌ی متفاوتی خواهد داشت.

چه چیزی پنهان می‌ماند

  • ضعف در دسته‌بندی خاص. ستون مربوط به هر دسته‌بندی، مانند ریاضی، استدلال، کدنویسی و ایمنی، تنها جایی است که نشان می‌دهد یک مدل در مجموع قوی ولی در کدنویسی ضعیف است.
  • عدم تعادل وظایف و داده‌های پرت. میانگین به هر دوی این موارد حساس است؛ نرخ برد حساسیت کمتری دارد اما بزرگی اختلاف را نشان نمی‌دهد.
  • نشت داده ناشی از مقیاس (Scale leakage). وظیفه‌ای با امتیاز بین 0 تا 100 در کنار وظایفِ بازه یکه، میانگین را کاملاً تحت‌الشعاع قرار می‌دهد؛ به همین دلیل، سیستم تجمیع‌کننده امتیازهای خارج از بازه یکه را نمی‌پذیرد.
  • حاشیه اختلاف. اختلاف ناچیز میان دو مدل برتر هیچ معنایی ندارد، مگر اینکه بوت‌استرپ (Bootstrap) زوجی روی اختلاف تک‌تک وظایف آن‌ها، عدد صفر را رد کند.

درس بافت طولانی (Long context) همین قاعده را از زاویه‌ای دیگر بیان می‌کند: دقت را به تفکیک هر دسته‌بندی گزارش کنید؛ چرا که امتیازهای تجمیعی تفاوت‌های بزرگ در سطح وظیفه را پنهان می‌کنند.

نحوه انتشار گزارش

سه لایه در یک صفحه: امتیاز تجمیعی در بالا همراه با وزن‌های مشخص‌شده. در زیر آن، تمام ارقام مربوط به هر ارزیابی یا هر دسته‌بندی به همراه بازه‌ها و نرخ برد. پایین‌تر از آن، رکوردهای مربوط به هر نمونه که ارزیاب برای ردیابی پس‌رفت (Regression) به آن‌ها نیاز دارد. بازه اختلاف زوجی را برای دو مدل برتر اضافه کنید، و اگر یک دسته‌بندی برای محصول اهمیت حیاتی دارد، یک قاعده‌ی وتو یا مسدودسازی برای آن دسته‌بندی در نظر بگیرید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: تیم کدنویسی می‌خواهد ضریب دسته‌بندی کدنویسی دو برابر شود. آیا تیتر اصلی را تغییر می‌دهید؟ پاسخ مورد انتظار: خیر؛ جدول بدون وزن را حفظ کنید و در صورت توافق، نمای وزن‌دار دومی را با ذکر وزن‌ها اضافه کنید؛ زیرا پروژه‌ی پایانی، وزن‌دهی را به عنوان یک هوک صریح در نظر می‌گیرد.
  • سطح 3: اختلاف میانگین دو مدل برتر کمتر از بازه‌های آن‌هاست. تابلوی امتیازات چه چیزی را نشان می‌دهد؟ پاسخ مورد انتظار: بوت‌استرپ زوجی روی اختلاف وظایف؛ اگر شامل صفر باشد، هر دو مدل مساوی هستند و ترتیب رتبه‌ها مثل شیر یا خط است.
  • سطح 4: کدام تغییر واحد در گزارش مانع از این بحث می‌شد؟ پاسخ مورد انتظار: درج میانگین‌های تفکیک‌شده به ازای هر دسته‌بندی به همراه بازه‌ها زیر تیتر اصلی، تا ضعف در کدنویسی در همان صفحه مشخص باشد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «امتیاز تجمیعی یک پاسخ عینی و بی‌طرفانه است.» این امتیاز فقط پاسخِ یک شیوه‌ی وزن‌دهی خاص است؛ وزن‌دهی دیگر، برنده‌ی دیگری دارد.
  • «امتیاز تجمیعی را حذف کنید و فقط دسته‌بندی‌ها را نشان دهید.» تیتر اصلی برای این وجود دارد که افراد بتوانند تصمیم بگیرند؛ آن را نگه دارید، وزن‌هایش را مشخص کنید و دسته‌بندی‌ها را زیر آن بیاورید.
  • «به جای آن، رتبه‌بندی را بر اساس نرخ برد انجام دهید.» نرخ برد، بزرگی و شدت اختلاف را پنهان می‌کند؛ هر دو مورد را به همراه بازه زوجی منتشر کنید.

کجای دوره آموزش داده می‌شود

پروژه‌ی پایانی پایپ‌لاین ارزیابی سه لایه‌ی گزارش و تجمیع وزنی را نشان می‌دهد، پروژه‌ی پایانی تجمیع لیدربورد (Leaderboard Aggregation) دسته‌بندی‌ها و بازه‌ها را اضافه می‌کند، و درس ارزیابی بافت طولانی هشدار می‌دهد که امتیاز تجمیعی عملکرد هر نوع وظیفه را پنهان می‌کند.