شما سه مدل کاندید را روی 50 وظیفهی (task) یکسان اجرا کردهاید و باید یک تابلوی امتیازات (leaderboard) همراه با مدل برنده منتشر کنید. میانگین امتیازها 0.78، 0.75 و 0.10 است. تیم دوم ادعا میکند مدل آنها با مدل اول مساوی (همرتبه) است. سازوکار تجمیع لیدربورد (leaderboard aggregation) و آمارههایی را که تکلیف این ادعا را روشن میکنند طراحی کنید.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
میانگین را همراه با بازهی بوتاسترپ (bootstrap interval)، نرخ برد (win rate) و یک بازهی جفتشده روی اختلاف امتیازها برای هر جفت از مدلها گزارش کنید. وظایف را با جایگذاری بازنمونهگیری (resample) کنید تا بازهی اطمینان هر میانگین به دست آید. برای بررسی ادعای تساوی، اختلاف عملکرد دو مدل اول را بهازای هر وظیفه بوتاسترپ کنید؛ اگر این بازه شامل صفر باشد، تابلوی امتیازات آنها را مساوی نشان میدهد.
پاسخ کامل
ورودی دادهها
بهازای هر مدل و هر وظیفه یک رکورد داریم: شناسهٔ مدل، شناسهٔ وظیفه، نام معیار، امتیازی در بازهٔ واحد ([0, 1]) و یک دستهبندی. تجمیعکننده هر امتیازی خارج از بازهٔ واحد را رد میکند؛ چون اگر وظیفهای امتیازی بین 0 تا 100 برگرداند، در سکوت بر میانگین مسلط میشود. نرمالسازی وظیفهٔ خودِ معیار سنجش است و باید در مراحل بالادستی انجام شود.
دو شیوهٔ رتبهبندی
- میانگین امتیاز: تیتر و شاخص اصلی است. این معیار به دادههای پرت و نامتعادل بودن وظایف حساس است.
- نرخ برد: تعداد وظایفی را میشمارد که مدل در آنها بهترین امتیاز را کسب کرده است؛ در صورت تساوی، به تمام مدلهای همامتیاز یک برد کامل تعلق میگیرد. این معیار حساسیت کمتری به دادههای پرت و مقیاس دارد، اما اطلاعات مربوط به اندازه و شدت برتری (magnitude) را نادیده میگیرد.
هر دو را گزارش کنید. بهصورت پیشفرض رتبه را بر اساس میانگین تعیین کنید و ستون نرخ برد را هم نگه دارید.
بازههای اطمینان
روی شناسهٔ وظایف بوتاسترپ بزنید: 50 وظیفه را با جایگذاری بازنمونهگیری کنید، میانگین را حساب کنید، تکرار کنید و بازهٔ صدکی را در سطح 0.05 به دست آورید. توابع کمکی سطحپایین بهطور پیشفرض از 1000 بازنمونهگیری و تجمیعکنندههای عمومی از 500 بازنمونهگیری استفاده میکنند. برای هر جفت از مدلها، اختلاف بهازای هر وظیفه را بوتاسترپ کنید و ببینید آیا بازه، صفر را رد میکند (شامل صفر نمیشود) یا خیر. این همان آزمون بررسی ادعای تساوی است، و از نوع جفتشده است چون هر دو مدل وظایف یکسانی را اجرا کردهاند.
دستهبندیها و نمایش نتایج
اگر هر وظیفه یک دستهبندی دارد، میانگین را بهتفکیک هر دسته گزارش کنید. مدلی که عملکرد کلی خوبی دارد ولی در کدنویسی ضعیف است، خودش را فقط در همین تفکیک نشان میدهد و نه جای دیگر. جدولی مرتبشده بر اساس میانگین نمایش دهید که شامل رتبه، مدل، میانگین، بازهٔ اطمینان با دو رقم اعشار، نرخ برد و تعداد وظایف باشد.
مواردی که در این روش لحاظ نشدهاند
وزندهی به وظایف؛ تمام وظایف وزن برابری دارند. و همچنین استقلال دادهها: ده مسئلهٔ ریاضی که الگوی خطای مشترکی دارند، 50 نمونهٔ مستقل بهحساب نمیآیند. بوتاسترپ سلسلهمراتبی (hierarchical bootstrap) که ابتدا خانوادههای وظایف و سپس خود وظایف را بازنمونهگیری میکند، گام تکمیلی بعدی است.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا بوتاسترپ روی وظایف انجام میشود و نه روی پیشبینیهای درون یک وظیفه؟ پاسخ مورد انتظار: واحد تکرارپذیری، وظیفه است؛ بازنمونهگیری درون یک وظیفه، واریانس بین وظایف را کمتر از واقعیت برآورد میکند.
- سطح 3: چه زمانی رتبهبندی نرخ برد با میانگین تفاوت پیدا میکند؟ پاسخ مورد انتظار: وقتی یک مدل در تعداد زیادی وظیفه با اختلافی اندک برنده میشود و در تعداد انگشتشماری وظیفه با اختلافی فاحش میبازد؛ میانگین باختهای سنگین را جریمه میکند، درحالیکه نرخ برد فقط تعداد بردها را میشمارد.
- سطح 4: وظایف در قالب خانوادههایی دستهبندی شدهاند که الگوهای خطای مشترکی دارند. چه مشکلی پیش میآید؟ پاسخ مورد انتظار: وظایف مستقل نیستند، بنابراین بازهٔ اطمینان بیش از حد باریک میشود؛ باید اول خانوادهها و سپس وظایف را بازنمونهگیری کرد.
- سطح 4: معیار یک وظیفه بهجای 0 تا 1، عددی بین 0 تا 100 برمیگرداند. تجمیعکننده باید چه کار کند؟ پاسخ مورد انتظار: اجرا را رد کند؛ مقیاسبندی خودکار و بیسروصدا باگ را پنهان میکند و معیار حتماً باید یک عدد کسری برگرداند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «دو میانگین با بازههای همپوشان (overlap) مساوی هستند.» آزمون اصلی، اختلاف جفتشده است؛ ممکن است بازههای جداگانه همپوشانی داشته باشند درحالیکه بازهٔ اختلاف شامل صفر نمیشود.
- «بر اساس نرخ برد رتبهبندی کنید، چون مقاوم است.» این معیار شدت برتری را نادیده میگیرد؛ مدلی که در تمام وظایف با اختلاف مویی برنده شود و یک وظیفه را با وضع وخیمی ببازد، بینقص به نظر میرسد. هر دو را گزارش کنید.
- «همین الان به وظایف بر اساس اهمیتشان وزن بدهید.» در این پروژه تمام وظایف یکسان شمرده میشوند؛ وزنها را فقط با دلیلی مستند اضافه کنید و جدول بدون وزن را هم نگه دارید.
کجای دوره آموزش داده میشود
در پروژهٔ جامع تجمیع لیدربورد میانگین، نرخ برد و بازههای بوتاسترپ پیادهسازی میشوند، و درس ارزیابی و تست توضیح میدهد که چرا مقایسهٔ جفتشده تکلیف نهایی را مشخص میکند.