سؤال مصاحبه

مقدار ECE برابر با 0.02 روی تعداد پیش‌بینی بسیار کم

An ECE of 0.02 on too few predictions

  • سطح ۳: ارشد
  • مفهومی
  • ۹ دقیقه

ارزیابی چندگزینه‌ای شما، خطای کالیبراسیون مورد انتظار (Expected Calibration Error یا ECE) را روی 100 پیش‌بینی با 10 بازه (bin)، برابر با 0.02 گزارش می‌کند و تیم، مدل را «به‌خوبی کالیبره‌شده» می‌داند. این عدد چه چیزی را می‌سنجد، چه چیزی را نادیده می‌گیرد و چه معیار دومی را باید به آن اضافه کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

معیار ECE پیش‌بینی‌ها را بر اساس میزان اطمینان (confidence) دسته‌بندی می‌کند و میانگین فاصله‌ی بین اطمینان و دقت را با وزن‌دهی بر اساس اندازه‌ی هر بازه به دست می‌آورد. با 10 بازه و 100 پیش‌بینی، نمی‌توان 0.02 را از نویز تشخیص داد؛ به‌علاوه، درون یک بازه ممکن است پیش‌بینی‌های بیش‌از‌حد مطمئن (overconfident) و کم‌اطمینان (underconfident) یکدیگر را در میانگین بازه خنثی کنند. امتیاز برایر (Brier score) — یعنی میانگین مربعات خطا بین اطمینان و نتیجه‌ی واقعی به ازای هر پیش‌بینی — را اضافه کنید و گزارش دهید چند بازه پر شده‌اند.

پاسخ کامل

ECE چه چیزی را محاسبه می‌کند

پیش‌بینی‌ها را بر اساس میزان اطمینان در بازه‌هایی با عرض یکسان مرتب کنید؛ طبق عرف انتشار مقالات 10 بازه، یا برای مقایسه‌ها 15 بازه در نظر گرفته می‌شود. در هر بازه، میانگین اطمینان و میانگین دقت را به دست آورید. ECE برابر است با مجموع قدر مطلق فاصله‌ی این دو در تمام بازه‌ها، با وزن‌دهیِ سهم هر بازه از کل پیش‌بینی‌ها. پروژه‌ی پایانی (capstone) تعداد بازه‌های پرشده را همراه با این مقدار برمی‌گرداند تا اجراکننده (runner) بتواند در صورت کم بودن داده‌ها، از گزارش یک عددِ تنها خودداری کند.

چه چیزی را نادیده می‌گیرد

معیار ECE به تعداد بازه‌ها و اندازه‌ی نمونه حساس است و سوگیری (bias) دارد. قدر مطلق فاصله‌ها در هر بازه مانع از خنثی شدن فاصله‌ها در بازه‌های مختلف می‌شود، اما میانگین‌های درون هر بازه می‌توانند پراکندگی را پنهان کنند: پیش‌بینی‌های بیش‌ازحد مطمئن و کم‌اطمینان در همان بازه اثر یکدیگر را خنثی می‌کنند؛ بنابراین ECE پایین ممکن است کالیبراسیون ضعیف را در سطح پیش‌بینی‌های تکی بپوشاند.

امتیاز برایر چه چیزی اضافه می‌کند

امتیاز برایر میانگین مربعات اختلاف بین اطمینان و نتیجه به ازای هر پیش‌بینی است. این معیار هر خطایی را مستقیماً جریمه می‌کند، بنابراین خنثی‌سازی ناممکن است. این امتیاز به قابلیت اطمینان (reliability)، تفکیک‌پذیری (resolution) و عدم قطعیت (uncertainty) تجزیه می‌شود. پیش‌بینی‌کننده‌ای که برای همه‌چیز احتمال 0.5 اعلام کند، امتیاز برایر دقیقاً 0.25 و ECE برابری با فاصله‌ی بین 0.5 و دقت خواهد داشت.

نمودار

میانگین اطمینان، میانگین دقت و تعداد هر بازه را نگه دارید. با رسم نمودار، خط قطری نشان‌دهنده‌ی کالیبراسیون کامل است. این داده‌ها به خواننده اجازه می‌دهند بعداً نسخه‌های تطبیقی ECE را هم محاسبه کند.

میزان اطمینان از کجا می‌آید

برای چندگزینه‌ای، از اعمال سافت‌مکس (Softmax) روی لگاریتم درست‌نمایی گزینه‌ها به دست می‌آید. برای متن آزاد، از احتمالِ بیان‌شده توسط مدل یا تابع نماییِ میانگین لگاریتم درست‌نمایی آن استفاده می‌شود. بستر آزمایشی (harness) به ازای هر پیش‌بینی، هر عددی در بازه‌ی 0 تا 1 را می‌پذیرد؛ اینکه این عدد از کجا بیاید کار تطبیق‌دهنده (Adapter) است. مدلی که اطمینان بالایی اعلام کند اما بسیار کمتر درست بگوید، این شکاف را در همان بازه نشان خواهد داد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: پیش‌بینی‌کننده‌ای برای هر مورد احتمال 0.5 اعلام می‌کند. امتیاز برایر آن چقدر است و چرا؟ پاسخ مورد انتظار: دقیقاً 0.25؛ زیرا فرقی نمی‌کند نتیجه صفر باشد یا یک، مجذور خطا در هر حالت 0.25 است.
  • سطح 3: چرا ممکن است ECE پایین باشد اما کالیبراسیون بد باشد؟ پاسخ مورد انتظار: درون یک بازه، پیش‌بینی‌های بیش‌از‌حد مطمئن و کم‌اطمینان در میانگین بازه یکدیگر را خنثی می‌کنند؛ قدر مطلق فاصله فقط جلوی خنثی‌سازی بین بازه‌های مختلف را می‌گیرد، در حالی که امتیاز برایر خطای هر پیش‌بینی را جریمه می‌کند.
  • سطح 4: چرا کالیبراسیون گزارشی برای کل مدل است و معیاری برای هر وظیفه (Task) نیست؟ پاسخ مورد انتظار: اجراکننده جفت‌های اطمینان و درستی را در سراسر ارزیابی جمع‌آوری کرده و یک بار آن را محاسبه می‌کند؛ اگر قرار بود به ازای هر وظیفه محاسبه شود، بازه‌ها تقریباً خالی می‌ماندند.
  • سطح 4: یک مدل دقت بالاتر اما امتیاز برایر بدتری نسبت به رقیب خود دارد. کدام را مستقر می‌کنید؟ پاسخ مورد انتظار: پروژه‌ی پایانی پیشنهاد می‌کند مدلی با کالیبراسیون بهتر انتخاب شود، زیرا عدم قطعیت خود را با قابلیت اطمینان گزارش می‌دهد؛ نتیجه را با نمودار قابلیت اطمینان (Reliability Diagram) تأیید کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ECE برابر با 0.02 یعنی مدل کالیبره است.» روی 100 پیش‌بینی با 10 بازه، این مقدار درون نویز قرار دارد؛ تعداد بازه‌های پرشده را گزارش دهید و نمونه‌های بیشتری جمع‌آوری کنید.
  • «دقت کافی است.» دو مدل با دقت یکسان می‌توانند از نظر معنادار بودنِ اطمینان‌شان با هم تفاوت داشته باشند؛ پروژه‌ی پایانی کالیبراسیون را نادیده‌گرفته‌شده‌ترین محور ارزیابی می‌نامد.
  • «امتیاز برایر جایگزین ECE می‌شود.» آن‌ها به سوالات متفاوتی پاسخ می‌دهند؛ ECE شکل و ساختار هر بازه را نشان می‌دهد و امتیاز برایر خطای هر پیش‌بینی را. هر دو را همراه با داده‌های نمودار گزارش کنید.

کجای دوره آموزش داده می‌شود

پروژه‌ی پایانی پرپلکسیتی و کالیبراسیون مفاهیم ECE، امتیاز برایر و نمودار قابلیت اطمینان را تعریف کرده و نکات مربوط به حجم نمونه را توضیح می‌دهد.