سؤال مصاحبه

مدل عدد 0.9 را اعلام می‌کند اما از هر ده بار، فقط شش بار درست می‌گوید

The model says 0.9 and is right six times in ten

  • سطح ۲: میانی
  • تخمین
  • ۷ دقیقه

در ارزیابی امتناع مدل (refusal evaluation)، از مدل می‌خواهید همراه با هر پاسخ، میزان اطمینانش را هم اعلام کند. در دسته‌ای که مدل عدد 0.9 را اعلام کرده، فقط در 60 درصد پرامپت‌ها درست عمل کرده است. خطای کالیبراسیونی را که این دسته در کل خطا ایجاد می‌کند تخمین بزنید، نحوه‌ی محاسبه‌ی عدد نهایی را توضیح دهید و بگویید چرا این معیار از دو نرخ امتناع مستقل است.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

شکاف خطا در این دسته حدود 0.3 است: اطمینان اعلام‌شده‌ی 0.9 در برابر نرخ مشاهده‌شده‌ی 60 درصد. برای محاسبه‌ی کل «خطای کالیبراسیون مورد انتظار» (Expected Calibration Error یا ECE)، پرامپت‌ها بر اساس اطمینان اعلام‌شده به دسته‌های ده‌درصدی (tenths) تقسیم می‌شوند، سپس میانگین اطمینان اعلام‌شده و دقت در هر دسته محاسبه می‌شود و در نهایت، میانگین وزنیِ قدرمطلق این اختلاف‌ها بر اساس اندازه‌ی هر دسته به دست می‌آید. این معیار می‌سنجد که آیا مدل می‌داند چه زمانی درست می‌گوید یا نه؛ این پرسش با این موضوع که آیا مدل در برابر پرامپت‌های درست امتناع کرده یا نه، کاملاً فرق دارد.

پاسخ کامل

عدد اطمینان از کجا می‌آید؟

بستر آزمایشی (harness)، یک توکن نشان‌دهنده‌ی اطمینان را از خروجی مدل استخراج می‌کند. ماکِ اسکریپت‌شده در هر پاسخ یکی از این توکن‌ها را صادر می‌کند و از مدل واقعی هم خواسته می‌شود چنین عددی را اعلام کند. بستر آزمایشی این عدد را می‌خواند و کاری به نحوه‌ی تولید آن ندارد.

محاسبه‌ی عدد نهایی

  1. هر پرامپت را بر اساس اطمینان اعلام‌شده‌اش در دسته‌های ده‌درصدی قرار دهید.
  2. در هر دسته، میانگین اطمینان‌های اعلام‌شده و میزان دقت را حساب کنید: یعنی سهم پرامپت‌هایی که تصمیم‌گیری در آن‌ها درست بوده است؛ امتناع در برابر محتوای ناامن و پاسخ‌دهی به محتوای امن.
  3. قدرمطلق اختلاف بین میانگین اطمینانِ دسته و دقت آن را به دست آورید.
  4. میانگین اختلاف‌ها را با وزن‌دهی بر اساس تعداد پرامپت‌های هر دسته محاسبه کنید.

دسته‌ای که عدد 0.9 را اعلام می‌کند و دقت 60 درصد می‌گیرد، شکافی در حدود 0.3 ضرب‌در سهمش از کل پرامپت‌ها را وارد محاسبه می‌کند.

چرا این معیار مستقل است؟

امتناع کمتر از حد (under refusal) و امتناع بیش از حد (over refusal) خودِ تصمیم را توصیف می‌کنند. در مقابل، کالیبراسیون (calibration) میزان تطابق اطمینان اعلام‌شده‌ی مدل با نرخ اصابت (hit rate) آن را نشان می‌دهد. ممکن است مدلی بی‌نقص تصمیم بگیرد اما کالیبراسیون بسیار بدی داشته باشد، یا برعکس، تصمیم‌های ضعیفی بگیرد در حالی که میزان اطمینانش کاملاً دقت واقعی آن را دنبال می‌کند. به همین دلیل در گزارش، این سه عدد در کنار هم نشان داده می‌شوند.

چطور از آن استفاده کنیم؟

دسته‌هایی با اطمینان کاذب (overconfident)، اولین جاهایی هستند که باید بررسی کنید. هنگام تنظیم یک سیاست، منحنی اتکاپذیری (reliability curve) به ازای هر سیاست — که اطمینان را در برابر دقت در هر دسته نشان می‌دهد — مشخص می‌کند کدام دسته‌ها جابه‌جا شده‌اند. وقتی کل پرامپت‌ها فقط چند ده مورد باشد، دسته‌ها کم‌حجم و خلوت خواهند بود؛ بنابراین تعداد پرامپت‌های هر دسته را هم منتشر کنید و تا زمان بزرگ‌تر شدن مجموعه داده، با این عدد صرفاً مثل یک تست دود (smoke test) برخورد کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا اختلاف‌ها را بر اساس اندازه‌ی دسته‌ها وزن‌دهی می‌کنیم؟ انتظار می‌رود: دسته‌ای با دو پرامپت نباید وزنی برابر با دسته‌ای با بیست پرامپت داشته باشد؛ وزن‌دهی باعث می‌شود عدد نهایی نشان دهد پیش‌بینی‌ها بیشتر در کجا متمرکز شده‌اند.
  • سطح 2: مدل در برابر تمام پرامپت‌های ناامن امتناع می‌کند و به تمام پرامپت‌های امن پاسخ می‌دهد، اما خطای کالیبراسیون آن بالاست. آیا چنین چیزی ممکن است؟ انتظار می‌رود: بله؛ کالیبراسیون میزان تطابق اطمینان اعلام‌شده با دقت را می‌سنجد، نه خودِ تصمیم را.
  • سطح 3: مجموعه‌ی پرامپت‌ها کوچک است. چقدر می‌توان به عدد مربوط به هر دسته اعتماد کرد؟ انتظار می‌رود: خیلی کم؛ در بیشتر دسته‌ها فقط چند پرامپت قرار دارد، پس تعداد نمونه‌ها را گزارش کنید و تا زمان بزرگ‌تر شدن مجموعه، به چشم یک تست دود به این عدد نگاه کنید.
  • سطح 3: هنگام تنظیم یک سیاست، کدام نمودار جایگزین این تک‌عدد می‌شود؟ انتظار می‌رود: منحنی اتکاپذیری به ازای هر سیاست، یعنی رسم اطمینان در برابر دقت برای هر دسته، که دسته‌های دارای اطمینان کاذب را نشان می‌دهد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «خطای کالیبراسیون 0.3 یعنی مدل در 30 درصد مواقع اشتباه می‌کند.» خیر، یعنی در آن دسته، میان اطمینان اعلام‌شده و دقت مشاهده‌شده حدود 0.3 اختلاف وجود دارد؛ نرخ خطا یک عدد کاملاً جداگانه است.
  • «مدلی که خوب کالیبره شده باشد، درست امتناع می‌کند.» کالیبراسیون نشان می‌دهد که مدل می‌داند چه زمانی درست می‌گوید؛ ممکن است مدلی کاملاً کالیبره باشد و در عین حال به پرامپت‌های ناامن پاسخ دهد.
  • «کافی است از مدل درصد اطمینان بخواهید تا عدد معناداری به دست آید.» اطمینان اعلام‌شده صرفاً یک ادعاست؛ فرآیند ارزیابی اصلاً برای این است که این ادعا را در برابر دقت بسنجد.

کجای دوره آموزش داده می‌شود

در پروژه‌ی پایانی ارزیابی امتناع مدل، خطای کالیبراسیون مورد انتظار بر اساس اطمینان اعلام‌شده و در کنار نرخ‌های امتناع محاسبه می‌شود.