سؤال مصاحبه

برتری چهار درصدی روی 50 نمونه

A four point win on fifty cases

  • سطح ۲: میانی
  • تخمین
  • ۸ دقیقه

تغییر پرامپت روی مجموعه‌ی طلایی (golden set) شامل 50 نمونه، به دقت 90 درصد می‌رسد و خط مبنا (baseline) روی همین مجموعه امتیاز 86 گرفته بود. طراح پرامپت می‌خواهد این نتیجه را به‌عنوان برتری 4 درصدی به محیط عملیاتی (production) بفرستد. چقدر می‌توانید به این تصمیم مطمئن باشید، و برای چنین قضاوتی به چه حجم نمونه‌ای نیاز دارید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

با 50 نمونه و دقت مشاهده‌شده‌ی 90 درصد، بازه‌ی اطمینان 95 درصد بین 78 تا 97 درصد قرار می‌گیرد؛ یعنی دامنه‌ای 19 درصدی. اختلاف 4 درصدی کاملاً درون این دامنه می‌افتد، بنابراین این برتری را نمی‌توان از نویز تفکیک کرد. برای تشخیص تغییر 5 درصدی به حدود 200 نمونه نیاز دارید، و زمانی که دو سیستم عملکرد نزدیکی به هم دارند، این عدد به 500 نمونه یا بیشتر می‌رسد.

پاسخ کامل

جدول

تعداد نمونه‌ها دقت مشاهده‌شده پهنای بازه‌ی 95 درصد توانایی تشخیص افت 5 درصدی
50 90 درصد 19 درصد خیر
100 90 درصد 12 درصد به‌زحمت
200 90 درصد 9 درصد بله
500 90 درصد 5 درصد با اطمینان
1000 90 درصد 3 درصد دقیقاً

پهنای بازه تقریباً با جذر اندازه‌ی نمونه کاهش می‌یابد؛ یعنی 4 برابر کردن تعداد نمونه‌ها، پهنای بازه را حدوداً نصف می‌کند.

بازه‌ی اطمینان

این درس برای نرخ قبولی (pass rate) از بازه‌ی ویلسون (Wilson interval) استفاده می‌کند که روی نمونه‌های کوچک و نسبت‌های نزدیک به صفر یا یک هم معتبر می‌ماند. بازه‌ی نرمال در هر دوی این حالت‌ها درست کار نمی‌کند؛ دقیقاً همان نقطه‌هایی که درباره‌ی انتشار نسخه‌ها تصمیم می‌گیریم.

حالت جفت‌شده

هر دو نسخه روی همان 50 نمونه‌ی یکسان اجرا شده‌اند، بنابراین آن‌ها را به‌صورت جفت‌شده مقایسه کنید. یک آزمون جفت‌شده یا بوت‌استرپ جفت‌شده (paired bootstrap) روی اختلاف تک‌تک نمونه‌ها، بازه‌ی جمع‌وجورتری نسبت به دو بازه‌ی مجزا می‌دهد. این روش باز هم اختلاف 4 درصدی روی 50 نمونه را معنادار نمی‌کند، اما وقتی مجموعه به‌اندازه‌ی کافی بزرگ باشد، آزمون درست همین است.

چطور مجموعه را به 200 نمونه برسانیم

این درس مجموعه را به سه بخش تقسیم می‌کند: یک هسته‌ی طلایی از 50 تا 100 نمونه‌ی گلچین‌شده، 20 تا 50 نمونه‌ی تخاصمی (adversarial)، و 100 تا 200 نمونه از ترافیک واقعی. مجموعه‌ی خود را نسخه‌بندی کنید و دو اجرا را فقط روی نسخه‌ای یکسان با هم بسنجید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا با افزودن نمونه، بازه‌ی اطمینان به‌کندی جمع می‌شود؟ پاسخ مورد انتظار: پهنای بازه با جذر اندازه‌ی نمونه کاهش می‌یابد، بنابراین 4 برابر کردن نمونه‌ها پهنا را نصف می‌کند.
  • سطح 2: هر دو اجرا از نمونه‌های یکسان استفاده کردند. آیا این کمکی می‌کند؟ پاسخ مورد انتظار: بله؛ مقایسه‌ی جفت‌شده روی اختلاف تک‌تک نمونه‌ها، بازه‌ی بسته‌تر و جمع‌وجورتری نسبت به دو بازه‌ی مستقل به دست می‌دهد.
  • سطح 3: این درس از کدام بازه برای نرخ قبولی استفاده می‌کند و چرا؟ پاسخ مورد انتظار: بازه‌ی ویلسون؛ چون در نمونه‌های کوچک و نسبت‌های بسیار نزدیک به صفر یا یک که تقریب نرمال کارایی ندارد، رفتار درستی دارد.
  • سطح 3: بودجه‌ی شما به اندازه‌ی 200 فراخوانی مدل داور در هر اجرا است. این تعداد را چطور تقسیم می‌کنید؟ پاسخ مورد انتظار: یک هسته‌ی طلایی، یک بخش تخاصمی، و نمونه‌ای از ترافیک محیط عملیاتی، که همگی نسخه‌بندی شده و بین دو اجرای مورد مقایسه کاملاً ثابت باشند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «چهار درصد بالاخره چهار درصد است.» روی 50 نمونه پهنای بازه 19 درصد است؛ اختلاف 4 درصدی صرفاً نویز است.
  • «همان 50 نمونه را سه بار اجرا کن.» تکرار همان نمونه‌ها واریانس خود مدل را می‌سنجد، نه کل جامعه را؛ بازه‌ی روی نمونه‌ها همچنان عریض می‌ماند.
  • «همیشه از هزار نمونه استفاده کن.» هزار نمونه پهنای بازه را به 3 درصد می‌رساند اما هزینه‌اش 5 برابر اجرای 200 نمونه است؛ از 200 نمونه برای تصمیم‌های روتین و از 500 نمونه یا بیشتر برای موارد نزدیک‌به‌هم استفاده کنید.

کجای دوره آموزش داده می‌شود

درس ارزیابی و آزمون جدول اندازه‌ی نمونه، بازه‌ی ویلسون و لایه‌های سه‌گانه‌ی یک مجموعه‌ی ارزیابی را آموزش می‌دهد.