سؤال مصاحبه

میله‌های خطا برای نرخ قبولی و میانگین

Error bars for a pass rate and for a mean

  • سطح ۳: ارشد
  • مفهومی
  • ۸ دقیقه

گزارش ارزیابی شما دو نوع عدد را نشان می‌دهد: یک نرخ قبولی (pass rate) که سهم مواردی با امتیاز 4 یا بالاتر است، و یک میانگین امتیاز داور در مقیاس 1 تا 5. یک بازبین برای هر دو عدد میله‌های خطا (error bars) می‌خواهد. برای هرکدام از چه بازه‌ای استفاده می‌کنید و چرا نباید برای هر دو از یک روش بهره برد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

برای نرخ قبولی از بازه‌ی ویلسون (Wilson interval) و برای میانگین امتیاز از بازه‌ی بوت‌استرپ (bootstrap interval) استفاده کنید. نرخ قبولی یک نسبت است و بازه‌ی ویلسون در نمونه‌های کوچک و مقادیر نزدیک به صفر یا یک — درست همان‌جا که تقریب نرمال از کار می‌افتد — دقیق می‌ماند. میانگین امتیازهای ترتیبی داور فرم بسته (closed form) مشخص و تمیزی ندارد؛ بوت‌استرپ امتیازها را با جایگذاری بازنمونه‌گیری می‌کند و با هر توزیعی کار می‌کند.

پاسخ کامل

بازه‌ی ویلسون

center = (p + z^2 / (2n)) / (1 + z^2 / n)
spread = z * sqrt( (p (1 - p) + z^2 / (4n)) / n ) / (1 + z^2 / n)

که در آن برای اطمینان 95 درصد، مقدار z برابر 1.96 است. وقتی n کوچک باشد، مرکز بازه به سمت یک‌دوم میل می‌کند و کران‌ها به بازه‌ی صفر تا یک محدود می‌شوند. در 50 مورد و دقت 90 درصد، این روش بازه‌ی 78 تا 97 درصد را به دست می‌دهد. در مقابل، بازه‌ی نرمال ممکن است کران‌هایی خارج از بازه‌ی واحد بدهد و پهنای آن در نقاط حدی کاملاً نادرست خواهد بود.

بازه‌ی بوت‌استرپ

از n امتیاز با جایگذاری بازنمونه‌گیری کنید، میانگین را به دست آورید، این کار را 1000 بار تکرار کنید، میانگین‌ها را مرتب کرده و صدک‌ها را در فاصله‌ی آلفا دوم از هر دو سر توزیع بخوانید. این روش فقط فرض می‌کند نمونه نماینده‌ی جامعه است؛ نمی‌تواند نمونه‌ی اریب یا بسیار کوچک را جبران کند و هزینه‌ی آن محاسباتی است، نه جبری.

مقایسه‌ی دو اجرا

هیچ‌کدام از این دو بازه به‌تنهایی برای مقایسه‌ی دو سیستم کافی نیستند. برای دو نسخه‌ی پرامپت (prompt) که روی موارد یکسانی اجرا شده‌اند، بازه را بر اساس تفاوت جفت‌شده‌ی هر مورد بسازید؛ این کار با بوت‌استرپ روی موارد یا با یک آزمون جفت‌شده انجام می‌شود. دو بازه‌ی مجزا که با هم همپوشانی (overlap) دارند دلیلی بر برابری نیستند، و برای اثبات تفاوت هم لزومی ندارد دو بازه حتماً بدون همپوشانی باشند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: بازه‌ی خطای استاندارد (مثبت یا منفی یک خطای استاندارد) روی یک نسبت چه مشکلی دارد؟ پاسخ مورد انتظار: در nهای کوچک یا مقادیر نزدیک به صفر و یک، کران‌هایی خارج از بازه‌ی واحد می‌دهد و پهنای آن نادرست است؛ ویلسون هر دو مشکل را حل می‌کند.
  • سطح 3: بوت‌استرپ چه فرضیاتی دارد؟ پاسخ مورد انتظار: اینکه نمونه نماینده‌ی جامعه است؛ به توزیع خاصی نیاز ندارد، اما نمی‌تواند نمونه‌ی اریب یا خیلی کوچک را اصلاح کند.
  • سطح 4: دو نسخه‌ی پرامپت روی 200 مورد یکسان اجرا شده‌اند. کدام بازه تصمیم‌گیرنده است؟ پاسخ مورد انتظار: بازه‌ای روی تفاوت جفت‌شده‌ی هر مورد؛ دو بازه‌ی دارای همپوشانی برابری را ثابت نمی‌کنند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مثبت یا منفی خطای استاندارد کفایت می‌کند.» بازه‌ی نرمال در نمونه‌های کوچک و نسبت‌های حدی شکست می‌خورد؛ دقیقاً همان جاهایی که درباره‌ی انتشار محصول تصمیم می‌گیرید.
  • «بوت‌استرپ برای نرخ قبولی هم جواب می‌دهد، پس همه‌جا از آن استفاده کنیم.» درست است که کار می‌کند، اما ویلسون فرم بسته دارد، کم‌هزینه است و اختصاصاً برای نسبت‌ها طراحی شده؛ کد را تمیز و قابل‌حسابرسی نگه دارید.
  • «بازه‌های دارای همپوشانی یعنی تفاوتی وجود ندارد.» دو بازه‌ی جداگانه می‌توانند همپوشانی داشته باشند، در حالی که بازه‌ی تفاوت جفت‌شده صفر را شامل نمی‌شود؛ همیشه خودِ تفاوت را مقایسه کنید.

کجای دوره آموزش داده می‌شود

درس ارزیابی و آزمون بازه‌ی ویلسون و بوت‌استرپ را پیاده‌سازی می‌کند و کاربرد هرکدام را توضیح می‌دهد.