سؤال مصاحبه

متوقف کردن آزمایش با اولین نشانه‌ی موفقیت

Stopping an experiment on the first good morning

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۲ دقیقه

مدیر محصول هر روز صبح داشبورد آزمایش را چک می‌کند و می‌خواهد تست را دقیقاً در همان روزی که تغییرات معنادار به نظر می‌رسد، متوقف کند. در این فصل، 20 آزمایش دیگر هم با همین رویکرد در حال اجرا هستند. کجای این کار ایراد دارد و چه راهکاری را باید جایگزین آن کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

در آزمون‌های با حجم نمونه‌ی ثابت (fixed-sample)، فرض بر این است که فقط یک بار و پس از رسیدن به حجم نمونه‌ای که از قبل مشخص شده، به داده‌ها نگاه می‌کنید. اگر هر روز نتایج را بررسی کنید و با دیدن اولین نتیجه‌ی معنادار آزمایش را متوقف سازید، به نوفه (noise) شانس زیادی می‌دهید تا از مرز معناداری عبور کند؛ در نتیجه نرخ مثبت کاذب بالا می‌رود. به جای این رویکرد، از «آزمون ترتیبی» (Sequential Testing) استفاده کنید؛ روشی که حتی با بررسی‌های مکرر هم اعتبار خود را حفظ می‌کند و در صورت وجود یک برنده‌ی قطعی، اجازه‌ی توقف زودهنگام را می‌دهد. برای مدیریت هم‌زمان چندین آزمایش، از روش‌های «تصحیح مقایسه‌های چندگانه» (Multiple-Comparison Corrections) استفاده کنید و با تکیه بر داده‌های پیش از آزمایش، دست به «کاهش واریانس» (Variance reduction) بزنید تا هر تست به حجم نمونه‌ی کمتری نیاز داشته باشد.

پاسخ کامل

مشکل سرک کشیدن به نتایج (The peeking problem)

در تحلیل کلاسیک آزمون A/B، حجم نمونه باید پیش از شروع آزمایش تعیین شود. هر بار سرک کشیدن به داده‌ها، حکم یک آزمون جدید را دارد و متوقف کردن کار با دیدن اولین نشانه‌ی معناداری، باعث انتخاب نوفه می‌شود. مشکل رویکرد مدیر محصول این نیست که نتایج را مداوم بررسی می‌کند، بلکه ایراد کار در تصمیم‌گیری بر پایه‌ی روشی است که اصلاً برای تصمیم‌گیری‌های مکرر طراحی نشده است.

آزمون ترتیبی

روش‌های ترتیبی همواره‌معتبر، مثل آزمون نسبت احتمال ترتیبی آمیخته (mixture sequential probability ratio test) و دنباله‌های اطمینان (confidence sequences)، نرخ مثبت کاذب را در بررسی‌های پی‌درپی مهار می‌کنند. با این روش‌ها می‌توانید نتایج را روزانه چک کنید و اگر برتری گزینه‌ای قطعی بود، آزمایش را زودتر ببندید؛ بدون اینکه نرخ خطای تعیین‌شده به هم بریزد. شبیه‌ساز این درس، مرزهای تصمیم‌گیری در روش حجم ثابت و روش ترتیبی را در کنار یکدیگر نشان می‌دهد.

بیست آزمایش هم‌زمان

در سطح اطمینان 95 درصد، اجرای هم‌زمان 20 آزمایش به‌طور تصادفی حدود یک نتیجه‌ی مثبت کاذب ایجاد می‌کند. برای حل این مشکل دو روش تصحیح وجود دارد: روش Bonferroni نرخ خطا را بر تعداد آزمون‌ها تقسیم می‌کند که رویکردی سخت‌گیرانه است؛ روش Benjamini-Hochberg نرخ کشف کاذب (false discovery rate) را کنترل می‌کند و کمتر محافظه‌کارانه است. انتخاب بین این دو، به هزینه‌ی راه‌اندازی یک قابلیت اشتباه در برابر هزینه‌ی از دست دادن یک ایده‌ی واقعاً برنده بستگی دارد.

کاهش واریانس

روش CUPED واریانسی را که داده‌های پیش از آزمایش قادر به توضیح آن هستند، از طریق رگرسیون حذف می‌کند. این درس نشان می‌دهد که معمولاً کاهش 30 تا 70 درصدی واریانس به دست می‌آید که بدون نیاز به ترافیک بیشتر، حجم نمونه‌ی مؤثر را بالا می‌برد. راهکار درست و اصولی برای کوتاه‌تر کردن زمان آزمایش همین است.

دو بررسی ضروری دیگر

پیش از بررسی هر نتیجه‌ای، با کنترل عدم تطابق نسبت نمونه (sample ratio mismatch یا SRM) مطمئن شوید که سیستم تخصیص کاربران دچار مشکل نشده است. علاوه بر این، «غیرقطعی بودن» (Non-determinism) خروجی مدل‌ها حجم نمونه‌ی مؤثر را کاهش می‌دهد؛ بنابراین این درس حجم نمونه‌ی مورد نیاز را حدود 1.3 تا 1.5 برابر افزایش می‌دهد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: برای این فصل، روش Bonferroni مناسب‌تر است یا Benjamini-Hochberg؟ پاسخ مورد انتظار: اگر انتشار هرگونه قابلیت اشتباه هزینه‌ی بالایی داشته باشد، روش Bonferroni مناسب است؛ اما اگر برای حفظ توان آزمون حاضر به پذیرش سهم مهارشده‌ای از شناسایی‌های کاذب هستید، روش Benjamini-Hochberg را انتخاب کنید.
  • سطح 3: روش CUPED به چه ورودی‌هایی نیاز دارد و چه خروجی‌ای می‌دهد؟ پاسخ مورد انتظار: به متریک دوره‌ی پیش از آزمایش برای هر واحد نیاز دارد و در ازای همان حجم ترافیک، برآوردی دقیق‌تر با بازه‌ی محدودتر ارائه می‌دهد.
  • سطح 4: مدل جدید به حجم نمونه‌ای فراتر از ظرفیت زمانی این فصل نیاز دارد. چه تغییری در برنامه می‌دهید؟ پاسخ مورد انتظار: انتخاب یک متریک اصلی با واریانس کمتر، استفاده از روش CUPED یا تمدید زمان آزمایش. نباید آزمایش را با توقف زودهنگام در یک فرایند با حجم نمونه‌ی ثابت کوتاه کرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اگر مقدار p-value کوچک باشد، توقف زودهنگام اشکالی ندارد.» در آزمون‌های با حجم نمونه‌ی ثابت، پایین بودن p-value در همان روز اول تا حدی ناشی از نوفه‌ی سواشده است. فقط یک روش ترتیبی اعتبار این توقف زودهنگام را حفظ می‌کند.
  • «همه‌ی آزمایش‌ها را با اطمینان 95 درصد اجرا کنید و گزینه‌های برنده را منتشر سازید.» حدود یک مورد از برندگان، صرفاً بر حسب شانس مثبت کاذب از آب درمی‌آید. باید اثر مقایسه‌های چندگانه را تصحیح کنید.
  • «هرچه آزمایش طولانی‌تر باشد، نتایج همیشه مطمئن‌تر است.» طولانی بودن آزمایش تنها در صورتی فایده دارد که منطق تخصیص ترافیک درست باشد. همیشه اول نسبت نمونه‌ها را بررسی کنید.

کجای دوره آموزش داده می‌شود

در درس آزمون A/B آزمون‌های ترتیبی، روش CUPED، کنترل‌های SRM و تصحیح مقایسه‌های چندگانه پوشش داده شده است.