در آزمایشی کاربران بهطور مساوی بین گروه کنترل (control) و نسخه جدید (variant) تقسیم شدهاند. بعد از یک هفته، داشبورد نشان میدهد که 47 درصد کاربران در گروه کنترل و 53 درصد در گروه نسخه جدید قرار دارند، و نسخه جدید در معیار اصلی پیشتاز است. چه نتیجهای میگیرید و اقدام بعدی شما چیست؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
نتیجه را نخوانید و به آن استناد نکنید. تقسیم متوازنی که با نسبت مساوی تنظیم شده اما بعد از یک هفته ترافیک به 47 به 53 میرسد، مصداق عدم تطابق نسبت نمونه (Sample Ratio Mismatch یا SRM) است؛ این یعنی یا فرایند تخصیص مشکل دارد یا سیستم ثبت لاگ، و این دو گروه دیگر با هم قابل مقایسه نیستند. علت را در مسیر تخصیص کاربران پیدا کنید، آن را برطرف کنید و آزمایش را از اول راه بیندازید.
پاسخ کامل
این بررسی چه چیزی را نشان میدهد
تابع هش تخصیص، هر کاربر را در یکی از بازوها (arm) قرار میدهد. در طول یک هفته، نسبتِ خروجی باید بسیار نزدیک به نسبتِ تنظیمشده باشد. اگر اینطور نباشد، درس پاسخی کاملاً صریح دارد: یک جای کار ایراد دارد. هر دو نوع پلتفرم آزمایشیِ مطرحشده در درس، این بررسی را برای شما انجام میدهند و این آزمون باید پیش از خواندن نتایج هر آزمایشی انجام شود.
چرا این برد اعتباری ندارد
هر دلیلی که باعث ریزش کاربران از یک بازو شده باشد، میتواند با نتیجهی نهایی آزمایش همبستگی داشته باشد. اگر کلاینتهای کند قبل از ثبت مشاهدهی خود (exposure) در یکی از بازوها با خطا روبهرو شوند، آن بازو سریعتر و رضایتبخشتر به نظر میرسد. در این حالت، بهبودِ اندازهگیریشده در واقع ناشی از دراپاوت است، نه برتری نسخه جدید. هیچ روش تصحیحی پس از انجام آزمایش نمیتواند تصادفیسازی اولیه را بازگرداند.
کجا را باید بررسی کرد
- تابع تخصیص: پروژه نهایی اپلیکیشن در محیط عملیاتی (production)، تخصیص را با هش قطعی (deterministic) از شناسهی کاربر انجام میدهد تا هر کاربر همیشه در یک بازو بماند. انتخاب تصادفی بهازای هر درخواست یا هش کردن فیلدی که تغییر میکند، این نسبت تقسیم را به هم میزند.
- ثبت لاگ مشاهده: ممکن است یکی از بازوها رویدادها را جا بیندازد؛ مثلاً زمانی که مسیر نسخه جدید، بعد از فراخوانی تابعی لاگ میاندازد که خودش ممکن است خطا بدهد.
- خطاهای سمت کلاینت: نسخهای که پیش از ثبت لاگ کرش میکند، کاربرانش از شمارش حذف میشوند.
- رباتها و تلاشهای مجدد: ربات یا حلقهی تکراری (retry loop) که در یکی از بازوها بیفتد، آمار آن بازو را بهشکل کاذب بالا میبرد.
- کشها: وجود کش قبل از فرایند تخصیص میتواند تصمیم مربوط به یک بازو را به اشتباه به تعداد زیادی از کاربران تحویل دهد.
گام بعدی
علت را برطرف کنید، دادهها را دور بریزید و آزمایش را از نو اجرا کنید. بررسی عدم تطابق را از پیش تعیین و ثبت (pre-register) کنید تا بهطور خودکار جلوی خواندن نتایج را بگیرد و هیچکس سرِ نسخهای که ظاهراً برنده شده بحث و جدل نکند.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا شناسهی کاربر را هش میکنیم و بهازای هر درخواست یک بازوی تصادفی انتخاب نمیکنیم؟ پاسخ مورد انتظار: تا کاربر در تمام درخواستها در همان بازو بماند، تجربهی یکدستی داشته باشد و تعداد مشاهدات بهازای هر کاربر شمرده شود.
- سطح 3: دو دلیلی را نام ببرید که باعث میشوند کاربران نسخه جدید بیشتر از گروه کنترل شوند. پاسخ مورد انتظار: خطایی در ثبت لاگ که مشاهدات گروه کنترل را جا میاندازد، یا مسیری در نسخه جدید که رفتار متفاوتی با رباتها یا تلاشهای مجدد دارد.
- سطح 3: آیا میتوان این عدم تطابق را به کمک آمار تصحیح کرد و نتیجه را نگه داشت؟ پاسخ مورد انتظار: خیر. این عدم تطابق نشان میدهد که دو گروه دیگر قابل مقایسه نیستند و هیچ اصلاحی نمیتواند تصادفیسازی را به دادهها برگرداند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «سه درصد جزو نویز طبیعی است.» در ترافیک یک هفتهای، چنین اختلافی در صورت تقسیم عادلانه بسیار بعید است و بررسی عدم تطابق دقیقاً برای شناسایی همین وضعیت طراحی شده است.
- «نسخه جدید با اختلافی بیش از این فاصله برنده شده، پس آن را منتشر کنید.» این فاصله میتواند با نتیجه همبستگی داشته باشد؛ بنابراین رشدِ مشاهدهشده ممکن است ناشی از خود دراپاوت باشد.
- «کاربران نسخه جدید را حذف کنید تا تعداد دو گروه مساوی شود.» حذف کاربران پس از اتمام آزمایش، سوگیری دومی را به خطای اول اضافه میکند.
کجای دوره آموزش داده میشود
درس آزمون A/B بررسی عدم تطابق نسبت نمونه را تعریف میکند و درس اپلیکیشن محیط عملیاتی شناسهی کاربر را برای انتخاب بازو هش میکند.