فاز 17 · درس 21

تست A/B برای قابلیت‌های مبتنی بر مدل‌های زبانی: کار با Statsig و GrowthBook

نوع
مفهومی
زمان
حدود 60 دقیقه
زبان‌ها
Python (stdlib, toy sequential test simulator)
پیش‌نیاز
فاز 17 · بخش 13 (رصدپذیری)، فاز 17 · بخش 20 (دیپلوی تدریجی)
دو مسیر جریان داده موازی که وارد یک ترازو با توزیع‌های آماری و نمودارهای رنگی می‌شوند
فهرست مطالب
  1. اهداف یادگیری
  2. صورت مسئله
  3. مفاهیم پایه
  4. ارزیابی‌ها در برابر تست‌های A/B
  5. چه مواردی را باید تست کرد؟
  6. روش CUPED — کاهش واریانس
  7. آزمون ترتیبی
  8. تصحیح مقایسه‌های چندگانه
  9. بررسی عدم تطابق نسبت نمونه (SRM)
  10. مقایسه‌ی Statsig و GrowthBook
  11. اختلال ناشی از غیرقطعی بودن مدل‌ها در توان آماری
  12. خروجی چند نمونه‌ی واقعی
  13. پادالگوی رایج: عرضه بر اساس حس‌وحال
  14. اعدادی که باید به خاطر بسپارید
  15. استفاده از ابزارهای واقعی
  16. خروجی این درس
  17. تمرین‌ها
  18. اصطلاحات کلیدی
  19. برای مطالعه‌ی بیشتر

بسیاری از تیم‌های نرم‌افزاری پس از دستکاری پرامپت یا تعویض مدل زبانی، صرفاً بر اساس بررسی چند نمونه و داشتن حس بهتر (Vibe Check)، تغییرات را مستقیماً به دست کاربران می‌سپارند. در حالی که سنجش‌های آفلاین یا همان ارزیابی‌ها (Evals) تنها مشخص می‌کنند که آیا مدل توان انجام یک وظیفه را دارد یا نه، اثر واقعی تغییرات بر رفتار کاربران و معیارهای محصول تنها با تست A/B در محیط آنلاین مشخص می‌شود.

ماهیت غیرقطعی خروجی‌های مدل‌های زبانی باعث می‌شود تحلیل‌های آماری کلاسیک با چالش مواجه شوند. در این درس یاد می‌گیرید چگونه با به‌کارگیری متدهایی مانند آزمون‌های ترتیبی (Sequential Testing) و کاهش واریانس به روش CUPED، آزمایش‌های آنلاین دقیق طراحی کنید و اثر تغییرات پرامپت، پارامترهای تولید و مدل‌ها را به دور از سوگیری اندازه بگیرید.

همچنین به مقایسه‌ی دو پلتفرم مطرح GrowthBook و Statsig می‌پردازیم؛ به‌ویژه از منظر قابلیت میزبانی داخلی (Self-host) روی انبارهای داده و تطابق با نیازهای زیرساختی تیم‌هایی که قصد استقرار ابزارهای آزمایش روی سرورهای خود را دارند.

تست A/B سنتی برای مدل‌های زبانی بزرگِ غیرقطعی (non-deterministic LLMs) طراحی نشده بود. تمایز کلیدی اینجاست: ارزیابی‌ها (evals) پاسخ می‌دهند «آیا مدل می‌تواند وظیفه را انجام دهد؟»، در حالی که تست‌های A/B پاسخ می‌دهند «آیا برای کاربران مهم است؟» اجرای هر دو ضروری است؛ دوران دیپلوی کردن بر اساس حس‌وحال تمام شده است. آنچه در سال 2026 باید تست کنید: مهندسی پرامپت (Prompt Engineering) (نحوه‌ی بیان)، انتخاب مدل (GPT-4 در برابر GPT-3.5 در برابر مدل‌های متن‌باز؛ دقت در برابر هزینه در برابر تاخیر) و پارامترهای تولید (generation parameters) (شامل temperature و top-p). نمونه‌های واقعی: یک واریانت از مدل پاداش (Reward Model) چت‌بات، 70%+ افزایش در طول گفتگو و 30%+ بهبود در ماندگاری به همراه داشت؛ آزمایش‌های Nextdoor روی متن عنوان با هوش مصنوعی پس از اصلاح تابع پاداش، 1%+ افزایش CTR ثبت کرد؛ و Khanmigo در Khan Academy مدام روی محور تعادل تاخیر در برابر دقت محاسبات ریاضی بازنگری شد. تفکیک پلتفرم‌ها: Statsig (که در سپتامبر 2025 با قیمت 1.1 میلیارد دلار توسط OpenAI تصاحب شد) — آزمون ترتیبی (sequential testing)، روش CUPED و همه‌چیز در یک پکیج. GrowthBook — متن‌باز، هماهنگ با انبار داده (warehouse-native)، موتورهای بیزی + فراوانی‌گرا + ترتیبی، روش CUPED، بررسی‌های عدم تطابق نسبت نمونه (SRM) و تصحیحات بنجامینی-هاچبرگ + بونفرونی. انتخاب شما به اولویت کار با انبار داده و SQL بستگی دارد و اینکه آیا «تصاحب توسط OpenAI» برای سازمانتان اهمیت دارد یا نه.

اهداف یادگیری

  • تمایز ارزیابی‌ها («آیا مدل از پس وظیفه برمی‌آید») از تست‌های A/B («آیا برای کاربران مهم است»).
  • برشمردن سه محور قابل تست (پرامپت، مدل، پارامترها) و انتخاب معیار مناسب برای هرکدام.
  • توضیح CUPED، آزمون ترتیبی و تصحیح مقایسه‌های چندگانه با روش بنجامینی-هاچبرگ.
  • انتخاب بین Statsig یا GrowthBook بر اساس رویکرد کار با انبار داده و SQL و موضع سازمانی درباره‌ی تصاحب شرکتی.

صورت مسئله

پرامپت سیستم را دستی تنظیم می‌کنید، حس بهتری می‌دهد، آن را به پروداکشن می‌فرستید؛ اما نرخ تبدیل فقط به اندازه‌ی نویز تغییر می‌کند و شما معیار را مقصر می‌دانید. یا شاید مدل جدیدی مستقر کرده‌اید و نرخ تبدیل اصلاً تکان نخورده است — آیا کارایی مدل افت کرده یا تغییر آن‌قدر جزئی بوده که قابل شناسایی نیست؟ نمی‌دانید، چون بدون تست A/B آن را منتشر کرده‌اید.

ارزیابی‌ها مشخص می‌کنند که آیا مدل می‌تواند روی یک مجموعه‌ی برچسب‌دار وظیفه را انجام دهد یا نه؛ اما به این پرسش که آیا کاربران خروجی را ترجیح می‌دهند، پاسخ نمی‌دهند. تنها یک آزمایش آنلاین و کنترل‌شده پاسخ این سوال را می‌دهد؛ آن هم فقط در صورتی که آزمایش توان آماری (power) کافی داشته باشد، عامل غیرقطعی بودن مدل‌ها را مهار کند و خطای مقایسه‌های چندگانه را تصحیح کند.

مفاهیم پایه

ارزیابی‌ها در برابر تست‌های A/B

ارزیابی‌ها (Evals) — آفلاین، مجموعه‌ی برچسب‌دار، داور (شیوه‌نامه‌ی نمره‌دهی (rubric)، مدل زبانی در نقش داور (LLM-as-judge) یا انسان). پاسخ به این پرسش: «آیا خروجی روی این توزیع ثابت، درست / مفید / ایمن است؟»

تست A/B — آنلاین، کاربران واقعی، تصادفی‌سازی‌شده. پاسخ به این پرسش: «آیا واریانت جدید توانسته معیار رفتاری کاربر را که واقعاً اهمیت دارد تغییر دهد؟»

به هر دو نیاز دارید. ارزیابی‌ها پسرفت‌ها را پیش از مواجهه با کاربر کشف می‌کنند؛ تست A/B اثر نهایی بر محصول را تایید می‌کند.

چه مواردی را باید تست کرد؟

  1. مهندسی پرامپت — لحن و نگارش، ساختار پرامپت سیستم، مثال‌ها. معیار: موفقیت در انجام وظیفه، ماندگاری کاربران، هزینه به‌ازای هر درخواست.
  2. انتخاب مدل — تقابل GPT-4 با GPT-3.5-Turbo و Llama متن‌باز. معیار: دقت (انجام وظیفه) + هزینه به‌ازای هر درخواست + تاخیر صدک 99 (P99). تصمیم‌گیری چندهدفه.
  3. پارامترهای تولید — مقادیر temperature، top-p و max_tokens. معیار: وابسته به وظیفه (تنوع خروجی در برابر قطعیت).

روش CUPED — کاهش واریانس

آزمایش‌های کنترل‌شده با استفاده از داده‌های پیش‌آزمایش (Controlled-experiments Using Pre-Experiment Data). واریانس دوره‌ی پیش از آزمایش را پیش از مقایسه‌ی دوره‌ی پس از آزمایش، با رگرسیون حذف کنید. کاهش واریانس معمول: 30 تا 70 درصد. این یعنی حجم موثر نمونه به‌طور رایگان افزایش می‌یابد.

پیاده‌سازی: در هر دو پلتفرم Statsig و GrowthBook پیاده شده است.

آزمون ترتیبی

تست A/B کلاسیک حجم نمونه را ثابت فرض می‌کند. آزمون‌های ترتیبی (بررسی مداوم و تصمیم‌گیری) نرخ مثبت کاذب را در صورت نگاه‌های مکرر به نتایج کنترل می‌کنند. رویه‌های ترتیبی همواره معتبر (مثل mSPRT و دنباله‌های اطمینان هاوارد) اجازه می‌دهند آزمایش را روی گزینه‌های برنده‌ی قطعی زودتر متوقف کنید.

تصحیح مقایسه‌های چندگانه

اگر 20 تست A/B را با سطح اطمینان 95% اجرا کنید، یکی از آن‌ها صرفاً بر حسب شانس یک پاسخ مثبت کاذب خواهد بود. تصحیح بونفرونی (Bonferroni) مقدار α را برای هر تست سخت‌گیرانه‌تر می‌کند؛ تصحیح بنجامینی-هاچبرگ نرخ کشف کاذب (false-discovery rate) را کنترل می‌کند. GrowthBook از هر دو روش پشتیبانی می‌کند.

بررسی عدم تطابق نسبت نمونه (SRM)

هش تخصیص، کاربران را به‌صورت تصادفی میان واریانت‌ها تقسیم می‌کند. اگر قرار بر تقسیم 50/50 بوده اما نتیجه 47/53 ثبت شده، مشکلی وجود دارد — بررسی SRM به این وضعیت هشدار می‌دهد. هر دو پلتفرم این قابلیت را دارند.

مقایسه‌ی Statsig و GrowthBook

Statsig:

  • تصاحب توسط OpenAI با ارزش 1.1 میلیارد دلار (سپتامبر 2025). میزبانی‌شده، به‌صورت SaaS.
  • آزمون ترتیبی، CUPED، گروه‌های کنترل نگه‌داشته‌شده (held-out populations).
  • همه‌چیز در یک پکیج: فیچر فلگ‌ها + آزمایش‌ها + رصدپذیری (observability).
  • بهترین گزینه: برای تیم‌هایی که راه‌حل تجمیعی آماده می‌خواهند و مالکان جدید آن برایشان دغدغه نیست.

GrowthBook:

  • متن‌باز (لایسنس MIT)؛ هماهنگ با انبار داده (مستقیماً از Snowflake، BigQuery و Redshift می‌خواند).
  • چند موتور: بیزی، فراوانی‌گرا، ترتیبی.
  • پشتیبانی از CUPED، SRM، بونفرونی و تصحیحات BH.
  • قابلیت خودمیزبانی (self-host) یا فضای ابری مدیریت‌شده.
  • بهترین گزینه: سازمان‌های متکی بر انبار داده و SQL، جاهایی که تیم داده لایه‌ی معیار را کنترل می‌کند و راه‌حل‌های متن‌باز ترجیح دارند.

اختلال ناشی از غیرقطعی بودن مدل‌ها در توان آماری

یک پرامپت یکسان می‌تواند خروجی‌های متفاوتی بسازد. محاسبات سنتیِ توان آماری، مشاهدات را مستقل و با توزیع یکسان (IID) فرض می‌کنند. در حضور رفتار غیرقطعی مدل زبانی، حجم نمونه‌ی موثر کمتر از مقدار اسمی است؛ بنابراین حجم نمونه‌ی موردنیاز را با ضریب ایمنی حدود 1.3 تا 1.5 برابر افزایش دهید.

خروجی چند نمونه‌ی واقعی

  • واریانت مدل پاداش چت‌بات: 70%+ افزایش طول گفتگو، 30%+ بهبود ماندگاری.
  • عنوان‌های ایمیل Nextdoor: رشد 1%+ در CTR پس از اصلاح تابع پاداش.
  • ابزار Khanmigo در Khan Academy: سبک‌سنگین کردن مداوم تاخیر در برابر دقت حل مسائل ریاضی.

پادالگوی رایج: عرضه بر اساس حس‌وحال

هر مهندس باتجربه‌ای قابلیت‌هایی را به یاد دارد که تنها با توجیه «حس بهتری می‌دهد» و بدون تست A/B عرضه شدند. بیشتر این فیچرها باعث پسرفت معیارهای محصول شدند؛ افتی که تیم‌ها تا ماه‌ها متوجه آن نشدند. تست A/B نیروی محرکه‌ی بازدارنده است.

اعدادی که باید به خاطر بسپارید

  • تصاحب Statsig توسط OpenAI: معادل 1.1 میلیارد دلار، سپتامبر 2025.
  • پلتفرم GrowthBook: متن‌باز با لایسنس MIT؛ رویکرد بیزی + فراوانی‌گرا + ترتیبی.
  • میزان کاهش واریانس با CUPED: بین 30 تا 70 درصد.
  • رفتار غیرقطعی مدل‌های زبانی ← نیاز به حاشیه‌ی امن 30 تا 50 درصدی در حجم نمونه.
آزمون A/B ترتیبیاثر تجمعی از مرز همواره معتبر عبور می‌کند
SEQUENTIAL A/B TESTEvals ask whether the model can do the job; A/B tests ask whether users care. Fixed-horizon tests punish peeking, so 2026 platforms use sequential testing with always-valid boundaries that stay wide early and tighten over time. The cumulative statistic random-walks until it crosses a boundary, at which point you stop and ship, or it stays inside and you call it flat. CUPED reduces variance and Benjamini-Hochberg corrects for testing many variants at once.رد H0 (B برنده است)بدون اثرتوقف زودهنگامسرک کشیدن ایمن است: مرز قبلاً هزینه هر نگاه را پرداخته است
ارزیابی‌ها (Evals) بررسی می‌کنند که آیا مدل می‌تواند کار را انجام دهد؛ آزمون‌های A/B می‌سنجند که آیا کاربران به آن اهمیت می‌دهند یا خیر. آزمون‌های افق-ثابت سرک کشیدن به نتایج را جریمه می‌کنند، بنابراین پلتفرم‌های 2026 از آزمون‌های ترتیبی با مرزهای همواره معتبری استفاده می‌کنند که ابتدا باز هستند و به‌مرور تنگ‌تر می‌شوند. آماره تجمعی در یک گشت تصادفی حرکت می‌کند تا اینکه از مرز عبور کند؛ در این نقطه آزمایش را متوقف و محصول را عرضه می‌کنید، یا اینکه درون مرز باقی می‌ماند و آن را بی‌اثر اعلام می‌کنید. روش CUPED واریانس را کاهش می‌دهد و روش Benjamini-Hochberg اثر بررسی هم‌زمان چندین واریانت را اصلاح می‌کند.

استفاده از ابزارهای واقعی

اسکریپت code/main.py یک تست A/B ترتیبی را با مرزهای ثابت و ترتیبی شبیه‌سازی می‌کند و نشان می‌دهد چگونه رویکرد ترتیبی توقف زودهنگام را ممکن می‌سازد.

خروجی این درس

این درس یک فایل در مسیر outputs/skill-ab-plan.md تولید می‌کند. این مستند با دریافت تغییر فیچر، بار کاری و خط مبنا، پلتفرم، شروط عبور و حجم نمونه را مشخص می‌کند.

تمرین‌ها

  1. اسکریپت code/main.py را اجرا کنید. با فرض بهبود مورد انتظار 5 درصدی و نرخ تبدیل خط مبنای 3 درصد، برای رسیدن به توان آماری 80 درصد به چه حجم نمونه‌ای نیاز دارید؟
  2. برای یک مشتری تحت قوانین حوزه‌ی سلامت که زیرساخت محلی (on-prem) دارد، بین Statsig و GrowthBook یکی را انتخاب کنید.
  3. یک تست A/B برای مقایسه‌ی GPT-4 و GPT-3.5 بر اساس «هزینه‌ی حل هر تیکت» طراحی کنید. معیار اولیه، معیار محافظتی (guardrail metric) و معیار ثانویه‌ی شما چیست؟
  4. تست قناری (canary) موفقیت‌آمیز است اما تست A/B افت 1.2-% در نرخ تبدیل را نشان می‌دهد. آیا محصول را عرضه می‌کنید؟ معیارهای ارجاع و بازنگری (escalation criteria) را بنویسید.
  5. روش CUPED را با یک کوواریات پیش‌آزمایش که 60 درصد از واریانس دوره‌ی پس‌آزمایش را توجیه می‌کند (توان دوم همبستگی برابر با 0.6) اعمال کنید. میزان افزایش حجم نمونه‌ی موثر را به دست آورید.

اصطلاحات کلیدی

اصطلاح در گفت‌وگوها معنای واقعی
ارزیابی (Eval) «تست آفلاین» ارزیابی توانایی مدل روی داده‌های برچسب‌دار
تست A/B «آزمایش» مقایسه‌ی تصادفی روی کاربران واقعی به‌صورت آنلاین
روش CUPED «کاهش واریانس» رگرسیون روی داده‌های پیش‌آزمایش برای کاهش واریانس
آزمون ترتیبی «تست سرک‌کشیدن» رویه‌ای همیشه معتبر که اجازه توقف زودهنگام را می‌دهد
مقایسه‌ی چندگانه «خطای خانواده» اجرای چند آزمون به‌طور هم‌زمان که مثبت‌های کاذب را بالا می‌برد
بونفرونی (Bonferroni) «تصحیح سخت‌گیرانه» تقسیم α بر تعداد کل آزمون‌ها
بنجامینی-هاچبرگ (Benjamini-Hochberg) «FDR روش BH» کنترل نرخ کشف کاذب با محافظه‌کاری کمتر
عدم تطابق نسبت نمونه (SRM) «تقسیم نادرست» عدم تطابق نسبت نمونه؛ باگ در تخصیص کاربران
Statsig «متعلق به OpenAI» محصول تجاری همه‌چیز در یک پکیج، تصاحب‌شده در 2025
GrowthBook «نسخه‌ی متن‌باز» پلتفرم هماهنگ با انبار داده تحت لایسنس MIT
آزمون mSPRT «تست نسبت احتمال ترتیبی» رویه‌ی ترتیبی کلاسیک

برای مطالعه‌ی بیشتر

خودآزمایی

به سؤال‌ها جواب بدهید تا ببینید چقدر از درس در ذهنتان مانده است.

  1. پیش از درستفاوت دقیق بین ارزیابی‌ها (evals) و آزمون‌های A/B در درس چیست؟
  2. حین درسروش CUPED در یک آزمایش چه کاری انجام می‌دهد؟
  3. حین درسچرا هنگام اجرای آزمون‌های A/B متعدد به اصلاحات چندمقایسه‌ای (Bonferroni یا Benjamini-Hochberg) نیاز دارید؟
  4. حین درسمفهوم SRM (عدم تطابق نسبت نمونه) چه چیزی را شناسایی می‌کند؟
  5. پس از درسچرا قطعی نبودن خروجی LLM نیازمند بافر در حجم نمونه است؟
  6. پس از درسدرس چگونه Statsig و GrowthBook را مقایسه می‌کند؟

سؤالات متداول

تفاوت ارزیابی آفلاین (Eval) و تست A/B در سیستم‌های زبانی چیست؟

ارزیابی به صورت آفلاین روی مجموعه‌داده‌ی برچسب‌دار انجام می‌شود و نشان می‌دهد آیا مدل وظیفه را درست انجام می‌دهد یا خیر؛ اما تست A/B روی کاربران واقعی آنلاین اجرا می‌شود تا مشخص شود آیا تغییرات واقعاً معیارهای محصول مانند نرخ تبدیل یا نگه‌داشت را بهبود داده‌اند یا نه.

چرا غیرقطعی بودن مدل‌های زبانی حجم نمونه‌ی تست A/B را افزایش می‌دهد؟

از آنجا که یک پرامپت ثابت خروجی‌های گوناگونی تولید می‌کند، فرض استقلال و توزیع یکسان داده‌ها نقض شده و حجم نمونه‌ی موثر کاهش می‌یابد؛ به همین دلیل نیاز است حجم نمونه را حدود 1.3 تا 1.5 برابر افزایش دهید.

روش CUPED چه کاربردی در آزمایش‌های A/B دارد؟

روش CUPED با استفاده از رگرسیون روی داده‌های دوره‌ی پیش از آزمایش، واریانس پس‌آزمایش را معمولاً بین 30 تا 70 درصد کاهش داده و بدون نیاز به جمع‌آوری کاربر جدید، توان آماری را بالا می‌برد.

چه تفاوت ساختاری میان GrowthBook و Statsig وجود دارد؟

ابزار Statsig یک سرویس تجاری تمام‌عیار ابری (SaaS) است، در حالی که GrowthBook یک پلتفرم متن‌باز است که به شکل مستقیم روی انبارهای داده (مانند Snowflake یا BigQuery) می‌نشیند و امکان خودمیزبانی دارد.

ما رو توی گوگل بیشتر ببین

با افزودن نکست ادمین به «منابع ترجیحی» گوگل، درس‌ها و مطالب ما را در بخش اخبار برتر جستجو بیشتر می‌بینید.