بسیاری از تیمهای نرمافزاری پس از دستکاری پرامپت یا تعویض مدل زبانی، صرفاً بر اساس بررسی چند نمونه و داشتن حس بهتر (Vibe Check)، تغییرات را مستقیماً به دست کاربران میسپارند. در حالی که سنجشهای آفلاین یا همان ارزیابیها (Evals) تنها مشخص میکنند که آیا مدل توان انجام یک وظیفه را دارد یا نه، اثر واقعی تغییرات بر رفتار کاربران و معیارهای محصول تنها با تست A/B در محیط آنلاین مشخص میشود.
ماهیت غیرقطعی خروجیهای مدلهای زبانی باعث میشود تحلیلهای آماری کلاسیک با چالش مواجه شوند. در این درس یاد میگیرید چگونه با بهکارگیری متدهایی مانند آزمونهای ترتیبی (Sequential Testing) و کاهش واریانس به روش CUPED، آزمایشهای آنلاین دقیق طراحی کنید و اثر تغییرات پرامپت، پارامترهای تولید و مدلها را به دور از سوگیری اندازه بگیرید.
همچنین به مقایسهی دو پلتفرم مطرح GrowthBook و Statsig میپردازیم؛ بهویژه از منظر قابلیت میزبانی داخلی (Self-host) روی انبارهای داده و تطابق با نیازهای زیرساختی تیمهایی که قصد استقرار ابزارهای آزمایش روی سرورهای خود را دارند.
تست A/B سنتی برای مدلهای زبانی بزرگِ غیرقطعی (non-deterministic LLMs) طراحی نشده بود. تمایز کلیدی اینجاست: ارزیابیها (evals) پاسخ میدهند «آیا مدل میتواند وظیفه را انجام دهد؟»، در حالی که تستهای A/B پاسخ میدهند «آیا برای کاربران مهم است؟» اجرای هر دو ضروری است؛ دوران دیپلوی کردن بر اساس حسوحال تمام شده است. آنچه در سال 2026 باید تست کنید: مهندسی پرامپت (Prompt Engineering) (نحوهی بیان)، انتخاب مدل (GPT-4 در برابر GPT-3.5 در برابر مدلهای متنباز؛ دقت در برابر هزینه در برابر تاخیر) و پارامترهای تولید (generation parameters) (شامل temperature و top-p). نمونههای واقعی: یک واریانت از مدل پاداش (Reward Model) چتبات، 70%+ افزایش در طول گفتگو و 30%+ بهبود در ماندگاری به همراه داشت؛ آزمایشهای Nextdoor روی متن عنوان با هوش مصنوعی پس از اصلاح تابع پاداش، 1%+ افزایش CTR ثبت کرد؛ و Khanmigo در Khan Academy مدام روی محور تعادل تاخیر در برابر دقت محاسبات ریاضی بازنگری شد. تفکیک پلتفرمها: Statsig (که در سپتامبر 2025 با قیمت 1.1 میلیارد دلار توسط OpenAI تصاحب شد) — آزمون ترتیبی (sequential testing)، روش CUPED و همهچیز در یک پکیج. GrowthBook — متنباز، هماهنگ با انبار داده (warehouse-native)، موتورهای بیزی + فراوانیگرا + ترتیبی، روش CUPED، بررسیهای عدم تطابق نسبت نمونه (SRM) و تصحیحات بنجامینی-هاچبرگ + بونفرونی. انتخاب شما به اولویت کار با انبار داده و SQL بستگی دارد و اینکه آیا «تصاحب توسط OpenAI» برای سازمانتان اهمیت دارد یا نه.
اهداف یادگیری
- تمایز ارزیابیها («آیا مدل از پس وظیفه برمیآید») از تستهای A/B («آیا برای کاربران مهم است»).
- برشمردن سه محور قابل تست (پرامپت، مدل، پارامترها) و انتخاب معیار مناسب برای هرکدام.
- توضیح CUPED، آزمون ترتیبی و تصحیح مقایسههای چندگانه با روش بنجامینی-هاچبرگ.
- انتخاب بین Statsig یا GrowthBook بر اساس رویکرد کار با انبار داده و SQL و موضع سازمانی دربارهی تصاحب شرکتی.
صورت مسئله
پرامپت سیستم را دستی تنظیم میکنید، حس بهتری میدهد، آن را به پروداکشن میفرستید؛ اما نرخ تبدیل فقط به اندازهی نویز تغییر میکند و شما معیار را مقصر میدانید. یا شاید مدل جدیدی مستقر کردهاید و نرخ تبدیل اصلاً تکان نخورده است — آیا کارایی مدل افت کرده یا تغییر آنقدر جزئی بوده که قابل شناسایی نیست؟ نمیدانید، چون بدون تست A/B آن را منتشر کردهاید.
ارزیابیها مشخص میکنند که آیا مدل میتواند روی یک مجموعهی برچسبدار وظیفه را انجام دهد یا نه؛ اما به این پرسش که آیا کاربران خروجی را ترجیح میدهند، پاسخ نمیدهند. تنها یک آزمایش آنلاین و کنترلشده پاسخ این سوال را میدهد؛ آن هم فقط در صورتی که آزمایش توان آماری (power) کافی داشته باشد، عامل غیرقطعی بودن مدلها را مهار کند و خطای مقایسههای چندگانه را تصحیح کند.
مفاهیم پایه
ارزیابیها در برابر تستهای A/B
ارزیابیها (Evals) — آفلاین، مجموعهی برچسبدار، داور (شیوهنامهی نمرهدهی (rubric)، مدل زبانی در نقش داور (LLM-as-judge) یا انسان). پاسخ به این پرسش: «آیا خروجی روی این توزیع ثابت، درست / مفید / ایمن است؟»
تست A/B — آنلاین، کاربران واقعی، تصادفیسازیشده. پاسخ به این پرسش: «آیا واریانت جدید توانسته معیار رفتاری کاربر را که واقعاً اهمیت دارد تغییر دهد؟»
به هر دو نیاز دارید. ارزیابیها پسرفتها را پیش از مواجهه با کاربر کشف میکنند؛ تست A/B اثر نهایی بر محصول را تایید میکند.
چه مواردی را باید تست کرد؟
- مهندسی پرامپت — لحن و نگارش، ساختار پرامپت سیستم، مثالها. معیار: موفقیت در انجام وظیفه، ماندگاری کاربران، هزینه بهازای هر درخواست.
- انتخاب مدل — تقابل GPT-4 با GPT-3.5-Turbo و Llama متنباز. معیار: دقت (انجام وظیفه) + هزینه بهازای هر درخواست + تاخیر صدک 99 (P99). تصمیمگیری چندهدفه.
- پارامترهای تولید — مقادیر temperature، top-p و max_tokens. معیار: وابسته به وظیفه (تنوع خروجی در برابر قطعیت).
روش CUPED — کاهش واریانس
آزمایشهای کنترلشده با استفاده از دادههای پیشآزمایش (Controlled-experiments Using Pre-Experiment Data). واریانس دورهی پیش از آزمایش را پیش از مقایسهی دورهی پس از آزمایش، با رگرسیون حذف کنید. کاهش واریانس معمول: 30 تا 70 درصد. این یعنی حجم موثر نمونه بهطور رایگان افزایش مییابد.
پیادهسازی: در هر دو پلتفرم Statsig و GrowthBook پیاده شده است.
آزمون ترتیبی
تست A/B کلاسیک حجم نمونه را ثابت فرض میکند. آزمونهای ترتیبی (بررسی مداوم و تصمیمگیری) نرخ مثبت کاذب را در صورت نگاههای مکرر به نتایج کنترل میکنند. رویههای ترتیبی همواره معتبر (مثل mSPRT و دنبالههای اطمینان هاوارد) اجازه میدهند آزمایش را روی گزینههای برندهی قطعی زودتر متوقف کنید.
تصحیح مقایسههای چندگانه
اگر 20 تست A/B را با سطح اطمینان 95% اجرا کنید، یکی از آنها صرفاً بر حسب شانس یک پاسخ مثبت کاذب خواهد بود. تصحیح بونفرونی (Bonferroni) مقدار α را برای هر تست سختگیرانهتر میکند؛ تصحیح بنجامینی-هاچبرگ نرخ کشف کاذب (false-discovery rate) را کنترل میکند. GrowthBook از هر دو روش پشتیبانی میکند.
بررسی عدم تطابق نسبت نمونه (SRM)
هش تخصیص، کاربران را بهصورت تصادفی میان واریانتها تقسیم میکند. اگر قرار بر تقسیم 50/50 بوده اما نتیجه 47/53 ثبت شده، مشکلی وجود دارد — بررسی SRM به این وضعیت هشدار میدهد. هر دو پلتفرم این قابلیت را دارند.
مقایسهی Statsig و GrowthBook
Statsig:
- تصاحب توسط OpenAI با ارزش 1.1 میلیارد دلار (سپتامبر 2025). میزبانیشده، بهصورت SaaS.
- آزمون ترتیبی، CUPED، گروههای کنترل نگهداشتهشده (held-out populations).
- همهچیز در یک پکیج: فیچر فلگها + آزمایشها + رصدپذیری (observability).
- بهترین گزینه: برای تیمهایی که راهحل تجمیعی آماده میخواهند و مالکان جدید آن برایشان دغدغه نیست.
GrowthBook:
- متنباز (لایسنس MIT)؛ هماهنگ با انبار داده (مستقیماً از Snowflake، BigQuery و Redshift میخواند).
- چند موتور: بیزی، فراوانیگرا، ترتیبی.
- پشتیبانی از CUPED، SRM، بونفرونی و تصحیحات BH.
- قابلیت خودمیزبانی (self-host) یا فضای ابری مدیریتشده.
- بهترین گزینه: سازمانهای متکی بر انبار داده و SQL، جاهایی که تیم داده لایهی معیار را کنترل میکند و راهحلهای متنباز ترجیح دارند.
اختلال ناشی از غیرقطعی بودن مدلها در توان آماری
یک پرامپت یکسان میتواند خروجیهای متفاوتی بسازد. محاسبات سنتیِ توان آماری، مشاهدات را مستقل و با توزیع یکسان (IID) فرض میکنند. در حضور رفتار غیرقطعی مدل زبانی، حجم نمونهی موثر کمتر از مقدار اسمی است؛ بنابراین حجم نمونهی موردنیاز را با ضریب ایمنی حدود 1.3 تا 1.5 برابر افزایش دهید.
خروجی چند نمونهی واقعی
- واریانت مدل پاداش چتبات: 70%+ افزایش طول گفتگو، 30%+ بهبود ماندگاری.
- عنوانهای ایمیل Nextdoor: رشد 1%+ در CTR پس از اصلاح تابع پاداش.
- ابزار Khanmigo در Khan Academy: سبکسنگین کردن مداوم تاخیر در برابر دقت حل مسائل ریاضی.
پادالگوی رایج: عرضه بر اساس حسوحال
هر مهندس باتجربهای قابلیتهایی را به یاد دارد که تنها با توجیه «حس بهتری میدهد» و بدون تست A/B عرضه شدند. بیشتر این فیچرها باعث پسرفت معیارهای محصول شدند؛ افتی که تیمها تا ماهها متوجه آن نشدند. تست A/B نیروی محرکهی بازدارنده است.
اعدادی که باید به خاطر بسپارید
- تصاحب Statsig توسط OpenAI: معادل 1.1 میلیارد دلار، سپتامبر 2025.
- پلتفرم GrowthBook: متنباز با لایسنس MIT؛ رویکرد بیزی + فراوانیگرا + ترتیبی.
- میزان کاهش واریانس با CUPED: بین 30 تا 70 درصد.
- رفتار غیرقطعی مدلهای زبانی ← نیاز به حاشیهی امن 30 تا 50 درصدی در حجم نمونه.
استفاده از ابزارهای واقعی
اسکریپت code/main.py یک تست A/B ترتیبی را با مرزهای ثابت و ترتیبی شبیهسازی میکند و نشان میدهد چگونه رویکرد ترتیبی توقف زودهنگام را ممکن میسازد.
خروجی این درس
این درس یک فایل در مسیر outputs/skill-ab-plan.md تولید میکند. این مستند با دریافت تغییر فیچر، بار کاری و خط مبنا، پلتفرم، شروط عبور و حجم نمونه را مشخص میکند.
تمرینها
- اسکریپت
code/main.pyرا اجرا کنید. با فرض بهبود مورد انتظار 5 درصدی و نرخ تبدیل خط مبنای 3 درصد، برای رسیدن به توان آماری 80 درصد به چه حجم نمونهای نیاز دارید؟ - برای یک مشتری تحت قوانین حوزهی سلامت که زیرساخت محلی (on-prem) دارد، بین Statsig و GrowthBook یکی را انتخاب کنید.
- یک تست A/B برای مقایسهی GPT-4 و GPT-3.5 بر اساس «هزینهی حل هر تیکت» طراحی کنید. معیار اولیه، معیار محافظتی (guardrail metric) و معیار ثانویهی شما چیست؟
- تست قناری (canary) موفقیتآمیز است اما تست A/B افت 1.2-% در نرخ تبدیل را نشان میدهد. آیا محصول را عرضه میکنید؟ معیارهای ارجاع و بازنگری (escalation criteria) را بنویسید.
- روش CUPED را با یک کوواریات پیشآزمایش که 60 درصد از واریانس دورهی پسآزمایش را توجیه میکند (توان دوم همبستگی برابر با 0.6) اعمال کنید. میزان افزایش حجم نمونهی موثر را به دست آورید.
اصطلاحات کلیدی
| اصطلاح | در گفتوگوها | معنای واقعی |
|---|---|---|
| ارزیابی (Eval) | «تست آفلاین» | ارزیابی توانایی مدل روی دادههای برچسبدار |
| تست A/B | «آزمایش» | مقایسهی تصادفی روی کاربران واقعی بهصورت آنلاین |
| روش CUPED | «کاهش واریانس» | رگرسیون روی دادههای پیشآزمایش برای کاهش واریانس |
| آزمون ترتیبی | «تست سرککشیدن» | رویهای همیشه معتبر که اجازه توقف زودهنگام را میدهد |
| مقایسهی چندگانه | «خطای خانواده» | اجرای چند آزمون بهطور همزمان که مثبتهای کاذب را بالا میبرد |
| بونفرونی (Bonferroni) | «تصحیح سختگیرانه» | تقسیم α بر تعداد کل آزمونها |
| بنجامینی-هاچبرگ (Benjamini-Hochberg) | «FDR روش BH» | کنترل نرخ کشف کاذب با محافظهکاری کمتر |
| عدم تطابق نسبت نمونه (SRM) | «تقسیم نادرست» | عدم تطابق نسبت نمونه؛ باگ در تخصیص کاربران |
| Statsig | «متعلق به OpenAI» | محصول تجاری همهچیز در یک پکیج، تصاحبشده در 2025 |
| GrowthBook | «نسخهی متنباز» | پلتفرم هماهنگ با انبار داده تحت لایسنس MIT |
| آزمون mSPRT | «تست نسبت احتمال ترتیبی» | رویهی ترتیبی کلاسیک |
