قضیه بیز و طبقه‌بند نایو بیز در یادگیری ماشین

بسیاری از مدل‌های یادگیری ماشین هنگام پیش‌بینی در محیط‌های تولیدی با مشکلی اساسی روبرو می‌شوند: اعتمادبه‌نفس کاذب در خروجی‌ها. وقتی مدلی احتمال کلاسی را بالا گزارش می‌کند، لزوماً به این معنا نیست که در شرایط نایاب بودن آن رخداد، پیش‌بینی قابل‌اطمینانی ارائه داده است. قضیه‌ی بیز چارچوبی شفاف فراهم می‌کند تا عدم قطعیت را به شیوه‌ای اصولی فرمول‌بندی و مدیریت کنیم.

درک تفکر بیزی پل اتصال میان آمار کلاسیک و یادگیری ماشین پیشرفته است. مفاهیمی مانند منظم‌سازی مدل‌ها، به‌روزرسانی آنلاین در سیستم‌های بلادرنگ و طراحی آزمون‌های A/B با بهره‌گیری از روابط بیزی به سادگی قابل پیاده‌سازی و تفسیر هستند. این دیدگاه به مهندسان نرم‌افزار و یادگیری ماشین امکان می‌دهد تا به‌جای تصمیم‌گیری کورکورانه بر پایه‌ی احتمالات کالیبره‌نشده، مدل‌های قابل‌اعتماد بسازند.

در این درس علاوه بر بررسی دقیق ریاضیات قضیه‌ی بیز و تفاوت‌های برآورد MLE و MAP، یک طبقه‌بند متن نایو بیز را از پایه در پایتون کدنویسی می‌کنید و نحوه‌ی استفاده از آن را در تست‌های A/B به‌صورت عملی فرا می‌گیرید.

احتمال درباره‌ی چیزی است که انتظارش را دارید؛ قضیه‌ی بیز درباره‌ی چیزی است که یاد می‌گیرید.

اهداف یادگیری

• به‌کارگیری قضیه‌ی بیز برای محاسبه‌ی احتمال‌های پسین از روی پیشین‌ها، درست‌نمایی‌ها و شواهد
• ساخت طبقه‌بند متن نایو بیز (Naive Bayes) از صفر همراه با هموارسازی لاپلاس و محاسبات در فضای لگاریتمی
• مقایسه‌ی برآورد درست‌نمایی بیشینه (MLE) با برآورد بیشینه‌احتمال پسین (MAP) و توضیح ارتباط MAP با منظم‌سازی L2
• پیاده‌سازی به‌روزرسانی متوالی بیزی با استفاده از پیشین‌های مزدوج بتا-دو‌جمله‌ای برای آزمون‌های A/B

صورت مسئله

یک آزمایش پزشکی 99% دقت دارد. نتیجه‌ی آزمایش شما مثبت می‌شود. چقدر احتمال دارد که واقعاً بیمار باشید؟

بیشتر افراد می‌گویند 99%. پاسخ واقعی به میزان نایاب بودن آن بیماری بستگی دارد. اگر از هر 10,000 نفر فقط 1 نفر به این بیماری مبتلا باشد، نتیجه‌ی مثبت یعنی تنها حدود 1% شانس بیمار بودن دارید. آن 99% دیگرِ نتایج مثبت، هشدارهای کاذب مربوط به افراد سالم‌اند.

این سؤال انحرافی نیست؛ پای خودِ قضیه‌ی بیز (Bayes' theorem) در میان است. همه‌ی فیلترهای اسپم، سیستم‌های تشخیص پزشکی و مدل‌های یادگیری ماشینی که عدم قطعیت را اندازه می‌گیرند، دقیقاً از همین استدلال استفاده می‌کنند. شما با یک باور شروع می‌کنید، شاهدی می‌بینید و باورتان را به‌روزرسانی می‌کنید.

اگر بدون درک این مفهوم سیستم‌های یادگیری ماشین بسازید، خروجی مدل‌ها را اشتباه تفسیر می‌کنید، آستانه‌های نامناسبی تعیین می‌کنید و پیش‌بینی‌هایی تحویل می‌دهید که بیش از حد به خود مطمئن‌اند.

مفاهیم پایه

از احتمال توأم تا قضیه‌ی بیز

از درس 06 به یاد دارید که احتمال شرطی (conditional probability) به‌صورت زیر است:

$$P(A \mid B) = \frac{P(A \text{ and } B)}{P(B)}$$

و به‌صورت متقارن:

$$P(B \mid A) = \frac{P(A \text{ and } B)}{P(A)}$$

صورت هر دو عبارت یکسان است: $P(A \text{ and } B)$. آن‌ها را برابر هم قرار دهید و بازآرایی کنید:

$$\begin{aligned} P(A \text{ and } B) &= P(A \mid B) \cdot P(B) = P(B \mid A) \cdot P(A) \\[4pt] &\text{Therefore:} \\[4pt] P(A \mid B) &= \frac{P(B \mid A) \cdot P(A)}{P(B)} \end{aligned}$$

این همان قضیه‌ی بیز است. چهار مؤلفه، یک معادله.

چهار بخش معادله

عبارت شواهد یعنی $P(B)$ نقش نرمال‌کننده را بازی می‌کند. می‌توانید با استفاده از قانون احتمال کل آن را باز کنید:

$$P(B) = P(B \mid A) \cdot P(A) + P(B \mid \text{not } A) \cdot P(\text{not } A)$$

مثال آزمایش پزشکی

یک بیماری از هر 10,000 نفر، 1 نفر را مبتلا می‌کند. آزمایش 99% دقیق است (99% افراد بیمار را شناسایی می‌کند و در 1% مواقع نتیجه‌ی مثبت کاذب می‌دهد).

$$\begin{aligned} P(\text{sick}) &= 0.0001 \quad \text{(prior: disease is rare)} \\ P(\text{positive} \mid \text{sick}) &= 0.99 \quad \text{(likelihood: test catches it)} \\ P(\text{positive} \mid \text{healthy}) &= 0.01 \quad \text{(false positive rate)} \\[6pt] P(\text{positive}) &= P(\text{positive} \mid \text{sick}) \cdot P(\text{sick}) + P(\text{positive} \mid \text{healthy}) \cdot P(\text{healthy}) \\ &= 0.99 \cdot 0.0001 + 0.01 \cdot 0.9999 \\ &= 0.000099 + 0.009999 \\ &= 0.010098 \\[6pt] P(\text{sick} \mid \text{positive}) &= P(\text{positive} \mid \text{sick}) \cdot P(\text{sick}) / P(\text{positive}) \\ &= 0.99 \cdot 0.0001 / 0.010098 \\ &= 0.0098 \\ &= 0.98\% \end{aligned}$$

کمتر از 1%. احتمال پیشین دست بالا را دارد. وقتی یک عارضه نادر است، حتی آزمایش‌های دقیق هم اکثراً نتایج مثبت کاذب تولید می‌کنند. به همین دلیل است که پزشکان آزمایش‌های تأییدی تجویز می‌کنند.

مثال فیلتر اسپم

ایمیلی حاوی واژه‌ی «lottery» دریافت می‌کنید. آیا اسپم است؟

$$\begin{aligned} P(\text{spam}) &= 0.3 \quad \text{(30\% of email is spam)} \\ P(\text{"lottery"} \mid \text{spam}) &= 0.05 \quad \text{(5\% of spam emails contain "lottery")} \\ P(\text{"lottery"} \mid \text{not spam}) &= 0.001 \quad \text{(0.1\% of legitimate emails contain "lottery")} \\[6pt] P(\text{"lottery"}) &= 0.05 \cdot 0.3 + 0.001 \cdot 0.7 \\ &= 0.015 + 0.0007 \\ &= 0.0157 \\[6pt] P(\text{spam} \mid \text{"lottery"}) &= 0.05 \cdot 0.3 / 0.0157 \\ &= 0.955 \\ &= 95.5\% \end{aligned}$$

تنها یک واژه احتمال را از 30% به 95.5% تغییر می‌دهد. یک فیلتر اسپم واقعی، قضیه‌ی بیز را به‌طور هم‌زمان روی صدها واژه اعمال می‌کند.

نایو بیز: فرض استقلال

مدل نایو بیز با فرض اینکه همه‌ی ویژگی‌ها به شرط داشتن کلاس از یکدیگر مستقل‌اند، این رویکرد را به چندین ویژگی گسترش می‌دهد:

$$P(\text{class} \mid \text{feature}_1, \text{feature}_2, \ldots, \text{feature}_n) = \frac{P(\text{class}) \cdot P(\text{feature}_1 \mid \text{class}) \cdot P(\text{feature}_2 \mid \text{class}) \cdots P(\text{feature}_n \mid \text{class})}{P(\text{feature}_1, \text{feature}_2, \ldots, \text{feature}_n)}$$

واژه‌ی «نایو» (ساده‌لوحانه) به همین فرض استقلال شرطی اشاره دارد. در متن، رخداد واژه‌ها از هم مستقل نیست (مثلاً «New» و «York» همبسته‌اند). اما این فرض در عمل فوق‌العاده خوب جواب می‌دهد؛ چرا که طبقه‌بند فقط باید کلاس‌ها را رتبه‌بندی کند، نه اینکه احتمال‌های کالیبره‌شده بسازد.

از آنجا که مخرج برای همه‌ی کلاس‌ها یکسان است، می‌توانید از آن صرف‌نظر کنید و فقط صورت‌ها را مقایسه کنید:

$$\text{score}(\text{class}) = P(\text{class}) \cdot \prod_i P(\text{feature}_i \mid \text{class})$$

کلاسی را انتخاب کنید که بیشترین امتیاز را دارد.

برآورد درست‌نمایی بیشینه (MLE)

چگونه مقدار $P(\text{feature} \mid \text{class})$ را از داده‌های آموزشی به دست می‌آورید؟ با شمارش.

$$P(\text{"free"} \mid \text{spam}) = \frac{\text{number of spam emails containing "free"}}{\text{total spam emails}}$$

این همان MLE است: مقادیری از پارامترها را انتخاب کنید که داده‌های مشاهده‌شده را به محتمل‌ترین حالت ممکن برسانند. در واقع شما تابع درست‌نمایی را بیشینه می‌کنید که برای شمارش‌های گسسته به همان فراوانی نسبی تبدیل می‌شود.

مشکل: اگر واژه‌ای در مرحله‌ی آموزش هرگز در اسپم دیده نشود، روش MLE احتمال آن را صفر در نظر می‌گیرد. یک واژه‌ی دیده‌نشده کل حاصل‌ضرب را از بین می‌برد. این مشکل را با هموارسازی لاپلاس (Laplace smoothing) برطرف کنید:

$$P(\text{word} \mid \text{class}) = \frac{\text{count}(\text{word}, \text{class}) + 1}{\text{total\_words\_in\_class} + \text{vocabulary\_size}}$$

افزودن 1 به هر شمارش تضمین می‌کند که هیچ احتمالی هرگز صفر نخواهد شد.

بیشینه‌احتمال پسین (MAP)

روش MLE می‌پرسد: چه پارامترهایی مقدار $P(\text{data} \mid \text{parameters})$ را بیشینه می‌کنند؟

روش MAP می‌پرسد: چه پارامترهایی مقدار $P(\text{parameters} \mid \text{data})$ را بیشینه می‌کنند؟

طبق قضیه‌ی بیز:

$$P(\text{parameters} \mid \text{data}) \propto P(\text{data} \mid \text{parameters}) \cdot P(\text{parameters})$$

روش MAP یک پیشین روی خودِ پارامترها اضافه می‌کند. اگر باورتان این است که پارامترها باید مقادیر کوچکی داشته باشند، این باور را در قالب پیشینی تعریف می‌کنید که به مقادیر بزرگ جریمه می‌دهد. این فرایند دقیقاً همان منظم‌سازی L2 در یادگیری ماشین است. جریمه‌ی «ridge» در رگرسیون ریج، در واقع همان اعمال پیشین گوسی روی وزن‌هاست.

بیزی در برابر بسامدگرا: تفاوت کاربردی

بسامدگرایان (Frequentists) پارامترها را مقادیر ثابتِ ناشناخته می‌دانند. آن‌ها می‌پرسند: «اگر این آزمایش را بارها تکرار کنم، چه پیش خواهد آمد؟»

بیزی‌ها (Bayesians) پارامترها را در قالب توزیع‌ها می‌بینند. آن‌ها می‌پرسند: «با توجه به آنچه مشاهده کرده‌ام، چه باوری درباره‌ی پارامترها دارم؟»

برای ساخت سیستم‌های یادگیری ماشین، تفاوت‌های کاربردی این دو رویکرد عبارت‌اند از:

بیشتر سیستم‌های یادگیری ماشین عملیاتی، بسامدگرا هستند (SGD، برآوردهای نقطه‌ای). روش‌های بیزی زمانی می‌درخشند که به عدم قطعیت کالیبره‌شده نیاز دارید (تصمیم‌گیری‌های پزشکی، سیستم‌های حساس به ایمنی) یا زمانی که داده‌ها کمیاب‌اند (یادگیری چند-نمونه‌ای، شروع سرد).

چرا تفکر بیزی برای یادگیری ماشین مهم است؟

ارتباط این مفاهیم عمیق‌تر از یک تمثیل ساده است:

پیشین‌ها همان منظم‌سازی هستند. یک پیشین گوسی روی وزن‌ها، همان منظم‌سازی L2 است. یک پیشین لاپلاس همان L1 است. هر بار که ترم منظم‌سازی اضافه می‌کنید، در واقع گزاره‌ای بیزی مطرح می‌کنید درباره‌ی اینکه چه مقادیری را برای پارامترها انتظار دارید.

توزیع‌های پسین همان عدم قطعیت هستند. یک احتمال پیش‌بینی‌شده‌ی تکی، هیچ اطلاعاتی درباره‌ی میزان اطمینان مدل از آن برآورد به شما نمی‌دهد. روش‌های بیزی به شما یک توزیع می‌دهند: «فکر می‌کنم $P(\text{spam})$ بین 0.8 و 0.95 باشد.»

به‌روزرسانی‌های بیزی همان یادگیری برخط هستند. پسینِ امروز به پیشینِ فردا تبدیل می‌شود. وقتی مدل شما داده‌های جدیدی می‌بیند، به‌جای بازآموزی از صفر، باورهایش را به‌صورت تدریجی به‌روزرسانی می‌کند.

مقایسه‌ی مدل‌ها ساختاری بیزی دارد. معیار اطلاعات بیزی (BIC)، درست‌نمایی حاشیه‌ای و فاکتورهای بیز، همگی از استدلال بیزی برای انتخاب میان مدل‌ها بدون خطر بیش‌برازش استفاده می‌کنند.

ساخت از صفر

مرحله‌ی 1: تابع قضیه‌ی بیز

def bayes(prior, likelihood, false_positive_rate):
    evidence = likelihood * prior + false_positive_rate * (1 - prior)
    posterior = likelihood * prior / evidence
    return posterior

result = bayes(prior=0.0001, likelihood=0.99, false_positive_rate=0.01)
print(f"P(sick|positive) = {result:.4f}")

مرحله‌ی 2: طبقه‌بند نایو بیز

import math
from collections import defaultdict

class NaiveBayes:
    def __init__(self, smoothing=1.0):
        self.smoothing = smoothing
        self.class_counts = defaultdict(int)
        self.word_counts = defaultdict(lambda: defaultdict(int))
        self.class_word_totals = defaultdict(int)
        self.vocab = set()

    def train(self, documents, labels):
        for doc, label in zip(documents, labels):
            self.class_counts[label] += 1
            words = doc.lower().split()
            for word in words:
                self.word_counts[label][word] += 1
                self.class_word_totals[label] += 1
                self.vocab.add(word)

    def predict(self, document):
        words = document.lower().split()
        total_docs = sum(self.class_counts.values())
        vocab_size = len(self.vocab)
        best_class = None
        best_score = float("-inf")
        for cls in self.class_counts:
            score = math.log(self.class_counts[cls] / total_docs)
            for word in words:
                count = self.word_counts[cls].get(word, 0)
                total = self.class_word_totals[cls]
                score += math.log((count + self.smoothing) / (total + self.smoothing * vocab_size))
            if score > best_score:
                best_score = score
                best_class = cls
        return best_class

احتمال‌های لگاریتمی مانع از پدیده‌ی زیرریز (underflow) می‌شوند. ضرب تعداد زیادی احتمال کوچک، اعدادی به دست می‌دهد که برای ممیز شناور بیش از حد ریز هستند. جمع بستن لگاریتمِ احتمال‌ها پایدار از نظر عددی و از نظر ریاضیاتی کاملاً معادل است.

مرحله‌ی 3: آموزش روی داده‌های اسپم

train_docs = [
    "win free money now",
    "free lottery ticket winner",
    "claim your prize today free",
    "urgent offer free cash",
    "congratulations you won free",
    "meeting tomorrow at noon",
    "project update attached",
    "can we schedule a call",
    "quarterly report review",
    "lunch on thursday sounds good",
    "team standup notes attached",
    "please review the pull request",
]

train_labels = [
    "spam", "spam", "spam", "spam", "spam",
    "ham", "ham", "ham", "ham", "ham", "ham", "ham",
]

classifier = NaiveBayes()
classifier.train(train_docs, train_labels)

test_messages = [
    "free money waiting for you",
    "meeting rescheduled to friday",
    "you won a free prize",
    "please review the attached report",
]

for msg in test_messages:
    print(f"  '{msg}' -> {classifier.predict(msg)}")

مرحله‌ی 4: بررسی احتمال‌های یادگرفته‌شده

def show_top_words(classifier, cls, n=5):
    vocab_size = len(classifier.vocab)
    total = classifier.class_word_totals[cls]
    probs = {}
    for word in classifier.vocab:
        count = classifier.word_counts[cls].get(word, 0)
        probs[word] = (count + classifier.smoothing) / (total + classifier.smoothing * vocab_size)
    sorted_words = sorted(probs.items(), key=lambda x: x[1], reverse=True)
    for word, prob in sorted_words[:n]:
        print(f"    {word}: {prob:.4f}")

print("\nTop spam words:")
show_top_words(classifier, "spam")
print("\nTop ham words:")
show_top_words(classifier, "ham")

استفاده از آن

کتابخانه‌ی Scikit-learn پیاده‌سازی‌های آماده‌ی محیط عملیاتی را برای نایو بیز ارائه می‌دهد:

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report

vectorizer = CountVectorizer()
X_train = vectorizer.fit_transform(train_docs)
clf = MultinomialNB()
clf.fit(X_train, train_labels)

X_test = vectorizer.transform(test_messages)
predictions = clf.predict(X_test)
for msg, pred in zip(test_messages, predictions):
    print(f"  '{msg}' -> {pred}")

الگوریتم دقیقاً یکسان است. CountVectorizer فرایند توکنایز کردن و ساخت واژگان را انجام می‌دهد. MultinomialNB هم هموارسازی و احتمال‌های لگاریتمی را درونی مدیریت می‌کند. کلاسی که خودتان از صفر ساختید، همین کار را در 40 خط پیاده می‌کند.

استفاده در عمل

کلاس NaiveBayes که در این درس ساخته شد، کل فرایند را به نمایش می‌گذارد: توکنایز کردن، برآورد احتمال با هموارسازی لاپلاس و پیش‌بینی در فضای لگاریتمی. کد موجود در code/bayes.py بدون نیاز به هیچ وابستگی‌ای خارج از کتابخانه‌ی استاندارد Python اجرا می‌شود.

پیشین‌های مزدوج

وقتی پیشین و پسین به یک خانواده از توزیع‌ها تعلق دارند، به پیشین «مزدوج» (Conjugate) می‌گویند. این ویژگی به‌روزرسانی بیزی را از نظر جبری بسیار تر‌و‌تمیز می‌کند؛ به‌طوری که فرم بسته‌ای از پسین به دست می‌آورید و نیازی به انتگرال‌گیری عددی نخواهید داشت.

اهمیت این موضوع: بدون پیشین‌های مزدوج، ناچارید برای تقریب زدن پسین از روش‌های نمونه‌برداری مونت‌کارلو یا استنتاج متغیری استفاده کنید. اما با پیشین‌های مزدوج، فقط دو عدد را به‌روزرسانی می‌کنید.

توزیع بتا (Beta distribution) رایج‌ترین پیشین مزدوج در عمل است. نماد $\text{Beta}(a, b)$ بیانگر باور شما درباره‌ی یک پارامتر احتمال است. میانگین آن $a/(a+b)$ است. هر چه $a+b$ بزرگ‌تر باشد، توزیع متمرکزتر (و مطمئن‌تر) خواهد بود.

حالت‌های خاص پیشین بتا:

• $\text{Beta}(1, 1)$ = یکنواخت (uniform). شما هیچ نظری درباره‌ی پارامتر ندارید.
• $\text{Beta}(10, 10)$ = قله در نقطه‌ی 0.5. شما قویاً معتقدید که پارامتر نزدیک به 0.5 است.
• $\text{Beta}(1, 10)$ = متمایل به سمت صفر. باور دارید که پارامتر کوچک است.

قاعده‌ی به‌روزرسانی فوق‌العاده ساده است:

$$\begin{aligned} \text{Prior:} \quad & \text{Beta}(a, b) \\ \text{Data:} \quad & s \text{ successes}, f \text{ failures} \\ \text{Posterior:} \quad & \text{Beta}(a + s, b + f) \end{aligned}$$

نه انتگرالی در کار است، نه نمونه‌برداری؛ فقط یک جمع ساده.

به‌روزرسانی متوالی بیزی

استنتاج بیزی ذاتاً متوالی است. پسینِ امروز به پیشینِ فردا تبدیل می‌شود. سیستم‌های واقعی با همین سازوکار به‌صورت تدریجی یاد می‌گیرند، بدون اینکه لازم باشد همه‌ی داده‌های گذشته را از نو پردازش کنند.

یک مثال ملموس: برآورد منصفانه بودن یک سکه.

روز 1: هنوز داده‌ای نیست. با $\text{Beta}(1, 1)$ شروع کنید — یک پیشین یکنواخت. هیچ نظری ندارید.

• میانگین پیشین: 0.5
• پیشین در بازه‌ی [0, 1] کاملاً مسطح است

روز 2: مشاهده‌ی 7 بار شیر و 3 بار خط. $\text{Posterior} = \text{Beta}(1 + 7, 1 + 3) = \text{Beta}(8, 4)$

• میانگین پسین: $8/12 = 0.667$
• شواهد نشان می‌دهند سکه به سمت شیر اریب است

روز 3: مشاهده‌ی 5 شیر و 5 خط دیگر. از پسین دیروز به‌عنوان پیشین امروز استفاده کنید. $\text{Posterior} = \text{Beta}(8 + 5, 4 + 5) = \text{Beta}(13, 9)$

• میانگین پسین: $13/22 = 0.591$
• داده‌های متوازن جدید، برآورد را دوباره به سمت 0.5 کشیدند

ترتیب مشاهدات هیچ اهمیتی ندارد. به‌روزرسانی $\text{Beta}(1,1)$ با همه‌ی 12 شیر و 8 خط به‌صورت یک‌جا باز هم مقدار $\text{Beta}(13, 9)$ را می‌دهد — همان نتیجه. به‌روزرسانی متوالی و به‌روزرسانی دسته‌ای از نظر ریاضی کاملاً معادل‌اند؛ اما به‌روزرسانی متوالی این امکان را می‌دهد که در هر مرحله بدون نیاز به ذخیره‌ی داده‌های خام تصمیم بگیرید.

این پایه و اساس یادگیری برخط (online learning) در سیستم‌های یادگیری ماشین محیط عملیاتی است. تامپسون سمپلینگ (Thompson sampling) در سیستم‌های چندبازویی، سیستم‌های توصیه‌گر تدریجی و سیستم‌های تشخیص ناهنجاری استریمینگ همگی از همین الگو پیروی می‌کنند.

ارتباط با آزمون A/B

آزمون‌های A/B همان استنتاج بیزی در لباسی دیگرند.

صورت مسئله: دو رنگ دکمه را مقایسه می‌کنید؛ نسخه‌ی A (آبی) و نسخه‌ی B (سبز). می‌خواهید بدانید کدام‌یک کلیک بیشتری جذب می‌کند.

مراحل آزمون A/B بیزی:

1. پیشین. برای هر دو نسخه با $\text{Beta}(1, 1)$ شروع کنید. هیچ ترجیح اولیه‌ای وجود ندارد.
2. داده‌ها. نسخه‌ی A: تعداد 50 کلیک از 1000 بازدید؛ نسخه‌ی B: تعداد 65 کلیک از 1000 بازدید.
3. پسین‌ها.
   • نسخه A: $\text{Beta}(1 + 50, 1 + 950) = \text{Beta}(51, 951)$. میانگین = 0.051
   • نسخه B: $\text{Beta}(1 + 65, 1 + 935) = \text{Beta}(66, 936)$. میانگین = 0.066
4. تصمیم‌گیری. مقدار $P(B > A)$ را محاسبه کنید — احتمال اینکه نرخ تبدیل واقعی نسخه B بالاتر از A باشد.

محاسبه‌ی تحلیلی $P(B > A)$ سخت است؛ اما مونت‌کارلو آن را بسیار ساده می‌کند:

1. Draw 100,000 samples from Beta(51, 951)  -> samples_A
2. Draw 100,000 samples from Beta(66, 936)  -> samples_B
3. P(B > A) = fraction of samples where B > A

اگر $P(B > A) > 0.95$ باشد، نسخه‌ی B را راهی محیط عملیاتی می‌کنید. اگر بین 0.05 و 0.95 باشد، به جمع‌آوری داده ادامه می‌دهید. اگر $P(B > A) < 0.05$ باشد، نسخه‌ی A را روانه‌ی محیط عملیاتی می‌کنید.

مزایا نسبت به آزمون‌های A/B بسامدگرا:

• یک گزاره‌ی احتمالی صریح دریافت می‌کنید: «به احتمال 97% نسخه B بهتر است»
• سردرگمی درباره‌ی p-value وجود ندارد؛ از محافظه‌کاری‌های کلامی مانند «عدم رد فرض صفر» خبری نیست.
• می‌توانید در هر زمان نتایج را بررسی کنید بدون آنکه نرخ مثبت کاذب بالا برود (بدون مشکل «بررسی زودهنگام» یا peeking problem)
• می‌توانید دانش قبلی را وارد کار کنید (مثلاً آزمون‌های پیشین نشان می‌دهند نرخ تبدیل معمولاً 3 تا 8 درصد است)

تمرین‌ها

1. چندین آزمایش. نتیجه‌ی دو آزمایش مستقل برای یک بیمار مثبت می‌شود (دقت هر دو آزمایش 99% است و میزان شیوع بیماری 1 در 10,000 است). مقدار $P(\text{sick})$ بعد از هر دو آزمایش چقدر است؟ از پسینِ حاصل از آزمایش اول به‌عنوان پیشینِ آزمایش دوم استفاده کنید.

2. تأثیر هموارسازی. طبقه‌بند اسپم را با مقادیر هموارسازی 0.01، 0.1، 1.0 و 10.0 اجرا کنید. احتمال واژه‌های برتر چه تغییری می‌کند؟ اگر هموارسازی 0 باشد و واژه‌ای فقط در پیام‌های غیراسپم (ham) آمده باشد، چه رخ می‌دهد؟

3. افزودن ویژگی‌ها. کلاس NaiveBayes را توسعه دهید تا علاوه بر شمارش واژه‌ها، طول پیام (کوتاه/بلند) را نیز به‌عنوان یک ویژگی در نظر بگیرد. مقادیر $P(\text{short} \mid \text{spam})$ و $P(\text{short} \mid \text{ham})$ را از داده‌های آموزشی برآورد کنید و آن را در امتیاز نهایی پیش‌بینی اعمال نمایید.

4. محاسبه‌ی دستی MAP. با توجه به داده‌های مشاهده‌شده (7 بار شیر در 10 بار پرتاب سکه)، برآورد MAP را برای اریبی سکه با استفاده از یک پیشین $\text{Beta}(2,2)$ حساب کنید. آن را با برآورد MLE یعنی ($7/10$) مقایسه کنید.

راهنمایی‌ها

تمرین 1. تابع bayes را یک بار فراخوانی کنید تا پسین آزمایش 1 به دست آید؛ سپس آن را دوباره با همان پسین به‌عنوان پیشین فراخوانی کنید. تابع sequential_bayes(prior, likelihood, false_positive_rate, 2) باید همان مقدار را به شما بدهد که عددی نزدیک به 0.5 است.

تمرین 2. به ازای هر مقدار، یک نمونه از NaiveBayes(smoothing=s) بسازید، آن را روی همان داده‌ها آموزش دهید و top_words را چاپ کنید. با هموارسازی 0، واژه‌ای که هرگز در اسپم نیامده باشد، احتمال صفر دریافت می‌کند؛ بنابراین لگاریتم آن تعریف‌نشده خواهد بود.

تمرین 3. بشمارید چه تعداد از پیام‌های اسپم و غیراسپم کوتاه هستند، آن را بر تعداد پیام‌های هر کلاس تقسیم کنید و لگاریتم این نسبت را به امتیاز کلاس در predict بیفزایید. بررسی کنید که مجموع دو احتمال برای هر کلاس برابر 1 شود.

تمرین 4. با پیشین $\text{Beta}(\alpha, \beta)$، برآورد MAP برابر با $\frac{h + \alpha - 1}{n + \alpha + \beta - 2}$ است. مقادیر $h = 7$ و $n = 10$ را جای‌گذاری کنید؛ نتیجه باید بین برآورد MLE (یعنی 0.7) و مُد پیشین (یعنی 0.5) باشد.

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• 3Blue1Brown: Bayes' theorem - توضیح بصری با مثال آزمایش پزشکی
• Stanford CS229: Generative Learning Algorithms - نایو بیز و ارتباط آن با مدل‌های تفکیکی
• Think Bayes - کتاب رایگان آمار بیزی همراه با کد پایتون
• scikit-learn Naive Bayes - پیاده‌سازی‌های آماده‌ی محیط عملیاتی و زمان به‌کارگیری هر نوع از آن