سؤال مصاحبه

آموزش کوچک‌ترین مدل زبانی فراتر از خط مبنا

Train the smallest language model past its baseline

  • سطح ۳: ارشد
  • پروژه‌ی خانگی
  • ۳۰ دقیقه

یک حلقه‌ی آموزش برای جدولی از لاجیت‌های (logits) نویسه‌ی بعدی بنویسید: یک سطر به ازای هر نویسه‌ی زمینه (context) و یک ستون به ازای هر نویسه‌ی بعدی. این جدول را با روش گرادیان کاهشی (gradient descent) روی یک متن، با بودجه‌ی گام ثابت و یک تولیدکننده‌ی تصادفی با مقدار اولیه (seed)، آموزش دهید تا جایی که مقدار NLL آن روی داده‌های ارزیابی کنارگذاشته‌شده (held-out split) از مدلی که زمینه را نادیده می‌گیرد کمتر شود. بگویید بررسی داده‌های نگه‌داشته‌شده باید چه ویژگی‌هایی داشته باشد تا این مقایسه معنایی داشته باشد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

جفت‌ها را طوری بسازید که نویسه‌ی فعلی همان زمینه و نویسه‌ی بعدی همان هدف باشد. سپس log-softmax را روی هر سطر حساب کنید و میانگین لگاریتم منفی احتمالاتِ هدف (negative log-probabilities) را روی جفت‌های آموزشی، در چارچوب بودجه‌ی گام تعیین‌شده، با گرادیان کاهشی کمینه کنید. بررسی داده‌های نگه‌داشته‌شده، عملکرد مدل را روی یک بخش ثابت می‌سنجد که مرحله‌ی آموزش هرگز آن را ندیده است؛ آن هم با تعریفی یکسان از تابع زیان (loss) برای مدل دوتایی (bigram) و خط مبنای تک‌تایی (unigram baseline). مدل تنها زمانی قبول می‌شود که مقدار زیان آن روی داده‌های نگه‌داشته‌شده کمتر از خط مبنا باشد. بازتولیدپذیری (reproducibility) هم با مقداردهی اولیه‌ی جدول از طریق همان تولیدکننده‌ای به دست می‌آید که فراخواننده ارسال کرده است، نه یک تولیدکننده‌ی سراسری.

پاسخ کامل

مدل و حلقه

def train(text, rng, steps, lr):
    pairs = [(ord(a), ord(b)) for a, b in zip(text, text[1:])]
    W = rng.normal(0, 1, (V, V))
    for _ in range(steps):
        logits = W[[a for a, _ in pairs]]
        logp = log_softmax(logits)
        grad = softmax(logits)
        grad[np.arange(len(pairs)), [b for _, b in pairs]] -= 1
        gW = np.zeros_like(W)
        np.add.at(gW, [a for a, _ in pairs], grad / len(pairs))
        W = W - lr * gW
    return W


def next_log_probs(W, context):
    return log_softmax(W[context])

جهت جفت‌ها، اساس کل مدل است: اول زمینه، بعد هدف. معکوس کردن آن‌ها مدلی می‌سازد که نویسه‌ی قبلی را پیش‌بینی می‌کند و اگر هر نویسه‌ی بعدی را زمینه‌ی خودش در نظر بگیرید، هیچ الگویی از توالی نویسه‌ها یاد نمی‌گیرد.

علامت گرادیان

در به‌روزرسانی وزن‌ها، گرادیان کم می‌شود. افزودن آن باعث بالا رفتن تابع زیان می‌شود؛ موضوعی که در همان اولین ارزیابی خودش را نشان می‌دهد و نخستین حالت نادرستی (mutant) است که این تمرین بررسی می‌کند.

بررسی روی داده‌های نگه‌داشته‌شده

قاعده‌ی درسِ حلقه‌ی آموزش این است که ارزیابی باید روی یک بخش ثابت از داده‌های نگه‌داشته‌شده و بدون گرادیان اجرا شود؛ همچنین عدد حاصل باید بین اجراهای مختلف قابل مقایسه باشد. برای این وظیفه (task)، این قاعده سه شرط دارد: نخست، این بخش از داده‌ها پیش از آموزش جدا و ثابت شود و حلقه هرگز به آن دست نزند. دوم، خط مبنای تک‌تایی (که بدون در نظر گرفتن زمینه، به هر نویسه بسامد آن در متن آموزش را اختصاص می‌دهد) روی همان نویسه‌های نگه‌داشته‌شده و با همان تعریف تابع زیان ارزیابی شود. سوم، مدل دوتایی تنها در صورتی قبول شود که مقدار زیان آن روی داده‌های نگه‌داشته‌شده اکیداً کمتر باشد. مدلی که روی متن آموزش برنده می‌شود اما روی داده‌های نگه‌داشته‌شده شکست می‌خورد، صرفاً متن آموزش را حفظ کرده است.

بودجه‌ی گام

بودجه‌ی گام بخشی از قرارداد کد است. حلقه‌ای که گام‌هایی بیشتر از بودجه بردارد، شاید به هدف برسد اما این وظیفه را رد می‌کند؛ در یک اجرای واقعی، این همان مرزِ بین یک کار برنامه‌ریزی‌شده و فراتر رفتن از زمان و منابعِ مجاز است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا تابع امتیازدهی باید لگاریتم احتمالات را برگرداند و نه لاجیت‌های خام را؟ پاسخ مورد انتظار: تابع زیان به یک توزیع نرمال‌شده روی هر سطر نیاز دارد؛ لاجیت‌های خام در زمینه‌های مختلف با یکدیگر قابل مقایسه نیستند.
  • سطح 3: مدل روی متن آموزش خط مبنا را شکست می‌دهد اما روی داده‌های نگه‌داشته‌شده می‌بازد. چه اتفاقی افتاده است؟ پاسخ مورد انتظار: مدل جفت‌های آموزشی را حفظ کرده است؛ داده‌های ارزیابی کنارگذاشته‌شده دقیقاً برای مچ‌گیری از همین حالت وجود دارند.
  • سطح 4: این حلقه‌ی ساده و ماکتی چطور به حلقه‌ی آموزش کامل این درس نگاشت می‌شود؟ پاسخ مورد انتظار: ساخت جفت‌ها معادل جابه‌جایی یکی به جلو (shift-by-one)، پیدا کردن سطر همان گذر پیش‌رو (forward)، بررسی داده‌های نگه‌داشته‌شده همان ارزیابی ثابت، و بودجه همان تعداد گام‌ها در زمان‌بندی (schedule) است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «برای صرفه‌جویی در زمان، روی متن آموزش ارزیابی کنیم.» در این حالت، ارزیابی فقط میزان حفظ‌کردن را می‌سنجد و مقایسه با خط مبنا هیچ معنایی ندارد.
  • «جدول اولیه را از وضعیت تصادفی سراسری بگیریم.» در این صورت، دو اجرا با یک seed نتایج متفاوتی خواهند داد و آزمون بازتولیدپذیری رد می‌شود.
  • «آموزش را تا جایی ادامه دهیم که بهبود تابع زیان متوقف شود.» بودجه بخشی از قرارداد است و یک حلقه‌ی بدون سقف، کندی یا گیر کردن فرایند اجرا را پنهان می‌کند.

کجای دوره آموزش داده می‌شود

درس حلقه‌ی آموزش قواعد ارزیابی روی داده‌های نگه‌داشته‌شده و تراز کردن تابع زیان (loss alignment) را مشخص می‌کند، و تمرین مدل دوتایی نویسه‌ها کوچک‌ترین مدل را در چارچوب یک بودجه‌ی گام آموزش می‌دهد.