سؤال مصاحبه

تابع زیان آموزشی که به صفر می‌رسد و هیچ‌چیز یاد نمی‌گیرد

A training loss that reaches zero and learns nothing

  • سطح ۲: میانی
  • کدخوانی
  • ۸ دقیقه

یکی از همکارانتان گزارش می‌دهد که تابع زیان (loss) مدل زبانی‌اش خیلی زود در فرایند آموزش به نزدیکی صفر می‌رسد، اما نمونه‌های تولیدشده کاملاً بی‌معنی و نامفهوم هستند. کد آماده‌سازی دسته به این صورت است:

def calc_loss_batch(model, tokens):
    logits = model(tokens)
    return cross_entropy(logits.reshape(-1, logits.shape[-1]), tokens.reshape(-1))

مشکل کجاست و نسخه‌ی درست آن چگونه خواهد بود؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هدف‌ها (targets) دقیقاً همان ورودی‌ها هستند؛ بنابراین مدل یاد می‌گیرد همان توکنی را که تازه دریافت کرده پیش‌بینی کند. این کار بسیار ساده و پیش‌پاافتاده است و در نتیجه تابع زیان بدون اینکه مدل چیزی یاد بگیرد، به صفر همگرا می‌شود. هدف در موقعیت t باید ورودیِ موقعیت t + 1 باشد. ورودی‌ها را طوری برش بزنید که آخرین توکن حذف شود و هدف‌ها را به‌گونه‌ای ببرید که اولین توکن بیفتد؛ سپس هر دو را به ابعاد «دسته ضربدر زمان در اندازه‌ی واژگان» و «دسته ضربدر زمان» تخت (flatten) کنید.

پاسخ کامل

تراز کردن

برای توکن‌های ورودی t0, t1, t2, t3، هدف‌ها باید t1, t2, t3, t4 باشند. هر موقعیت باید توکن بعدی را پیش‌بینی کند؛ به همین دلیل است که هر نمونه‌ی آموزشی، طولی برابر با طول زمینه (context length) به‌علاوه‌ی یک شناسه خام را پوشش می‌دهد. سازنده‌ی دسته می‌تواند این دو تنسور را از قبل شیفت‌داده‌شده بسازد، یا اینکه خود تابع زیان کار جابه‌جایی را انجام دهد:

def calc_loss_batch(model, inputs, targets):
    logits = model(inputs)
    V = logits.shape[-1]
    return cross_entropy(logits.reshape(-1, V), targets.reshape(-1))

که در آن inputs = window[:-1] و targets = window[1:] خواهد بود.

دلیل تخت کردن تنسورها

تابع آنتروپی متقاطع (Cross-Entropy) به یک ماتریس از «سطرها در کلاس‌ها» و یک بردار از شناسه‌های کلاس نیاز دارد. تخت کردن ابعاد دسته و زمان در یک محور، لاجیت‌های سه‌بعدی را به آن ماتریس و هدف‌های دوبعدی را به آن بردار تبدیل می‌کند؛ میانگین‌گیری روی سطرها نیز در واقع همان میانگین‌گیری روی تمام موقعیت‌های پیش‌بینی‌شده است. تخت کردن ایراد کار نیست؛ مشکل اصلی همان شیفت ندادن توکن‌هاست.

چرا نشانه‌ی این مشکل، تابع زیانِ نزدیک به صفر است؟

پیش‌بینیِ توکن فعلی بر اساس خود توکن فعلی، فقط به یک نگاشت همانی (identity) در طول امبدینگ و هد خروجی نیاز دارد؛ چیزی که یک هد متصل (tied head) رایگان در اختیارتان می‌گذارد. در نتیجه، تابع زیان آموزش سقوط می‌کند، تابع زیان ارزیابی هم فرومی‌ریزد و تنها نمونه‌ی ارزیابی کیفی نشان می‌دهد که عملاً هیچ‌چیزی یاد گرفته نشده است. به همین علت است که حلقه‌ی آموزش در هر گامِ آزمون ارزیابی (probe)، علاوه بر نمایش دو مقدار زیان، ادامه‌ی متنیِ تولیدشده را نیز چاپ می‌کند.

جنبه‌ی عددی

این وظیفه‌ی تمرینی همچنین بررسی می‌کند که آنتروپی متقاطع حتماً از یک سافت‌مکسِ شیفت‌یافته محاسبه شود تا لاجیت‌های بزرگ سرریز (overflow) نکنند و تابع زیان هم به‌جای مجموع، میانگینِ روی نمونه‌ها باشد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: کدام سیگنال در حلقه‌ی آموزش زودتر از بقیه این باگ را آشکار می‌کند؟ پاسخ مورد انتظار: نمونه‌ی متنی تولیدشده در گام آزمون ارزیابی؛ چون هر دو مقدار زیان عالی به نظر می‌رسند.
  • سطح 2: تابع زیان اعتبارسنجی نیز نزدیک به صفر است. چرا داده‌های نگه‌داشته‌شده (held-out data) مانع این خطا نمی‌شوند؟ پاسخ مورد انتظار: نشت هدف (target leak) در خودِ تعریف تابع زیان رخ داده است؛ تعریفی که روی هر دو بخش داده‌ها کاملاً یکسان اعمال می‌شود.
  • سطح 3: مجموعه‌داده‌ی پنجره‌ی لغزان (sliding-window) چطور جلوی این خطا را از مبدأ می‌گیرد؟ پاسخ مورد انتظار: پنجره‌ای با طول زمینه به‌علاوه‌ی یک بازمی‌گرداند و تفکیک ورودی و هدف را درون خود مجموعه‌داده انجام می‌دهد؛ بنابراین حلقه هرگز جفت‌های شیفت‌نیافته را نمی‌بیند.
  • سطح 3: داده‌های فاین‌تیونینگ نظارت‌شده‌ی شما توکن‌های دستورالعمل را ماسک می‌کنند. جایگاه ماسک نسبت به شیفت کجاست؟ پاسخ مورد انتظار: بعد از شیفت؛ تا موقعیت‌های نادیده‌گرفته‌شده دقیقاً با هدف‌های شیفت‌یافته هم‌تراز شوند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نرخ یادگیری بیش از حد بالاست.» نرخ یادگیری بالا باعث واگرایی یا نوسان می‌شود؛ سقوط تابع زیان به صفر نشان‌دهنده‌ی نشتی اطلاعات در تابع هدف است.
  • «تخت کردن تنسور، محورهای دسته و زمان را قاطی می‌کند.» تخت کردن ضروری است؛ سطرها پیش‌بینی‌های مستقلی هستند و ترتیب آن‌ها اثری روی میانگین ندارد.
  • «مدل روی مجموعه‌ی آموزش دچار بیش‌برازش (overfitting) شده است.» بیش‌برازش با فاصله‌گرفتن زیان آموزش و اعتبارسنجی از یکدیگر مشخص می‌شود؛ در اینجا هر دو با هم سقوط کرده‌اند.

کجای دوره آموزش داده می‌شود

درس حلقه‌ی آموزش مفهوم تراز کردن تابع زیان (loss alignment) و آزمون ارزیابی کیفی (qualitative probe) را توضیح می‌دهد و تمرین سافت‌مکس و آنتروپی متقاطع نیز روش صحیح محاسبه‌ی دسته‌ای تابع زیان را بررسی می‌کند.