سؤال مصاحبه

با بزرگ‌تر شدن دسته، پرپلکسیتی بهتر می‌شود

Perplexity improves when the batch grows

  • سطح ۳: ارشد
  • کدخوانی
  • ۱۰ دقیقه

ارزیابی پرپلکسیتی (perplexity) یکی از همکارانتان آنتروپی متقاطع (cross entropy) را در تمام موقعیت‌های هر دسته‌ی (batch) پدینگ‌شده (padded) محاسبه می‌کند، میانگین آن را در سطح دسته می‌گیرد، آن را به توان می‌رساند و سپس از مقادیر تک‌تک دسته‌ها میانگین می‌گیرد. پرپلکسیتی گزارش‌شده بسیار خوب به نظر می‌رسد و هر بار که اندازه‌ی دسته بزرگ‌تر می‌شود، بهتر هم می‌شود. شرح مسئله را بخوانید، باگ‌ها را نام ببرید و شیوه‌ی درست محاسبه را ارائه دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سه باگ وجود دارد: موقعیت‌های پدینگ (padding) در مخرج قرار می‌گیرند؛ در نتیجه مقدار تابع زیان (loss) رقیق (diluted) می‌شود و با افزایش پدینگ — که پیامد طبیعی دسته‌های بزرگ‌تر است — این عدد بهبود می‌یابد. گرفتن میانگین در سطح هر دسته به هر توکن (token) در یک دسته‌ی کوتاه، وزن بیشتری نسبت به هر توکن در یک دسته‌ی طولانی می‌دهد. همچنین، هدف‌ها (targets) باید یک واحد شیفت پیدا کنند؛ چرا که لاجیت‌ها (logits) در هر موقعیت، توکن بعدی را پیش‌بینی می‌کنند. باید تابع زیان را روی موقعیت‌های واقعی هدف در کل پیکره متنی (corpus) جمع بزنید، تعداد این موقعیت‌ها را بشمارید، یک‌بار تقسیم را انجام دهید و در نهایت حاصل را به توان برسانید.

پاسخ کامل

محاسبه‌ی درست

pred = logits[:, :-1, :]
target = ids[:, 1:]
target_mask = attn[:, 1:]
loss_per_pos = cross_entropy(pred, target, reduction="none") * target_mask
total_nll += loss_per_pos.sum()
total_tokens += target_mask.sum()
ppl = exp(total_nll / total_tokens)

این شیفت، پیش‌بینی را با توکن پس از آن هم‌تراز می‌کند. ماسک (mask) هدف‌های پدینگ را هم از صورت و هم از مخرج کسر حذف می‌کند. عملیات تقسیم فقط یک‌بار، در پایان کار و روی کل پیکره متنی انجام می‌شود. پروژه‌ی پایانی کالیبراسیون (calibration) همین قاعده را در قالب تابعی پیاده می‌کند که منفی لگاریتم درست‌نمایی (negative log likelihood) و تعداد توکن‌ها را به‌ازای هر توالی می‌گیرد و مجموع این دو را بر هم تقسیم می‌کند.

چرا هر باگ اهمیت دارد

  • وجود پدینگ در مخرج. یک هدف پدینگ پس از اعمال ماسک، هیچ مقداری به زیان اضافه نمی‌کند اما همچنان یک موقعیت شمرده می‌شود. با افزایش پدینگ، میانگین کاهش می‌یابد؛ بنابراین یک دسته‌ی بزرگ‌تر با پدینگ بیشتر، مدلی به‌ظاهر بهتر را گزارش می‌دهد.
  • میانگین‌گیری از مقادیر هر دسته. یک دسته از توالی‌های کوتاه و یک دسته از توالی‌های طولانی وزن یکسانی می‌گیرند؛ در نتیجه، سهم هر توکن در توالی‌های کوتاه بیشتر از توالی‌های طولانی خواهد شد. ساختار «ابتدا جمع، سپس تقسیم» به همه‌ی توکن‌های واقعی وزن یکسانی می‌دهد.
  • نبود شیفت. در طول آموزش، حتی اگر هدف‌ها هم‌تراز نباشند تابع زیان باز هم کاهش می‌یابد؛ بنابراین این باگ در آنجا بی‌صدا می‌ماند. اما در سنجه‌ی ارزیابی، یعنی این عدد دیگر درست‌نمایی (likelihood) توکن بعدی نیست.

اعتبارسنجی قراردادها

پرپلکسیتی کمتر از 1 غیرممکن است؛ در این حالت کل زیان منفی است که بیشتر اوقات یعنی تطبیق‌دهنده (adapter) به‌جای منفیِ لگاریتم p، مقدار log p را برگردانده است. صفر توکن واقعی نیز نباید در مخرج تقسیم قرار بگیرد؛ پروژه‌ی پایانی برای این حالت مقدار «عددی نیست» (NaN) برمی‌گرداند تا خودِ اجراکننده (runner) تصمیم بگیرد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا خطای یکی جابه‌جا بودن (off-by-one) در حین آموزش بی‌صدا است اما در سنجه‌ی ارزیابی خطایی مهلک به شمار می‌رود؟ پاسخ مورد انتظار: مدل همچنان از هدف‌های ناهماهنگ یاد می‌گیرد و تابع زیان مدام کاهش می‌یابد، اما سنجه دیگر درست‌نمایی توکن بعدی را اندازه نمی‌گیرد.
  • سطح 3: تطبیق‌دهنده میانگین‌های هر توالی را برمی‌گرداند. آیا بستر آزمایشی (harness) می‌تواند آن‌ها را ترکیب کند؟ پاسخ مورد انتظار: فقط در صورتی که تعداد توکن‌ها را هم داشته باشد؛ میانگینِ میانگین‌ها به‌جای توکن‌ها، به توالی‌ها وزن یکسان می‌دهد.
  • سطح 4: پرپلکسیتی روی داده‌های نگه‌داشته‌شده (held-out) بسیار کمتر از متن محیط عملیاتی (production) است. به چه چیزی شک می‌کنید؟ پاسخ مورد انتظار: ناهماهنگی در توکنایزر یا نشت داده‌های نگه‌داشته‌شده به داده‌های آموزش؛ قبل از این‌که ادعای کیفیت کنید، هر دو مورد را بررسی کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ماسک کردن تابع زیان کافی است.» ماسک باید پدینگ را از مخرج هم حذف کند؛ شمردن موقعیت‌های پدینگ، میانگین را رقیق می‌کند.
  • «میانگین گرفتن از پرپلکسیتی دسته‌ها تقریب خوبی است.» این کار به‌ازای هر توکن وزن بیشتری به توالی‌های کوتاه می‌دهد و به ترکیب دسته‌ها وابسته است؛ فرمول اصلی و تعریف دقیق، «جمع کل و سپس تقسیم» است.
  • «عدد پایین‌تر همیشه نشان‌دهنده‌ی مدل بهتر است.» این فقط برازش (fit) بهتری را روی این متن نشان می‌دهد؛ هیچ حرفی درباره‌ی عملکرد مدل در آن وظیفه (task) نمی‌زند.

کجای دوره آموزش داده می‌شود

در پروژه‌ی پایانی پایپ‌لاین ارزیابی این دو تله و شیوه‌ی درست محاسبه توضیح داده شده است، و در پروژه‌ی پایانی پرپلکسیتی و کالیبراسیون تابع سطح پیکره متنی و قرارداد آن ارائه شده است.