سؤال مصاحبه

پرپلکسیتی 10 دقیقاً چه معنایی دارد؟

What a perplexity of 10 tells you

  • سطح ۱: غربالگری
  • مفهومی
  • ۵ دقیقه

همکارتان گزارش می‌دهد که چک‌پوینت (checkpoint) جدید روی داده‌های آزمونِ کنارگذاشته‌شده (held-out) به پرپلکسیتی (perplexity) 10 رسیده که از رکورد هفته‌ی قبل بهتر است، و می‌خواهد آن را به‌عنوان مدل قوی‌تر روانه‌ی محیط عملیاتی کند. این عدد چه معنایی دارد و چه چیزهایی را نشان نمی‌دهد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پرپلکسیتی، تابع نماییِ میانگینِ منفی لگاریتم درست‌نمایی (negative log likelihood) به ازای هر توکن (token) است. مقدار 10 یعنی مدل در هر جایگاه، به اندازه‌ی یک انتخاب یکنواخت از بین 10 گزینه نامطمئن است. مقدار کمتر تنها زمانی نشان‌دهنده‌ی برتری است که مجموعه‌ی آزمون و توکنایزر ثابت مانده باشند. این معیار هیچ اطلاعاتی درباره‌ی پیروی از دستورالعمل‌ها، استدلال یا درستی فکت‌ها به شما نمی‌دهد؛ بنابراین به چشم یک بررسی سلامت (health check) به آن نگاه کنید و قبل از انتشار، ارزیابی‌های مربوط به وظیفه (task evals) را اجرا کنید.

پاسخ کامل

تعریف

PPL = exp( -(1/N) * sum_i log P(token_i | context) )

پرپلکسیتی برابر با 1 یعنی مدل به تمام توکن‌های واقعی احتمال 1 نسبت می‌دهد. پرپلکسیتی برابر با اندازه‌ی واژگان (vocabulary size) یعنی مدل کاملاً یکنواخت عمل می‌کند و چیزی یاد نگرفته است. یک مدل پایه‌ی قوی روی یک پیکره متنی (corpus) استاندارد عددی بین 8 تا 12 ثبت می‌کند؛ در حالی که یک مدل ضعیف روی همان متن به عددی بالای 50 می‌رسد.

مواردی که نادیده می‌گیرد

یک مدل می‌تواند صرفاً با پیش‌بینی دقیق الگوهای رایج، به پرپلکسیتی پایینی برسد، حتی اگر در الگوهای نادر ولی مهم عملکرد ضعیفی داشته باشد. علاوه بر این، این عدد تمام اهداف اصلی یک مدل چت را نادیده می‌گیرد: پیروی از دستورالعمل‌ها، استدلال و ارائه‌ی پاسخ‌های درست. از این معیار برای شناسایی چک‌پوینت‌های خراب یا عدم تطابق توکنایزر استفاده کنید، نه برای انتخاب مدل برنده.

دو بررسی پیش از اعتماد به نتیجه

  1. متن یکسان، توکنایزر یکسان. این عدد به هر دوی این عوامل وابسته است. دو مدلی که روی مجموعه‌های ارزیابیِ متفاوتی سنجیده شده‌اند، قابل مقایسه نیستند.
  2. شمارش صادقانه. تابع زیان (loss) را روی جایگاه توکن‌های واقعی جمع بزنید و فقط یک‌بار در انتها تقسیم کنید. جایگاه‌های پدینگ (pad) نباید در مخرج قرار بگیرند، و لاجیت‌ها (logits) در یک جایگاه باید توکن بعدی را پیش‌بینی کنند. مقدار کمتر از 1 غیرممکن است. چنین مقداری یعنی مجموع منفی لگاریتم درست‌نمایی، منفی شده است و دلیل رایج آن هم تطبیق‌دهنده‌ای (adapter) است که به‌جای negative log p، خودِ log p را برگردانده است.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: چه مقدار پرپلکسیتی نشان می‌دهد که مدل هیچ‌وقت غافلگیر نمی‌شود؟ پاسخ مورد انتظار: عدد 1، چون در این حالت به هر توکن واقعی احتمال 1 اختصاص یافته است.
  • سطح 2: دو مدل روی مجموعه‌های آزمون متفاوتی ارزیابی شده‌اند. آیا می‌توان پرپلکسیتی آن‌ها را مقایسه کرد؟ پاسخ مورد انتظار: خیر؛ این عدد به متن و توکنایزر وابسته است، بنابراین هر دو باید روی یک مجموعه‌ی یکسان سنجیده شوند.
  • سطح 2: تطبیق‌دهنده پرپلکسیتی 0.8 را گزارش می‌دهد. چه اتفاقی افتاده است؟ پاسخ مورد انتظار: مجموع تابع زیان منفی شده است، احتمالاً به این دلیل که تطبیق‌دهنده به‌جای negative log p، مقدار log p را برگردانده است؛ پرپلکسیتی زیر 1 غیرممکن است، بنابراین قرارداد نقض شده است.
  • سطح 3: چرا در فرایند ارزیابی، تابع زیان روی جایگاه‌های غیر پدینگ جمع زده می‌شود و در انتها تقسیم صورت می‌گیرد، به‌جای این‌که میانگین پرپلکسیتی هر دسته (batch) محاسبه شود؟ پاسخ مورد انتظار: میانگین‌گیری روی هر دسته باعث می‌شود هر توکن در یک دسته‌ی کوتاه، وزن بیشتری نسبت به هر توکن در یک دسته‌ی طولانی پیدا کند، و جایگاه‌های پدینگ هم مقدار تابع زیان را کم می‌کنند؛ در نتیجه، جمع زدن روی توکن‌های واقعی دقیقاً با تعریف ریاضی همخوانی دارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «پرپلکسیتی کمتر یعنی دستیار بهتر.» این معیار فقط میزان تطابق با توزیع متن را می‌سنجد، نه پیروی از دستورالعمل یا درستی پاسخ‌ها را.
  • «پرپلکسیتی‌های دو مقاله‌ی مختلف با هم قابل مقایسه‌اند.» این مقادیر به مجموعه‌ی آزمون و توکنایزر وابسته‌اند، پس مقایسه فقط روی داده‌های یکسان معتبر است.
  • «باید برای رسیدن به پرپلکسیتی نزدیک به 1 تلاش کرد.» متن آزمون، خروجیِ خود مدل نیست؛ عددی بسیار نزدیک به 1 نشان می‌دهد که متن آزمون در داده‌های آموزش مدل وجود داشته است.

کجای دوره آموزش داده می‌شود

درس ارزیابی پرپلکسیتی را به‌عنوان یک بررسی سلامت سریع معرفی می‌کند، و پروژه‌ی پایانی پرپلکسیتی و کالیبراسیون (calibration) نحوه‌ی محاسبه‌ی آن را در سطح پیکره متنی همراه با قراردادهایش ارائه می‌دهد.