سؤال مصاحبه

محاسبه‌ی پرپلکسیتی از روی میانگین آنتروپی متقاطع

Read a perplexity from a mean cross-entropy

  • سطح ۲: میانی
  • تخمین
  • ۶ دقیقه

یک مدل زبانی دایره‌ی واژگانی (vocabulary) شامل V توکن دارد. روی یک متن نگه‌داشته‌شده (held-out)، میانگین آنتروپی متقاطع (cross-entropy) آن به ازای هر توکن، بر حسب نات (nat)، برابر با لگاریتم طبیعی V است. پرپلکسیتی (perplexity) را تخمین بزنید و بگویید این عدد چه چیزی را درباره‌ی مدل نشان می‌دهد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پرپلکسیتی برابر با تابع نماییِ میانگین آنتروپی متقاطع است؛ بنابراین در اینجا برابر با V می‌شود. مدل به‌طور میانگین درست به اندازه‌ی یک انتخاب یکنواخت از میان کل دایره‌ی واژگان دچار عدم قطعیت است. پرپلکسیتی یک مدل آموزش‌دیده باید بسیار کمتر از V باشد. البته این میانگین به‌تنهایی ثابت نمی‌کند که مدل هیچ‌چیزی یاد نگرفته است؛ چون پیش‌بینی‌های متفاوتی در سطح توکن می‌توانند به همین میانگین ختم شوند. بنابراین پیش‌بینی‌های به ازای هر توکن و داده‌ها را بررسی کنید.

پاسخ کامل

تعریف

perplexity = e ^ H(P, Q)    when the loss is in nats
perplexity = 2 ^ H(P, Q)    when the loss is in bits

هر دو یک عدد را به دست می‌دهند؛ چون 1 نات برابر با 1.4427 بیت است و با تغییر مبنای لگاریتم، مبنای تابع نمایی هم تغییر می‌کند. پرپلکسیتی را می‌توان تعداد موثر گزینه‌های با شانس برابری دانست که مدل در هر گام بین آن‌ها مردد است. پرپلکسیتی 50 یعنی مدل به‌طور میانگین به همان اندازه‌ای سردرگم است که انگار باید به‌صورت یکنواخت از بین 50 توکن یکی را انتخاب کند.

تخمین

مقدار تابع زیان (loss) برابر با ln V است. تابع نماییِ ln V برابر با V می‌شود. لاجیت‌های (logits) یکنواخت روی V توکن دقیقاً همین زیان و همین پرپلکسیتی را به دست می‌دهند. پیش‌بینی‌های دیگری به ازای هر توکن هم می‌توانند به همین میانگین برسند؛ بنابراین این عدد به‌تنهایی ثابت نمی‌کند که مدل هیچ‌چیزی یاد نگرفته است. پیش از نتیجه‌گیری، به پیش‌بینی‌های به ازای هر توکن و توزیع داده‌ها نگاه کنید. درس یک مقیاس برای سنجش به دست می‌دهد: مدل GPT-2 روی بنچمارک‌های رایج به حدود 30 رسید و مدل‌های امروزی روی دامنه‌هایی با پوشش داده‌ای خوب، اعدادی تک‌رقمی ثبت می‌کنند.

پیش از مقصر دانستن مدل، چه چیزهایی را بررسی کنیم؟

  • متن و توکنایزر باید با پیکربندی آموزش همخوانی داشته باشند. یک توکنایزر متفاوت، تعداد توکن‌ها و دایره‌ی واژگان را تغییر می‌دهد و عدد به ازای هر توکن دیگر قابل مقایسه نخواهد بود.
  • پرپلکسیتی نزدیک به V روی متنی هم‌دامنه (in-domain)، به یک باگ اشاره دارد: به‌هم‌ریختگی جریان برچسب‌ها، نگاشت اشتباه دایره‌ی واژگان، یا وزن‌هایی که اصلاً لود نشده‌اند.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: اگر زیان به جای نات بر حسب بیت گزارش شود، چه تغییری رخ می‌دهد؟ پاسخ مورد انتظار: به جای توان e، عدد 2 را به توان زیان می‌رسانید؛ پرپلکسیتی همان عدد باقی می‌ماند.
  • سطح 2: پرپلکسیتی 50 در قالب کلمات یعنی چه؟ پاسخ مورد انتظار: مدل به‌طور میانگین به همان اندازه‌ی یک انتخاب یکنواخت از میان 50 توکن دچار عدم قطعیت است.
  • سطح 3: دو مدل از توکنایزرهای متفاوتی استفاده می‌کنند. آیا می‌توانید پرپلکسیتی آن‌ها را مقایسه کنید؟ پاسخ مورد انتظار: مستقیماً خیر؛ تعداد توکن‌ها و دایره‌ی واژگان فرق دارد، بنابراین اعداد به ازای هر توکن چیزهای متفاوتی را می‌سنجند.
  • سطح 3: پس از آموزش، پرپلکسیتی برابر با V روی متن هم‌دامنه دیده می‌شود. اولین شک شما به چیست؟ پاسخ مورد انتظار: وجود یک باگ در پایپ‌لاین (pipeline)؛ مواردی مثل هم‌راستا نبودن برچسب‌ها با ورودی‌ها یا لود نشدن وزن‌ها، زیرا عملکرد مدل بهتر از شانس تصادفی نیست.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «پرپلکسیتی برابر با V یعنی مدل بی‌نقص است.» یک مدل بی‌نقص پرپلکسیتی 1 دارد. V مقداری است که یک حدس یکنواخت به دست می‌آورد.
  • «برای به دست آوردن پرپلکسیتی، زیان را بر V تقسیم کنید.» پرپلکسیتی تابع نماییِ زیان است، نه یک نسبت.
  • «پرپلکسیتی کمتر روی هر متنی به معنای مدل بهتر است.» فقط روی همان متن و با همان توکنایزر. یک متن یا دایره‌ی واژگان متفاوت، بدون هیچ تغییری در مدل، عدد را جابه‌جا می‌کند.

کجای دوره آموزش داده می‌شود

درس نظریه‌ی اطلاعات پرپلکسیتی را به‌صورت تابع نمایی آنتروپی متقاطع تعریف می‌کند و حالت یکنواخت را معیاری برای وارسی صحت آن قرار می‌دهد.