سؤال مصاحبه

چرا کمینه‌سازی آنتروپی متقاطع همان کمینه‌سازی واگرایی KL است؟

Why minimizing cross-entropy also minimizes KL

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

مدل دسته‌بند شما با تابع زیان آنتروپی متقاطع (cross-entropy loss) آموزش می‌بیند. داوری می‌پرسد چرا به‌جای آن، مدل را روی واگرایی کولبک-لایبلر (KL Divergence) بین برچسب‌ها و پیش‌بینی‌ها آموزش نمی‌دهید؟ توضیح دهید این دو کمیت چه رابطه‌ای با هم دارند و اگر تغییری رخ می‌دهد، چه چیزی در روند آموزش عوض خواهد شد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

آنتروپی متقاطع P و Q برابر است با آنتروپی P به‌علاوه‌ی واگرایی KL از P به Q. برچسب‌ها P را مشخص و ثابت می‌کنند، بنابراین آنتروپی آن‌ها در طول آموزش مقداری ثابت است و هر دو تابع هدف گرادیان یکسانی دارند. با برچسب‌های وان‌هات (one-hot)، این آنتروپی صفر است و دو عدد دقیقاً با هم برابر می‌شوند: منفی لگاریتم احتمال پیش‌بینی‌شده برای کلاس درست.

پاسخ کامل

سه کمیت اصلی

H(P)     = - sum_x p(x) log p(x)             entropy of the true distribution
H(P, Q)  = - sum_x p(x) log q(x)             cross-entropy, P true, Q predicted
KL(P||Q) =   sum_x p(x) log (p(x) / q(x))    = H(P, Q) - H(P)

آنتروپی میانگین غافلگیریِ توزیع P تحت کدگذاریِ خودش است. آنتروپی متقاطع میانگین غافلگیری در حالتی است که رویدادهای توزیع P با کدگذاریِ Q ذخیره شوند. واگرایی KL هم غافلگیریِ اضافه است؛ یعنی بیت‌هایی که به‌خاطر کدگذاری با Q به‌جای P هدر می‌روند.

چرا بهینه‌ساز تفاوتی میان این دو نمی‌بیند؟

مدل فقط توزیع Q را کنترل می‌کند. برچسب‌ها P را ثابت نگه می‌دارند، بنابراین H(P) برای هر نمونه مقداری ثابت است. گرادیانِ مقدار ثابت صفر است؛ در نتیجه، گرادیان H(P, Q) و گرادیان KL(P||Q) نسبت به مدل دقیقاً یکی هستند. در صورت استفاده از برچسب وان‌هات، این مجموع تنها یک جمله‌ی غیرصفر دارد، H(P) برابر با 0 می‌شود و تابع زیان برابر خواهد بود با منفی لگاریتم احتمال پیش‌بینی‌شده برای کلاس درست.

این دو عدد چه زمانی با هم فرق دارند؟

این مقادیر زمانی با هم تفاوت دارند که آنتروپیِ توزیع هدف مثبت باشد. هموارسازی برچسب‌ها (label smoothing) برچسب سخت را به هدفی نرم تبدیل می‌کند و خروجی سافت‌مکس (softmax) مدل آموزگار در تقطیر دانش (distillation) هم از همان ابتدا نرم است. در این حالت، آنتروپی متقاطع نمی‌تواند از H(P) کمتر شود، در حالی که واگرایی KL در تطابق کامل دقیقاً به 0 می‌رسد. گرادیان‌ها همچنان برابرند؛ پس این انتخاب فقط عددی را که ثبت (log) می‌کنید تغییر می‌دهد، نه مدلی را که در نهایت به دست می‌آورید.

دو نکته‌ی کلیدی که باید به یاد داشته باشید

  • واگرایی KL متقارن نیست. در KL(P||Q) و KL(Q||P)، نسبت لگاریتمی با توزیع‌های متفاوتی وزن‌دهی می‌شود؛ بنابراین واگرایی KL یک معیار فاصله (distance) به شمار نمی‌رود.
  • گرادیانِ آنتروپی متقاطع نسبت به لاجیت‌ها (logits) برابر است با «احتمال پیش‌بینی‌شده منهای برچسب هدف». همین شکل ساده و تمیز دلیل همراهی همیشگیِ آن با سافت‌مکس است.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا واگرایی KL یک فاصله نیست؟ پاسخ مورد انتظار: چون متقارن نیست؛ در هر جهت، نسبت لگاریتمی با توزیع متفاوتی وزن‌دهی می‌شود.
  • سطح 3: با هموارسازی برچسب‌ها، تابع زیان هرگز به صفر نمی‌رسد. چرا؟ پاسخ مورد انتظار: توزیع هدفِ نرم آنتروپی مثبتی دارد و مقدار آنتروپی متقاطع حداقل برابر با آنتروپی توزیع هدف است؛ در حالی که واگرایی KL در تطابق کامل به صفر می‌رسد.
  • سطح 3: اگر از تابع زیان نسبت به هر لاجیت مشتق بگیرید، به چه فرمی می‌رسید؟ پاسخ مورد انتظار: برای هر کلاس، «احتمال پیش‌بینی‌شده منهای برچسب هدف».
  • سطح 4: در تقطیر دانش، هدف همان خروجی سافت‌مکس مدل آموزگار است. کدام‌یک از این دو عدد را ثبت می‌کنید؟ پاسخ مورد انتظار: واگرایی KL؛ زیرا آنتروپی مدل آموزگار یک آفست ثابت به ازای هر نمونه اضافه می‌کند که میزان نزدیکیِ مدل دانش‌آموز را پنهان می‌سازد؛ با این حال گرادیان در هر دو حالت یکسان است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «این‌ها دو تابع هدف متفاوت‌اند و مدل‌های متفاوتی تولید می‌کنند.» تفاوت آن‌ها در آنتروپیِ برچسب‌هاست که ربطی به مدل ندارد؛ بنابراین گرادیان‌ها کاملاً یکسان هستند.
  • «آنتروپی متقاطع نوعی فاصله میان دو توزیع است.» این معیار متقارن نیست و حتی در صورت انطباق توزیع‌ها هم به صفر نمی‌رسد؛ بلکه در زمان تطابق، با آنتروپی P برابر می‌شود.
  • «چون واگرایی KL کوچک‌تر است، تابع زیان بهتری محسوب می‌شود.» واگرایی KL همان آنتروپی متقاطع منهای یک مقدار ثابت است. بهینه‌ساز شیب یکسانی را در هر دو می‌بیند.

کجای دوره آموزش داده می‌شود

در درس نظریه‌ی اطلاعات، آنتروپی، آنتروپی متقاطع و واگرایی KL از پایه اثبات شده‌اند و سه دیدگاه مختلف نسبت به تابع زیان دسته‌بندی نشان داده شده است.