سؤال مصاحبه

واریانسی که برای مقادیر بزرگ نادرست محاسبه می‌شود

A variance that comes out wrong on large values

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۰ دقیقه

یک پایپ‌لاین ویژگی (feature pipeline)، واریانس ستونی از داده‌ها را با فرمول «میانگینِ مجذور x منهای مجذورِ میانگین» در قالب float32 محاسبه می‌کند. روی ستونی با مقادیر نزدیک به یک میلیون، نتیجه بسیار دور از مقدار واقعی و گاهی حتی منفی می‌شود. علت را توضیح دهید و فرمولی ارائه کنید که پایدار باشد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر دو عبارت فرمول حدود 10 به توان 12 و تقریباً با هم برابرند، و اختلاف آن‌ها همان واریانس واقعی کوچک است. در float32، فاصله‌ی بین اعداد متوالی قابل‌نمایش در این بازه بسیار بزرگ‌تر از مقدار واریانس است؛ بنابراین حاصل تفریق، نویز گرد کردن اعداد را برمی‌گرداند که می‌تواند منفی هم باشد. در عوض، واریانس را بر اساس مقادیر مرکززدایی‌شده (centered) حساب کنید: اول میانگین را از داده‌ها کم کنید، یا از به‌روزرسانی آنلاینی استفاده کنید که در درس الگوریتم ولفورد (Welford algorithm) نامیده شده است.

پاسخ کامل

حذف فاجعه‌بار (Catastrophic cancellation)

وقتی دو عدد ممیز شناور (floating-point) که تقریباً با هم برابرند از یکدیگر کم شوند، ارقام باارزش آن‌ها حذف می‌شوند و خطای گرد کردن هر عملوند، ارقام باارزش نتیجه را تشکیل می‌دهد. در مثال کوچک درس، وقتی 1.0000001 و 1.0 در float32 از هم کم می‌شوند، خطای نسبیِ حاصل از همین یک عملیات به 19.2 درصد می‌رسد. فرمول واریانس این پدیده را در مقیاسی بسیار بزرگ‌تر رقم می‌زند.

اعداد صورت مسئله

نوع float32 حدود 7 رقم ده‌دهی را نگه می‌دارد. برای مقادیر نزدیک به یک میلیون، مجذور x نزدیک به 10 به توان 12 است و فاصله‌ی بین اعداد قابل‌نمایش در آن بازه بسیار بیشتر از 1 خواهد بود. واریانس واقعی مقادیر تمرین درس (یعنی 1000000.0، 1000001.0 و 1000002.0) برابر با 0.6667 است. هر دو عبارت فرمول به نزدیک‌ترین مقدار قابل‌نمایش گرد می‌شوند و تفاضل آن‌ها در واقع خطای گرد کردن را بازتاب می‌دهد، نه واریانس را. نتیجه‌ی منفی هم ممکن است پیش بیاید، چون هیچ چیزی در فرمول جلوی تغییر علامت حاصل از گرد کردن را نمی‌گیرد.

فرمولی پایدار

ابتدا داده‌ها را از میانگین کم کنید (مرکززدایی)، سپس به توان دو برسانید:

mean = sum(x) / n
variance = sum((x - mean)^2) / n

انحراف‌ها اعدادی کوچک‌اند، مجذور آن‌ها نیز کوچک است، و هیچ دو عبارت بزرگ و تقریباً برابری از هم کم نمی‌شوند. برای جریان داده‌ای (stream) که دو بار خواندن آن هزینه‌ی زیادی دارد، به‌روزرسانی ولفورد میانگین جاری و مجموع مجذور انحرافات جاری را ذخیره می‌کند و با هر مقدار جدید، هر دو را به‌روز می‌رساند. هر دو روش برای مقادیر این تمرین، مقداری نزدیک به 0.6667 می‌دهند؛ در حالی که فرمول ساده‌انگارانه کاملاً شکست می‌خورد.

وجود همین الگو در بخش‌های دیگر

درس نمونه‌های دیگری از این الگو را فهرست کرده است: تفریق احتمال‌های لگاریتمیِ تقریباً برابر، و تفاضل متناهی (finite difference) با گام‌های بیش از حد کوچک. راه‌حل در تمام موارد یکسان است: محاسبات را طوری بازآرایی کنید که مقادیر بزرگ و تقریباً برابر هرگز از هم کم نشوند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا نتیجه‌ی فرمول ساده‌انگارانه می‌تواند منفی شود، در حالی که واریانس هرگز منفی نیست؟ پاسخ مورد انتظار: نتیجه صرفاً نویز گرد کردن است، و هیچ چیزی در فرمول علامت نویز را محدود نمی‌کند.
  • سطح 3: آیا استفاده از float64 مشکل پایپ‌لاین را حل می‌کند؟ پاسخ مورد انتظار: این کار فقط مشکل را به مقادیر بزرگ‌تر (در حدود 15 رقم دقت) منتقل می‌کند و اگر مقیاس ورودی‌ها بالا برود، دوباره به خطا می‌خورد؛ اما فرمول مرکززدایی‌شده در هر مقیاسی درست کار می‌کند.
  • سطح 4: داده‌های این ستون به شکل یک جریان پیوسته می‌رسند و نمی‌توانید برای دو بار خواندن، آن‌ها را در حافظه نگه دارید. چه کار می‌کنید؟ پاسخ مورد انتظار: از به‌روزرسانی ولفورد استفاده کنید که میانگین جاری و مجموع مجذور انحرافات جاری را تنها در یک بار پیمایش محاسبه و نگهداری می‌کند.
  • سطح 4: این حذف فاجعه‌بار در کجای یک لایه‌ی نرمال‌سازی پنهان می‌شود؟ پاسخ مورد انتظار: در نرمال‌سازی لایه‌ای (layer norm) یا نرمال‌سازی دسته‌ای (batch norm) که واریانس را با فرمول میانگین مجذورات منهای مجذور میانگین روی اکتیویشن‌هایی با میانگین بزرگ حساب کنند؛ به همین دلیل، پیاده‌سازی‌های واقعی همیشه ابتدا داده‌ها را مرکززدایی می‌کنند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «این فرمول از نظر جبری درست است، پس کد حتماً غلط املایی دارد.» جبر ریاضی دقیق است، اما محاسبات ممیز شناور دقیق نیستند. هر دو عبارت تا حدود 7 رقم درست هستند، اما مقدار واریانس در ارقامی فراتر از این دقت پنهان شده است.
  • «خروجی را روی صفر قفل کنید (Clamp at zero).» این کار فقط منفی بودن مقدار را پنهان می‌کند و اندازه‌ی نادرست آن را دست‌نخورده باقی می‌گذارد.
  • «ابتدا ستون را بر یک میلیون تقسیم کنید و بعد واریانس را در مجذور آن ضریب ضرب کنید.» تغییر مقیاس در این مثال خاص کمک می‌کند، اما فقط میانگین را جابه‌جا می‌کند نه اصل مسئله را؛ ستونی با میانگین بزرگ و پراکندگی بسیار ناچیز همچنان دچار حذف فاجعه‌بار خواهد شد. راه درست این است که ابتدا مرکززدایی کنید.

کجای دوره آموزش داده می‌شود

درس پایداری عددی (Numerical stability) توضیح می‌دهد که چگونه اعداد تقریباً برابر دچار حذف فاجعه‌بار می‌شوند و همین محاسبه‌ی واریانس را به عنوان اولین تمرین خود مطرح می‌کند.