مقداردهی اولیهی خاویر (Xavier initialization) واریانس وزنها را برابر با 2 تقسیم بر مجموع fan-in و fan-out قرار میدهد. مقداردهی اولیهی کایمینگ (Kaiming initialization) آن را برابر با 2 تقسیم بر fan-in تنظیم میکند. به هر دو روش «حفظکنندهی واریانس» (variance preserving) میگویند. توضیح دهید هر کدام چه چیزی را حفظ میکنند، عدد 2 در کایمینگ از کجا میآید و چه اتفاقی برای یک شبکهی 50 لایهی ReLU میافتد اگر کارش را با یک توزیع نرمال استانداردِ معمولی شروع کند.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
واریانس پیشفعالسازی (pre-activation variance) در یک لایه، برابر است با fan-in ضربدر واریانس وزن ضربدر واریانس ورودی؛ بنابراین، واریانس وزنِ برابر با 1 تقسیم بر fan-in، اندازهی سیگنال را هنگام عبور از یک لایهی خطی ثابت نگه میدارد. خاویر این شرط را بین گام رفت و گام رو به عقب (backward pass) متوازن میکند که به عدد 2 تقسیم بر مجموع دو مقدار fan میرسد؛ این روش برای توابع sigmoid و tanh که حول صفر تقریباً خطی هستند مناسب است. ReLU نیمی از ورودیهایش را صفر میکند و در هر لایه واریانس را به نصف کاهش میدهد؛ بنابراین کایمینگ برای جبران، واریانس هر وزن را دو برابر کرده و به 2 تقسیم بر fan-in میرساند. یک توزیع نرمال استاندارد با fan-in برابر با 512، در هر لایه واریانس را 512 برابر میکند و سیگنال ظرف چند لایه منفجر میشود.
پاسخ کامل
واریانس در طول یک لایه
برای z برابر با مجموع جملات w_i x_i روی fan-in جمله با وزنها و ورودیهای مستقل:
Var(z) = fan_in * Var(w) * Var(x)
هر دو شکست مطرحشده در درس بلافاصله از همین رابطه نتیجه میشوند. با Var(w) برابر با 1 و fan-in برابر با 512، هر لایه واریانس را 512 برابر میکند و بعد از 10 لایه این ضریب به 512 به توان 10 میرسد؛ یعنی حدود 1.2 ضربدر 10 به توان 27. با Var(w) برابر با 0.001، این ضریب در هر لایه 0.512 است و بعد از 10 لایه، سیگنال به 0.00013 اندازهی اولیهاش میرسد. هدف این است که Var(z) برابر با Var(x) بماند.
خاویر (Xavier)
گلوروت و بنجیو به دنبال ثابت ماندن واریانس در هر دو مسیر بودند: در مسیر رفت از طریق fan-in و در گام رو به عقب از طریق fan-out. راهکار میانه، Var(w) برابر با 2 تقسیم بر (fan-in بهعلاوهی fan-out) است؛ چه از یک توزیع نرمال با همین واریانس نمونهگیری شود و چه از یک توزیع یکنواخت (uniform) با کرانِ جذر 6 تقسیم بر همان مجموع. این فرمول برای sigmoid و tanh جواب میدهد؛ چون با یک مقداردهی اولیهی درست و دارای مقیاس مناسب، ورودیهای آنها در ناحیهی تقریباً خطیِ حول صفر قرار میگیرند.
کایمینگ (Kaiming)
تابع ReLU تمام مقادیر منفی پیشفعالسازی را صفر میکند. بهطور میانگین نیمی از واحدها خاموش میشوند؛ در نتیجه واریانسی که به لایهی بعدی میرسد، نصف مقداری است که تحلیل خطی پیشبینی میکند. هِه و همکارانش برای خنثی کردن این اثر، واریانس وزن را دو برابر کردند: Var(w) برابر با 2 تقسیم بر fan-in. بدون این عدد 2، سیگنال در هر لایه حدود 0.5 برابر کوچک میشود و در طول 50 لایه، این کاهش به 0.5 به توان 50 میرسد؛ یعنی حدود 8.8 ضربدر 10 به توان منفی 16. توابع GELU و Swish هم از همین قاعده پیروی میکنند. لایهی خطی در فریمورکها بهطور پیشفرض از نمونهگیری یکنواخت کایمینگ استفاده میکند؛ به همین دلیل شبکههای کمعمق را بدون نیاز به فکر کردن دربارهی آن آموزش میدهند.
بررسی صحت کارکرد
ورودیهای تصادفی را به شبکهی آموزشندیده push کنید و میانگین بزرگی فعالسازیها را در هر لایه ثبت کنید. آزمایشِ درس، این مقادیر را در لایههای 1، 5، 10، 25 و 50 چاپ میکند: نرمال استاندارد منفجر میشود، نرمال با انحراف معیار 0.01 ناپدید (صفر) میشود، و هم خاویر با sigmoid و هم کایمینگ با ReLU تا لایهی 50 مقداری نزدیک به 1.0 را حفظ میکنند.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا مقداردهی اولیه با صفر شکست میخورد، هرچند واریانس آن ثابت میماند؟ پاسخ مورد انتظار: همهی نورونها تابع یکسانی را محاسبه میکنند و گرادیان یکسانی میگیرند؛ در نتیجه لایه عملاً فقط یک نورون مؤثر دارد. وزنهای تصادفی این تقارن را میشکنند.
- سطح 3: کدام مقداردهی اولیه با GELU همخوانی دارد؟ پاسخ مورد انتظار: کایمینگ، درست مثل ReLU.
- سطح 3: چطور یک مقداردهی اولیه را بدون آموزش دادن بررسی میکنید؟ پاسخ مورد انتظار: دادههای تصادفی را به شبکه push کنید و میانگین بزرگی فعالسازیها را در هر لایه ثبت کنید؛ این مقدار باید در تمام عمقها درون بازهای مثل 0.5 تا 2.0 باقی بماند.
- سطح 4: چرا شبکههای دارای اتصالات باقیمانده (residual networks) فراتر از کایمینگ به یک مقیاسبندی دیگر هم نیاز دارند؟ پاسخ مورد انتظار: هر جمع باقیمانده واریانس اضافه میکند؛ بنابراین جریان سیگنال با افزایش تعداد لایهها رشد میکند. روش GPT-2 وزنهای residual را با ضریب 1 تقسیم بر رادیکال 2N مقیاسبندی میکند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «تصادفی، تصادفی است؛ اگر کوچک باشد مقیاس آن اهمیتی ندارد.» خیلی کوچک باشد ناپدید میشود و خیلی بزرگ باشد منفجر میشود؛ درس هر دو حالت را نشان میدهد و در 50 لایه، حاشیهی خطا بسیار باریک است.
- «خاویر برای ReLU هم جواب میدهد و تفاوتش ناچیز است.» خاویر واریانس مورد نیاز ReLU را با ضریب 2 کمتر از حد واقعی تخمین میزند و در طول 50 لایه، سیگنال به حدود 8.8 ضربدر 10 به توان منفی 16 سقوط میکند.
- «عدد 2 در کایمینگ نشاندهندهی گامهای رفت و برگشت است.» این عدد 2 برای جبران صفر شدن نیمی از فعالسازیها توسط ReLU است؛ عدد 2 در خاویر است که تعادل میان دو گام را برقرار میکند.
کجای دوره آموزش داده میشود
درس مقداردهی اولیهی وزن هر دو فرمول را اثبات میکند و آزمایش شبکهی 50 لایه را اجرا میکند.