شبکهای با یک لایهی پنهان (hidden layer) شامل 512 واحد، با وزنها و بایاسهای کاملاً صفر مقداردهی اولیه شده است. آموزش مدل برای هزاران دور (epoch) اجرا میشود، اما تابع زیان (loss) تقریباً تکان نمیخورد. نرخ یادگیری (learning rate) و دادهها هر دو مشکلی ندارند. ایراد کار کجاست و چرا یک اختلال تصادفی کوچک در هر وزن این مشکل را برطرف میکند؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
تمام نورونهای این لایه کار خود را با وضعیتی کاملاً یکسان شروع میکنند؛ بنابراین همگی خروجی یکسانی محاسبه میکنند، گرادیان (gradient) یکسانی میگیرند و بهروزرسانی کاملاً مشابهی روی آنها اعمال میشود. آنها در تمام طول فرایند آموزش یکسان میمانند: این لایه پارامترهای 512 نورون را در خود دارد، اما عملاً مثل یک نورون تک عمل میکند. مقداردهی اولیهی تصادفی به هر نورون نقطهی شروع منحصربهفردی میدهد؛ در نتیجه گرادیانها تفاوت پیدا میکنند و نورونها ویژگیهای متفاوتی را یاد میگیرند. در مرحلهی بعد، مقیاس این تصادفیبودن تعیین میکند که آیا سیگنال در گذر از عمق شبکه زنده میماند یا خیر.
پاسخ کامل
تقارن
تمام نورونهای یک لایه ساختار یکسانی دارند: مجموع وزندار ورودیهای یکسان، یک بایاس و یک تابع فعالساز. هر عاملی که آنها را از هم متمایز کند، باید از دل وزنها بیاید. اگر وزنها برابر باشند، خروجیها نیز برابر خواهند بود. در ادامه، پسانتشار خطا (backpropagation) گرادیان یکسانی به هر نورون تحویل میدهد؛ چرا که سهم همهی آنها در تابع زیان دقیقاً یکسان بوده است. بهروزرسانی هم یکسان است و وزنها دوباره با یکدیگر برابر میمانند. هیچ عاملی در گرادیان کاهشی (gradient descent) نمیتواند این تقارن را بشکند. دموی این درس، چهار نورون با مقداردهی اولیهی صفر میسازد، یک ورودی به آنها میدهد، چهار خروجی کاملاً یکسان چاپ میکند و بهجای هشت پارامتر تخصیصدادهشده، تنها یک پارامتر مؤثر را ثبت میکند.
چرا صفر فقط حالت افراطی ماجراست
هر نوع مقداردهی اولیه با مقدار ثابت، دقیقاً همین عیب را دارد. اگر همهی وزنها را روی 0.5 بگذارید، درست مثل حالت صفر، 512 کپی از یک نورون خواهید داشت. مقادیر تصادفی روشی سرراست برای شکستن این بنبست هستند و به همین دلیل است که دو اجرای مختلف با سیدهای (seeds) گوناگون، ویژگیهای متفاوتی را یاد میگیرند.
بایاسها میتوانند صفر بمانند
لایهها در دموی این درس، وزنها را تصادفی انتخاب میکنند و بایاسها را روی 0.0 قرار میدهند. این کار کاملاً درست است؛ چون وزنها از قبل میان نورونها متفاوتاند و نیازی به متفاوتبودن بایاسها نیست.
پس از شکستن تقارن
تصادفیبودنِ صِرف بهتنهایی کافی نیست. واریانس مقادیر تصادفی باید با تابع فعالساز همخوانی داشته باشد: روش Xavier برای sigmoid و tanh، و روش Kaiming برای ReLU و GELU. اگر مقیاس بیش از حد کوچک باشد، سیگنال در طول لایهها محو میشود؛ اگر خیلی بزرگ باشد، منفجر خواهد شد. یک راه سریع برای بررسی این موضوع این است که ورودیهای تصادفی را از شبکهی آموزشندیده عبور دهید و بزرگی مقدار فعالسازی را در هر لایه ثبت کنید.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: آیا اشکالی ندارد بایاسها را صفر بگذاریم؟ پاسخ مورد انتظار: بله، مشکلی ندارد؛ وقتی وزنها تصادفی باشند نیازی به تغییر بایاسها نیست و لایههای این درس هم همین کار را میکنند.
- سطح 2: آیا مقداردهی همهی وزنها با یک عدد ثابت غیرصفر مشکل را حل میکند؟ پاسخ مورد انتظار: خیر؛ نورونها همچنان یکسان میمانند و کاملاً هماهنگ و موازی با هم تغییر میکنند.
- سطح 3: پس از رفع مشکل، تابع زیان تغییر میکند اما یک نسخهی عمیقتر از شبکه عملکرد آموزشی بدی دارد؛ بعد از این چه چیزی را بررسی میکنید؟ پاسخ مورد انتظار: مقیاس مقادیر تصادفی نسبت به تابع فعالساز؛ روش Xavier برای sigmoid و tanh، و روش Kaiming برای ReLU، که با بررسی بزرگی مقدار فعالسازی در هر لایه اعتبارسنجی میشود.
- سطح 3: این درس چگونه تقارن را در چند خط نشان میدهد؟ پاسخ مورد انتظار: چهار نورون با مقدار اولیهی صفر روی یک ورودی، چهار خروجی یکسان میدهند و شبکه بهجای هشت پارامتر، فقط یک پارامتر مؤثر دارد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «نرخ یادگیری خیلی پایین است.» هر نورون تغییر میکند، اما همگی همراه با هم جلو میروند؛ هیچ نرخ یادگیریای نمیتواند گرادیانهای یکسان را از هم جدا کند.
- «نورونهای بیشتری اضافه کنید.» همهی آنها عملاً همان یک نورون هستند؛ بدون شکستن تقارن، افزایش عرض لایه هیچ آوردهای ندارد.
- «مقداردهی اولیه با صفر برای لایهی اول اشکالی ندارد، چون ورودیها متفاوتاند.» نورونهای یک لایه ورودیهای یکسانی دریافت میکنند؛ عاملی که باید میان نورونها تفاوت ایجاد کند، خودِ وزنها هستند.
کجای دوره آموزش داده میشود
درس مقداردهی اولیهی وزن (weight initialization) با مسئلهی تقارن آغاز میشود و آن را با یک لایهی بسیار کوچک نمایش میدهد.