سؤال مصاحبه

دو لایه که در آن‌ها خروجی اکثر واحدهای ReLU دقیقاً صفر است

Two layers where most ReLU outputs are exactly zero

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

پس از چند صد گام با نرخ یادگیری (learning rate) بالا، روند کاهش تابع زیان (loss) در یک شبکه‌ی ReLU متوقف می‌شود. مقادیر فعال‌سازی (activations) را بعد از هر لایه‌ی ReLU ثبت می‌کنید و می‌بینید در دو لایه، خروجی بیش از نیمی از آن‌ها در تمام دسته‌ها (batches) دقیقاً صفر است. توضیح دهید چه اتفاقی برای این واحدها افتاده است، چرا نمی‌توانند خودبه‌خود برگردند و چه تغییری باید ایجاد کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ابتدا مطمئن شوید این واحدها مرده‌اند و موضوع صرفاً تنک بودن (sparsity) نیست: در یک نمونه‌ی آماری بزرگ، خروجی یک نورون مرده (dead neuron) به ازای تک‌تک ورودی‌ها صفر است. واحد ReLU که مقدار پیش از فعال‌سازی (pre-activation) آن برای همه‌ی ورودی‌ها منفی باشد، خروجی صفر و مشتق صفر خواهد داشت؛ بنابراین هیچ گرادیانی دریافت نمی‌کند و وزن‌هایش هرگز تغییر نخواهند کرد. یک به‌روزرسانی بزرگ ناشی از نرخ یادگیری بالا، وزن‌ها و بایاس‌های این واحدها را چنان به ناحیه‌ی منفی push کرده که هیچ ورودی‌ای نمی‌تواند آن‌ها را برگرداند. نرخ یادگیری را کاهش دهید، واحدهای مرده یا لایه‌های آسیب‌دیده را دوباره مقداردهی اولیه کنید و سراغ تابع فعال‌سازی (activation function) دیگری با گرادیان در بخش منفی بروید؛ مثل نسخه‌های Leaky یا GELU.

پاسخ کامل

نورون مرده چیست؟

تابع ReLU به‌صورت max(0, x) تعریف می‌شود. مشتق آن برای ورودی‌های مثبت 1 و برای سایر ورودی‌ها 0 است. واحدی که مقدار ورودی‌اش در تمام نمونه‌ها منفی باشد، خروجی 0 می‌دهد، گرادیان 0 را به وزن‌هایش می‌فرستد و هیچ بخش دیگری از تابع زیان دستش به این وزن‌ها نمی‌رسد. این واحد تا پایان فرایند آموزش می‌میرد. درس توابع فعال‌سازی گزارش می‌دهد که در عمل بین 10 تا 40 درصد واحدهای یک شبکه‌ی ReLU ممکن است بمیرند. آستانه‌ی (threshold) مشخص‌شده در درس اشکال‌زدایی، صفر بودنِ بیش از نیمی از مقادیر بعد از لایه‌ی ReLU است؛ در این نقطه باید تابع فعال‌سازی را عوض کنید یا نرخ یادگیری را کاهش دهید.

نرخ یادگیری بالا چطور باعث این اتفاق می‌شود؟

تنها یک گام بیش‌ازحد بزرگ کافی است تا بایاس یا وزن‌های یک واحد به اعماق ناحیه‌ی منفی برود. بعد از آن گام، نتیجه‌ی همه‌ی ورودی‌ها زیر صفر قرار می‌گیرد. دموی درس اشکال‌زدایی، این وضعیت را مستقیماً با پر کردن وزن‌ها با مقادیر 1.0- و بایاس‌ها با 5.0- بازسازی می‌کند و نشان می‌دهد که تابع زیان کاملاً افقی می‌شود و اکثر فعال‌سازی‌ها روی صفر می‌مانند. نرخ یادگیری بالا هم تصادفاً شبکه را به همین وضعیت می‌رساند.

تشخیص نورون مرده از تنک بودن

تعدادی خروجی صفر طبیعی است؛ قرار است خروجی‌های ReLU تنک باشند. در یک نمونه‌ی بزرگ از داده‌ها، نسبت ورودی‌هایی را بشمارید که خروجی هر واحد در آن‌ها مثبت است. «مرده» یعنی خروجی روی تک‌تک آن‌ها صفر باشد. آشکارساز درس توابع فعال‌سازی بر اساس همین شمارش، واحدها را به دسته‌های مرده، نیمه‌جان و سالم گزارش می‌کند.

چه چیزهایی را تغییر دهیم؟

  1. نرخ یادگیری را پایین بیاورید و برش گرادیان (gradient clipping) اضافه کنید تا یک دسته‌ی نامناسب نتواند دوباره چنین گامی ایجاد کند.
  2. وزن‌های ورودیِ واحدهای مرده را با نمونه‌گیری Kaiming دوباره مقداردهی اولیه کنید و آموزش را ادامه دهید؛ با این کار پیشرفت باقی بخش‌های شبکه حفظ می‌شود. این همان تمرین احیاگر نورون‌های مرده در درس اشکال‌زدایی است.
  3. تابع فعال‌سازی را تغییر دهید. تابع Leaky ReLU شیب ملایمی در ناحیه‌ی منفی نگه می‌دارد و به واحد اجازه می‌دهد احیا شود. تابع GELU هموار است و اساساً مانع رخ دادن این مشکل می‌شود؛ درس توابع فعال‌سازی نیز این تابع را به نسخه‌ی Leaky ترجیح می‌دهد، مگر دلیل خاصی وجود داشته باشد.
  4. روش مقداردهی اولیه را بررسی کنید. نمونه‌گیری Kaiming مقادیر پیش از فعال‌سازی را در شروع کار متمرکز نگه می‌دارد تا واحدهای کمتری کارشان را از ناحیه‌ی منفی آغاز کنند.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا واحد مرده به‌جای دریفت (drift) و بازگشت، در همان حالت می‌ماند؟ پاسخ مورد انتظار: خروجیِ صفر گرادیان صفر به وزن‌هایش می‌دهد و هیچ بخش دیگری از تابع زیان اثری روی آن‌ها ندارد.
  • سطح 3: چطور نورون مرده را از نورونی با فعالیت تنک تشخیص می‌دهید؟ پاسخ مورد انتظار: نسبت ورودی‌هایی را که در آن‌ها خروجی واحد مثبت است روی یک نمونه‌ی بزرگ می‌شماریم؛ خروجی واحد مرده روی تمام ورودی‌ها صفر است، اما واحد تنک در بخش کوچکی از ورودی‌ها مثبت می‌شود.
  • سطح 4: چه پیوندی میان نرخ یادگیری بالا و مرگ نورون‌ها وجود دارد؟ پاسخ مورد انتظار: یک گام بزرگ، بایاس یا وزن‌ها را بسیار منفی می‌کند تا جایی که تمام ورودی‌ها زیر صفر بیفتند؛ برش گرادیان و نرخ یادگیری پایین‌تر این گام را محدود می‌کنند.
  • سطح 4: آیا می‌توان بدون آموزش دوباره از صفر، واحدهای مرده را احیا کرد؟ پاسخ مورد انتظار: وزن‌های ورودی آن‌ها را با نمونه‌گیری Kaiming دوباره مقداردهی اولیه کنید و آموزش را ادامه دهید؛ بقیه‌ی شبکه پیشرفت خود را حفظ می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نصف بودن خروجی‌های صفر همان تنک بودنِ معمول ReLU است.» مقداری خروجی صفر طبیعی است؛ واحدی که روی همه‌ی ورودی‌ها صفر شود مرده است و هیچ مشارکتی ندارد و این درس، لایه‌ای با بیش از نیمی خروجی صفر را علامت‌گذاری می‌کند.
  • «نرخ یادگیری را بالا ببرید تا واحدها با یک جهش برگردند.» وقتی گرادیان صفر باشد، نرخ یادگیری هر چه باشد فرقی نمی‌کند؛ هیچ گامی به این واحدها نمی‌رسد.
  • «برای فرار از صفرها از Sigmoid استفاده کنید.» با این کار واحدهای مرده را با محوشدگی گرادیان (vanishing gradient) در عمق شبکه عوض می‌کنید؛ در حالی که نسخه‌های Leaky یا GELU مزایای ReLU را حفظ می‌کنند.

کجای دوره آموزش داده می‌شود

درس توابع فعال‌سازی واحدهای مرده را توضیح می‌دهد و آشکارساز آن‌ها را می‌سازد؛ درس اشکال‌زدایی هم این نقص را بازسازی کرده و آستانه‌ی آن را تعیین می‌کند.