سؤال مصاحبه

چه مقدار از گرادیان پس از عبور از ده لایه‌ی سیگموئید زنده می‌ماند؟

How much gradient survives ten sigmoid layers

  • سطح ۲: میانی
  • تخمین
  • ۸ دقیقه

شبکه‌ای با ده لایه‌ی پنهان (hidden layer) داریم که تابع فعال‌سازی (activation function) همه‌ی آن‌ها سیگموئید (sigmoid) است. بیشترین ضریبی را تخمین بزنید که مشتق‌های سیگموئید به‌تنهایی به گرادیان (gradient) اجازه می‌دهند در مسیر تابع زیان (loss) تا لایه‌ی اول حفظ کند، و بگویید این عدد چه معنایی برای آموزش مدل دارد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مشتق تابع سیگموئید برابر با s در (1 - s) است که وقتی خروجی 0.5 باشد، به بیشینه‌ی خود یعنی 0.25 می‌رسد. در پس‌انتشار خطا (backpropagation)، گرادیان در هر لایه یک بار در این مشتق ضرب می‌شود؛ بنابراین بعد از ده لایه، حاصل‌ضرب عوامل فعال‌سازی در بیشترین حالت 0.25 به توان 10، یعنی حدود یک‌میلیونیوم خواهد بود. از طرفی، گرادیان در هر لایه در ترانهاده‌ی (transpose) ماتریس وزن‌ها نیز ضرب می‌شود و وزن‌هایی با نُرم بیشتر از 1 می‌توانند گرادیان را بزرگ‌تر کنند؛ بنابراین این عدد صرفاً حد بالا (upper bound) بخش فعال‌سازی را نشان می‌دهد. با وزن‌های اولیه‌ی کوچک درس، عملاً هیچ سیگنالی به لایه‌های ابتدایی نمی‌رسد و در حالی که لایه‌های انتهایی یاد می‌گیرند، لایه‌های اول نزدیک مقادیر اولیه‌ی خود باقی می‌مانند؛ پدیده‌ای که به آن محوشدگی گرادیان (vanishing gradient) می‌گویند.

پاسخ کامل

زنجیره‌ی عبور از میان لایه‌ها

در هر لایه، گام رو به عقب (backward pass) گرادیان تابع زیان نسبت به مقدار پیش از فعال‌سازی را از حاصل‌ضرب گرادیان ورودی در مشتق تابع فعال‌سازی در همان نقطه به دست می‌آورد. در تابع سیگموئید، اگر خروجی a باشد، این مشتق a(1 - a) خواهد بود. بیشترین مقدار این مشتق 0.25 است که در a برابر 0.5 رخ می‌دهد. در عمق سه لایه، حاصل‌ضرب حداکثر 0.25 به توان 3 یعنی 0.0156 است. در عمق ده لایه، این مقدار به 0.25 به توان 10 می‌رسد که در درس‌ها به صورت 0.000001 و 0.000000953674 نوشته شده است.

چرا این حد بالا بیش از حد خوش‌بینانه است؟

عدد 0.25 فقط مخصوص واحدی است که خروجی آن دقیقاً 0.5 باشد. واحدی با خروجی نزدیک 0 یا 1 دچار اشباع (saturation) شده و مشتق آن نزدیک به 0 است. شبکه‌های واقعی واحدهای اشباع‌شده‌ی زیادی دارند، بنابراین بخش فعال‌سازی بیش از یک‌میلیونیوم کوچک می‌شود. این حد بالا ماتریس‌های وزن را هم در نظر نمی‌گیرد. پس‌انتشار خطا گرادیان را در ترانهاده‌ی وزن‌های هر لایه ضرب می‌کند؛ وزن‌هایی با نُرم بیشتر از 1 می‌توانند گرادیان را بزرگ‌تر کنند، در حالی که وزن‌های کوچک تضعیف آن را شدیدتر می‌کنند. هزینه‌ی دوم این است که خروجی‌های سیگموئید همیشه مثبت‌اند؛ در نتیجه گرادیان‌های روی وزن‌های یک لایه هم‌علامت می‌شوند و مسیر نزول به‌صورت زیگزاگی پیش می‌رود.

چه عواملی محاسبات را تغییر می‌دهند؟

  • بیشینه‌ی مشتق تابع تانژانت هذلولوی (tanh) برابر 1.0 است؛ یعنی چهار برابر سیگموئید. اما برای ورودی‌های بزرگ باز هم به سمت 0 افت می‌کند؛ بنابراین چینش‌های عمیق لایه‌های tanh نیز دچار محوشدگی گرادیان می‌شوند، فقط با سرعتی کمتر.
  • مشتق ReLU برای ورودی‌های مثبت دقیقاً 1 است. گرادیان بدون تغییر عبور می‌کند و حاصل‌ضرب کوچک نمی‌شود. همین تغییر بود که آموزش شبکه‌های عمیق را ممکن ساخت.
  • تابع GELU گرادیان همواری دارد و از مشکل از کار افتادن واحدها (dead units) در ReLU جلوگیری می‌کند؛ به همین دلیل در ترنسفورمرها (Transformer) به کار می‌رود.
  • شبکه‌ی خود درس، وزن‌های اولیه‌اش را با ضریب رادیکالِ 2 بر روی تعداد ورودی‌ها مقیاس‌بندی می‌کند تا واحدهای سیگموئید ابتدایی وارد فاز اشباع نشوند.

چطور این مشکل را در اجرا مشاهده کنیم؟

میانگین قدرمطلق گرادیان را در هر لایه ثبت کنید (log بگیرید). در یک شبکه‌ی سالم، مقادیر لایه‌ها نسبت به یکدیگر در یک ضریب کوچک قرار دارند. اما در شبکه‌ای که دچار محوشدگی گرادیان شده، مقدار لایه‌ی اول چند مرتبه‌ی بزرگی (orders of magnitude) از لایه‌ی آخر کمتر است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا 0.25 یک حد بالا است و نه مقدار معمول؟ پاسخ مورد انتظار: مشتق فقط در خروجی 0.5 برابر 0.25 است؛ واحدهای اشباع‌شده نزدیک 0 یا 1 مشتقی نزدیک به 0 دارند، بنابراین تضعیف واقعی از این هم شدیدتر است.
  • سطح 2: تابع tanh چه تفاوتی دارد؟ پاسخ مورد انتظار: اوج مشتق آن 1.0 است (چهار برابر بهتر)، ولی برای ورودی‌های بزرگ همچنان به سمت 0 افت می‌کند؛ بنابراین چینش‌های عمیق لایه‌های tanh نیز دچار محوشدگی می‌شوند.
  • سطح 3: استفاده از ReLU چه تغییری در این محاسبات ایجاد می‌کند؟ پاسخ مورد انتظار: مشتق برای ورودی‌های مثبت دقیقاً 1 است، در نتیجه گرادیان بدون تغییر عبور می‌کند و حاصل‌ضرب کوچک نمی‌شود.
  • سطح 3: چطور بدون استفاده از فرمول این مشکل را تشخیص دهیم؟ پاسخ مورد انتظار: میانگین قدرمطلق گرادیان را در هر لایه ثبت کنید؛ لایه‌های ابتدایی مقادیری چند مرتبه‌ی بزرگی کمتر از لایه‌ی آخر نشان می‌دهند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «گرادیان به این دلیل محو می‌شود که نرخ یادگیری (learning rate) خیلی کوچک است.» نرخ یادگیری بزرگ‌تر همه‌ی لایه‌ها را با هم مقیاس‌بندی می‌کند؛ نسبت لایه‌ی اول به آخر باز هم در همان حدود یک‌میلیونیوم باقی می‌ماند.
  • «خروجی‌های سیگموئید بین 0 و 1 هستند، پس گرادیان هم بین 0 و 1 است و مشکلی پیش نمی‌آید.» آنچه در لایه‌ها ضرب می‌شود مشتق است نه خروجی، و بیشینه‌ی آن 0.25 است.
  • «پس‌انتشار خطا برای شبکه‌های عمیق کار نمی‌کند.» پس‌انتشار خطا گرادیان دقیق را محاسبه می‌کند؛ خود گرادیان به دلیل لایه‌هایی که از آن‌ها عبور کرده بسیار کوچک شده است.

کجای دوره آموزش داده می‌شود

درس پس‌انتشار خطا حاصل‌ضرب لایه‌ها را محاسبه می‌کند و درس توابع فعال‌سازی به مقایسه‌ی مشتق‌های سیگموئید، tanh، ReLU و GELU می‌پردازد.