سؤال مصاحبه

ده لایه بدون تابع فعال‌سازی معادل یک لایه است

Ten layers with no activation are one layer

  • سطح ۱: غربالگری
  • مفهومی
  • ۵ دقیقه

یک مهندس تازه‌کار برای افزایش سرعت، تمام توابع فعال‌سازی (activation function) را از یک شبکه‌ی 10 لایه‌ای حذف می‌کند و گزارش می‌دهد که آموزش مدل همچنان اجرا می‌شود و تابع زیان (loss) هم کاهش می‌یابد. او در واقع چه چیزی ساخته است، و چرا این مدل روی مسئله‌ی XOR یا مجموعه‌داده‌ی مارپیچی (spiral dataset) شکست می‌خورد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ترکیب دو لایه‌ی خطی به یک لایه تبدیل می‌شود: W2 (W1 x + b1) + b2 برابر است با (W2 W1) x + (W2 b1 + b2)، که صرفاً یک ماتریس و یک بایاس (bias) تکی است. ده لایه‌ی خطی در واقع همان یک لایه‌ی خطی با پارامترهای اضافی است که مرز تصمیم‌گیری (decision boundary) یکسانی دارد: یک ابرصفحه (hyperplane). مسئله‌ی XOR و مجموعه‌داده‌ی مارپیچی به یک مرز خمیده نیاز دارند؛ بنابراین شبکه با هر عرض یا عمقی هم که ساخته شود، توان برازش روی آن‌ها را نخواهد داشت.

پاسخ کامل

جایگزینی جبری

h = W1 x + b1
y = W2 h + b2 = W2 W1 x + W2 b1 + b2 = A x + c

ضرب ماتریس‌ها با هم ترکیب می‌شود؛ بنابراین پشته‌ای از نگاشت‌های خطی صرفاً یک نگاشت خطی است. اگر این جایگزینی را ادامه دهید، هر ده لایه در قالب یک ماتریس A و یک بردار c خلاصه می‌شوند. عمق دادن به شبکه بدون تابع غیرخطی، سرابی بیش نیست: مدل دقیقاً همان ظرفیت یک لایه‌ی خطی تکی را دارد و فقط هزینه‌ی محاسباتی اجرای آن بالاتر است.

تغییراتی که تابع فعال‌سازی ایجاد می‌کند

یک تابع غیرخطی مثل g را بین لایه‌ها قرار دهید تا خروجی به شکل h = g(W1 x + b1) درآید. این‌جا دیگر امکان جایگزینی وجود ندارد؛ چون W2 g(W1 x + b1) + b2 به شکل A x + c ساده نمی‌شود. هر لایه‌ی اضافه‌ای که تابع فعال‌سازی داشته باشد، ظرفیت بازنمایی مدل را بالا می‌برد. همین ویژگی به شبکه اجازه می‌دهد تا مرز تصمیم‌گیری‌اش را دور یک مارپیچ خم کند یا نقطه‌های XOR را از هم جدا سازد.

چه مواردی را باید برگرداند؟

انتخاب‌های پیش‌فرض این درس عبارت‌اند از: ReLU برای یک MLP ساده یا CNN، تابع GELU برای یک ترنسفورمر، و tanh درون سلول‌های بازگشتی (recurrent cells). تنها جایی که نبودِ تابع فعال‌سازی در آن درست است، لایه‌ی خروجی است: یک هد (head) رگرسیون هر عدد حقیقی دلخواهی را تولید می‌کند، یک هد دودویی از sigmoid استفاده می‌کند، و یک هد چندکلاسه از سافت‌مکس (softmax) بهره می‌برد.

چرا تابع زیان همچنان کاهش یافت؟

پشته‌ای از لایه‌های خطی فقط بهترین برازش خطی را روی داده‌ها پیدا می‌کند. در مسئله‌ی XOR یا داده‌های مارپیچی، این برازش دست‌کمی از حدس تصادفی ندارد، اما باز هم از وزن‌های تصادفی اولیه بهتر است؛ به همین دلیل تابع زیان کاهش می‌یابد. روند کاهشی تابع زیان، شواهد (evidence) کافی برای این نیست که مدل می‌تواند خروجی هدف را بازنمایی کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: کدام لایه مجاز است تابع فعال‌سازی نداشته باشد؟ پاسخ مورد انتظار: لایه‌ی خروجی یک مدل رگرسیون، که باید بتواند هر عدد حقیقی دلخواهی را تولید کند.
  • سطح 2: آیا شبکه‌ی خطیِ عمیق سریع‌تر از یک لایه آموزش می‌بیند؟ پاسخ مورد انتظار: خیر؛ همان تابع را با پارامترهای بیشتر و ضرب‌های ماتریسی بیشتری محاسبه می‌کند.
  • سطح 2: برای یک MLP ساده و یک ترنسفورمر کدام توابع فعال‌سازی را دوباره اضافه می‌کنید؟ پاسخ مورد انتظار: ReLU برای MLP و GELU برای ترنسفورمر.
  • سطح 3: چرا این فروپاشی به یک لایه، اثبات (proof) بی‌فایده بودن عمق شبکه نیست؟ پاسخ مورد انتظار: با وجود یک تابع غیرخطی بین لایه‌ها، رابطه‌ی جایگزینی نقض می‌شود و هر لایه ظرفیت مدل را بیشتر می‌کند؛ شبکه‌های عمیق در مقایسه با شبکه‌های عریض و کم‌عمق، همان توابع را با پارامترهای کمتری برازش می‌کنند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ده لایه عمیق‌تر است، پس ظرفیت بازنمایی بیشتری دارد.» بدون تابع غیرخطی، حاصل‌ضرب ماتریس‌ها یک ماتریس واحد است؛ عمق چیزی به مدل اضافه نمی‌کند.
  • «بایاس‌ها آن را غیرخطی می‌کنند.» بایاس صرفاً ابرصفحه را جابه‌جا می‌کند و آن را خم نمی‌کند.
  • «تابع زیان پایین آمد، پس مدل دارد به‌خوبی یاد می‌گیرد.» مدل فقط بهترین برازش خطی ممکن را پیدا می‌کند که برای XOR یا داده‌های مارپیچی تقریباً تفاوتی با حدس تصادفی ندارد.

کجای دوره آموزش داده می‌شود

در درس توابع فعال‌سازی، این فروپاشیِ لایه‌ها اثبات شده و تابع فعال‌سازی پیش‌فرض برای هر معماری ارائه شده است.