این کلاس Layer از یک گذر رو به جلو (forward pass) با پایتون خالص گرفته شده است.
class Layer:
def __init__(self, n_inputs, n_neurons, weights=None, biases=None):
if weights is not None:
self.weights = weights
else:
self.weights = [
[random.uniform(-1, 1) for _ in range(n_inputs)]
for _ in range(n_neurons)
]
self.biases = biases if biases is not None else [0.0] * n_neurons
def forward(self, inputs):
self.last_output = []
for neuron_idx in range(len(self.weights)):
z = sum(w * x for w, x in zip(self.weights[neuron_idx], inputs))
z += self.biases[neuron_idx]
self.last_output.append(sigmoid(z))
return self.last_output
برای یک شبکهی 2-3-1، ابعاد هر ماتریس وزن و بردار بایاس را مشخص کنید. سپس بگویید اگر کسی لایهی پنهان (hidden layer) را به اشتباه بهصورت Layer(n_inputs=3, n_neurons=2) بسازد، چه اتفاقی میافتد.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
وزنهای لایهی پنهان یک ماتریس 3 در 2 تشکیل میدهند (یک سطر برای هر نورون و یک ستون برای هر ورودی) همراه با بایاسی به طول 3؛ وزنهای لایهی خروجی نیز یک ماتریس 1 در 3 با بایاسی به طول 1 میسازند. فراخوانی جابهجا، ماتریسی 2 در 3 ایجاد میکند: zip سه وزن هر سطر را با دو ورودی جفت میکند و با تمام شدن ورودیِ کوتاهتر متوقف میشود؛ در نتیجه لایه بهجای سه مقدار، دو مقدار برمیگرداند و zip در لایهی خروجی هم دوباره دادهها را کوتاه میکند. هیچ خطایی صادر نمیشود و شبکه تابعی کاملاً اشتباه را محاسبه میکند.
پاسخ کامل
قاعده و جدول
ابعاد ماتریس وزن هر لایه بهصورت (تعداد نورونهای این لایه، تعداد نورونهای لایهی قبلی) است. سطرها متناظر با لایهی فعلی و ستونها متناظر با لایهی قبلی هستند.
| مرحله | عملیات | ابعاد | خروجی |
|---|---|---|---|
| ورودی | x | (2,) | |
| بخش خطی پنهان | W1 x + b1 | W1 (3, 2), b1 (3,) | (3,) |
| فعالسازی پنهان | sigmoid | (3,) | |
| بخش خطی خروجی | W2 h + b2 | W2 (1, 3), b2 (1,) | (1,) |
| فعالسازی خروجی | sigmoid | (1,) |
در این کلاس، len(self.weights) تعداد نورونها است و هر سطر n_inputs عضو دارد. حلقهی گذر رو به جلو برای هر سطر یک ضرب داخلی (dot product) محاسبه میکند، بایاس آن سطر را میافزاید و تابع سیگموئید را اعمال میکند. خروجی یک لایه، لیست ورودی لایهی بعدی خواهد بود.
اثر فراخوانی جابهجا
کد Layer(n_inputs=3, n_neurons=2) دو سطر با سه وزن میسازد. گذر رو به جلو ورودیای با دو عضو دریافت میکند. تابع zip در پایتون با رسیدن به انتهای دنبالهی کوتاهتر متوقف میشود؛ بنابراین هر سطر فقط از دو وزن اول خود استفاده میکند و وزن سوم نادیده گرفته میشود. در نتیجه، لایه دو مقدار برمیگرداند. از طرفی لایهی خروجی برای سه ورودی ساخته شده بود، بنابراین zip در آن لایه هم یک وزن را کنار میگذارد. نه استثنایی رخ میدهد، نه هشداری داده میشود؛ مدلی میماند که بخشی از پارامترهایش عملاً مردهاند. یک کتابخانهی ماتریسی روی عدم تطابق ابعاد داخلی خطا میداد؛ اما این حلقه چنین کاری نمیکند. به همین دلیل است که این درس، ردگیری ابعاد را مهمترین مهارت اشکالزدایی در یادگیری عمیق (deep learning) میداند.
شکست سریع با اعلام خطا
در متد forward یک assertion بگذارید تا برابر بودن طول ورودی با تعداد ستونها بررسی شود، یا کاری کنید که کلاس Network هنگام ساخته شدن بررسی کند که تعداد ورودی هر لایه با تعداد نورونهای لایهی قبلی برابر باشد.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: شبکهی 2-3-1 چند پارامتر دارد؟ پاسخ مورد انتظار: 9 تا در لایهی پنهان (6 وزن و 3 بایاس) و 4 تا در لایهی خروجی (3 وزن و 1 بایاس).
- سطح 2: چرا این حلقه با جابهجا شدن ابعاد خطایی نمیدهد؟ پاسخ مورد انتظار: zip با پایان دنبالهی کوتاهتر متوقف میشود، پس وزنهای اضافی نادیده گرفته میشوند و خطایی رخ نمیدهد؛ درحالیکه یک کتابخانهی ماتریسی روی عدم تطابق ابعاد خطا میداد.
- سطح 3: برای اینکه این باگ فوراً خطا دهد، بررسی را کجا میگذارید؟ پاسخ مورد انتظار: یک assertion در متد forward برای بررسی برابر بودن طول ورودی با تعداد ستونها، یا بررسی ابعاد بین لایهها هنگام ساخته شدن Network.
- سطح 3: یک مدل متنی وضعیت پنهانی (hidden state) با پهنای 768 دارد و ورودی آن یک شناسهی توکن (token id) است. آیا این قاعده همچنان برقرار است؟ پاسخ مورد انتظار: بله؛ امبدینگ (embedding) توکن را به یک بردار 768 نگاشت میکند و در تمام ماتریسهای بعدی، تعداد سطرها برابر با پهنای لایهی جاری و تعداد ستونها برابر با پهنای لایهی قبلی است.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «ماتریس وزن بهصورت ورودیها در نورونها است، بنابراین برای لایهی پنهان 2 در 3 میشود.» در این کلاس، هر سطر شامل وزنهای یک نورون برای تمام ورودیها است، پس ماتریس بهصورت نورونها در ورودیها است.
- «ابعاد اشتباه همیشه خطا میدهد.» ضرب ماتریسی در کتابخانهها خطا میدهد؛ اما این حلقه با zip خطایی صادر نمیکند. فریمورکها هم ممکن است ابعاد اشتباه را با همهپخشی (broadcast) بیصدا اجرا کنند.
- «به ازای هر ورودی یک بایاس وجود دارد.» بایاس متعلق به نورون است، بنابراین به ازای هر خروجیِ لایه یک بایاس داریم.
کجای دوره آموزش داده میشود
درس شبکههای چندلایه این کلاس Layer را میسازد و ابعاد شبکهی 2-3-1 را ردگیری محاسبات (trace) میکند.