سؤال مصاحبه

تحلیل خطای ابعاد در لایه‌ی متراکم

Read a shape error in a dense layer

  • سطح ۱: غربالگری
  • مفهومی
  • ۵ دقیقه

همکارتان یک لایه‌ی متراکم (dense layer) می‌سازد که 784 ورودی می‌گیرد و 128 خروجی می‌دهد. اولین گذر رو به جلو (forward pass) با خطای ابعاد (shape error) متوقف می‌شود. ماتریس وزن‌ها باید چه ابعادی داشته باشد و چطور باید چنین خطایی را بخوانید و تحلیل کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ابعاد این ماتریس 128 در 784 است: یک سطر برای هر خروجی و یک ستون برای هر ورودی. در ضرب ماتریسی باید اندازه‌های درونی با هم برابر باشند؛ بنابراین، حاصل‌ضرب یک ماتریس 128 در 784 در یک ورودی 784 در 1، خروجی 128 در 1 تولید می‌کند. رخ دادن خطا یعنی اندازه‌های درونی هم‌خوانی ندارند، و برای حل آن باید ابتدا ابعاد تک‌تک عملوندها را روی کاغذ بنویسید.

پاسخ کامل

قاعده

حاصل‌ضرب یک ماتریس m در n در یک ماتریس n در p، ماتریسی m در p خواهد بود. اندازه‌های درونی—که هر دو n هستند—باید با هم برابر باشند. برای لایه‌ی مطرح‌شده در این مسئله:

(128 x 784) @ (784 x 1) = (128 x 1)
  weights       input       output

سطرهای ماتریس وزن نشان‌دهنده‌ی تعداد خروجی‌ها و ستون‌های آن نشان‌دهنده‌ی تعداد ورودی‌ها هستند. هر خروجی از ضرب داخلی (dot product) یک سطر از وزن‌ها در کل بردار ورودی به دست می‌آید.

بایاس

بایاس (bias) برای هر خروجی یک مقدار دارد. همان‌طور که در این درس آمده، آن را به‌صورت یک ستون 128 در 1 ذخیره کنید تا درایه‌به‌درایه با حاصل 128 در 1 جمع شود. اگر یک آرایه‌ی تختِ 128تایی را در برابر یک ستون 128 در 1 قرار دهید، از طریق برادکستینگ (broadcasting) بدون هیچ خطایی به ابعاد 128 در 128 تبدیل می‌شود. وقتی لایه روی یک دسته (batch) اجرا می‌شود، ابعاد بایاس کمتر از خروجی است و برادکستینگ آن را در طول کل دسته تکرار می‌کند. برادکستینگ فقط بُعدی با اندازه‌ی 1 را کش می‌آورد؛ بنابراین هرگز ناسازگاری بُعد 784 در برابر 128 را برطرف نمی‌کند.

روش خواندن و تحلیل خطا

  1. ابعاد هر عملوند را کنار همان عملیات بنویسید.
  2. عملیاتی را که اندازه‌های درونی آن هم‌خوانی ندارند پیدا کنید؛ خطای کد دقیقاً در همین خط است.
  3. مشخص کنید کدام سمت اشتباه است. ترانهاده (transpose) شدن ماتریس وزن، ذخیره‌ی ورودی به‌صورت سطر به‌جای ستون، و جا افتادن بُعد دسته، هرکدام جفت‌اعداد متفاوتی را در پیام خطا نشان می‌دهند.

در متن درس، همین بررسی برای یک شبکه‌ی دولایه انجام می‌شود: ماتریس اول 4 در 3 و ماتریس دوم 2 در 4 است؛ در نتیجه یک ورودی 3 در 1، یک بردار پنهان 4 در 1 و خروجی نهایی 2 در 1 می‌دهد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: ابعاد بایاس چیست؟ پاسخ مورد انتظار: برای هر خروجی یک مقدار دارد، یعنی 128 مقدار که به‌صورت یک ستون 128 در 1 ذخیره می‌شود تا با هر ستون خروجی جمع شود.
  • سطح 2: اگر یک دسته از ورودی‌ها به‌جای ستون به‌صورت سطر وارد شوند، چه تغییری رخ می‌دهد؟ پاسخ مورد انتظار: ترتیب ضرب تغییر می‌کند؛ در نتیجه، حاصل‌ضرب ماتریس دسته در ترانهاده‌ی وزن‌ها، برای هر ورودی یک سطر خروجی تولید می‌کند.
  • سطح 2: چرا در گام رو به عقب (backward pass) ترانهاده ظاهر می‌شود؟ پاسخ مورد انتظار: گرادیان (gradient) ورودی به ماتریس وزنی نیاز دارد که سطرها و ستون‌هایش جابه‌جا شده باشند تا ابعاد در جهت معکوس هم‌خوانی پیدا کنند.
  • سطح 3: برادکستینگ چطور می‌تواند یک باگ ابعادی را پنهان کند؟ پاسخ مورد انتظار: بُعدی با اندازه‌ی 1 برای جور شدن با ابعاد دیگر کش می‌آید؛ بنابراین یک شکل نادرست می‌تواند بدون خطا اجرا شود و مقادیر اشتباه تولید کند. یک assertion روی ابعاد جلوی این خطا را می‌گیرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ماتریس وزن 784 در 128 است، چون ورودی‌ها اول می‌آیند.» وقتی ورودی ستونی است، ماتریس به 128 سطر و 784 ستون نیاز دارد. ترتیب ضرب ماتریسی شکل درست را تعیین می‌کند، نه ترتیبی که ابعاد را نام می‌برید.
  • «ابعاد اهمیتی ندارند، فریم‌ورک خودش آن‌ها را درست می‌کند.» برادکستینگ فقط بُعدی با اندازه‌ی 1 را تکرار می‌کند. قرار گرفتن اندازه‌های درونی 784 در برابر 128 خطا می‌دهد، یا بعد از reshape، بی‌سروصدا خروجی اشتباه تولید می‌کند.
  • «آن‌قدر ماتریس‌ها را ترانهاده کن تا کد اجرا شود.» ترانهاده‌ای که فقط باعث اجرای کد شود، ممکن است جفت‌اعداد اشتباهی را در هم ضرب کند. ابتدا ابعاد را یادداشت کنید و سپس فقط بخشی را که اشتباه است تغییر دهید.

کجای دوره آموزش داده می‌شود

درس بردارها و ماتریس‌ها قاعده‌ی ابعاد را آموزش می‌دهد و یک لایه‌ی متراکم را از روی کلاس Matrix پیاده‌سازی می‌کند.