سؤال مصاحبه

دو نوع ضرب در NumPy با خروجی‌های متفاوت

Two products in NumPy that print different numbers

  • سطح ۱: غربالگری
  • کدخوانی
  • ۵ دقیقه

این کد را بخوانید و بگویید هر دستور print چه مقداری را نمایش می‌دهد. سپس مشخص کنید یک لایه‌ی متراکم (dense layer) از کدام‌یک از این دو عملیات استفاده می‌کند و چرا.

import numpy as np

A = np.array([[1, 2], [3, 4]])
B = np.array([[5, 6], [7, 8]])
print(A * B)
print(A @ B)

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

عملگر ستاره مقادیر متناظر را در هم ضرب می‌کند؛ بنابراین اولین print اعداد 5، 12، 21 و 32 را نشان می‌دهد. علامت @ ضرب داخلی (dot product) سطرها در ستون‌ها را تشکیل می‌دهد؛ پس دومین print اعداد 19، 22، 43 و 50 را نمایش می‌دهد. یک لایه از علامت @ استفاده می‌کند، چون هر خروجی باید روی همه‌ی ورودی‌ها جمع بسته شود.

پاسخ کامل

ضرب نظیر‌به‌نظیر (Element-wise product)

هر دو آرایه شکل یکسانی دارند؛ بنابراین عملگر ستاره هر درایه را در درایه‌ی متناظرش در همان موقعیت ضرب می‌کند:

1*5 = 5    2*6 = 12
3*7 = 21   4*8 = 32

ترتیب A و B تأثیری روی نتیجه ندارد.

ضرب ماتریسی (Matrix product)

علامت @ متد matmul را فراخوانی می‌کند. درایه‌ی (i, j) در نتیجه، برابر با ضرب داخلی سطر i از A در ستون j از B است:

1*5 + 2*7 = 19    1*6 + 2*8 = 22
3*5 + 4*7 = 43    3*6 + 4*8 = 50

در اینجا ترتیب ماتریس‌ها مهم است. ضرب B در A اعداد دیگری تولید می‌کند. ابعاد درونی باید با هم هم‌خوانی داشته باشند و نتیجه، سطرهای A و ستون‌های B را خواهد داشت.

کدام‌یک در لایه به کار می‌رود؟

یک لایه‌ی متراکم مقدار فعال‌سازیِ W ضرب‌در x به‌علاوه‌ی b را محاسبه می‌کند. هر خروجی تمام ورودی‌ها را با سطر وزن‌های متناظر با خودش ترکیب می‌کند که همان ضرب داخلی درون یک ضرب ماتریسی است. ضرب نظیر‌به‌نظیر در بخش‌های دیگرِ آموزش دیده می‌شود؛ برای مثال وقتی نرخ یادگیری (learning rate) یک گرادیان (gradient) را مقیاس‌بندی می‌کند، یا وقتی یک ماسک برخی مقادیر را صفر می‌کند. NumPy ضرب ماتریسی را با روتین‌های (routine) بهینه‌شده‌ی BLAS که با C و Fortran نوشته شده‌اند اجرا می‌کند؛ در این درس اندازه‌گیری شده که این شیوه حدود 100 برابر سریع‌تر از یک حلقه‌ی پایتون روی همان اعداد است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: آیا ترتیب A و B در هر مورد مهم است؟ پاسخ مورد انتظار: برای ضرب نظیر‌به‌نظیر خیر، برای ضرب ماتریسی بله.
  • سطح 2: در گام نرخ یادگیری از کدام‌یک از دو عملیات استفاده می‌شود؟ پاسخ مورد انتظار: ضرب یک عدد اسکالر در گرادیان، که یک مقیاس‌بندی نظیر‌به‌نظیر است.
  • سطح 2: چرا علامت @ این‌قدر از یک حلقه در پایتون سریع‌تر است؟ پاسخ مورد انتظار: چون روتین‌های BLAS را در C و Fortran صدا می‌زند. درس این مقدار را حدود 100 برابر نشان می‌دهد.
  • سطح 3: اگر کسی برای لایه از علامت ستاره استفاده کند و کد بدون خطا اجرا شود، چطور چنین چیزی ممکن است؟ پاسخ مورد انتظار: ابعاد تصادفاً برابر بوده‌اند؛ بنابراین ضرب نظیر‌به‌نظیر اجرا شده و بدون خطا، مقادیر نادرستی داده است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «هر دو یک ماتریس را چاپ می‌کنند، ستاره شکل دیگری از نوشتن علامت @ است.» این دو عملیات از قواعد متفاوتی پیروی می‌کنند و اعداد متفاوتی می‌دهند.
  • «علامت @ ضرب نظیر‌به‌نظیر است و ستاره ضرب ماتریسی.» علامت @ متد matmul را فراخوانی می‌کند که ضرب داخلی سطرها و ستون‌ها را تشکیل می‌دهد. ستاره روی موقعیت‌های متناظر کار می‌کند.
  • «یک لایه‌ی متراکم هر وزن را در ورودی‌اش ضرب می‌کند، پس نظیر‌به‌نظیر است.» هر خروجی روی تمام ورودی‌ها هم جمع بسته می‌شود. این جمع همان ضرب داخلی درون یک ضرب ماتریسی است.

کجای دوره آموزش داده می‌شود

در درس بردارها و ماتریس‌ها هر دو ضرب ابتدا به‌صورت دستی و سپس با NumPy محاسبه شده‌اند.