سؤال مصاحبه

چرا یک پرسپترون هرگز XOR را یاد نمی‌گیرد؟

Why one perceptron never learns XOR

  • سطح ۱: غربالگری
  • مفهومی
  • ۵ دقیقه

یک پرسپترون (Perceptron) ساده گیت‌های AND و OR را ظرف چند دور (Epoch) یاد می‌گیرد؛ اما روی گیت XOR، حتی بعد از 1000 دور هم هرگز همگرا نمی‌شود. علت چیست و کوچک‌ترین تغییری که می‌توان در مدل داد تا XOR قابل یادگیری شود کدام است؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پرسپترون مجموع وزن‌دار ورودی‌ها را حساب می‌کند، یک بایاس (Bias) به آن می‌افزاید و در نهایت یک آستانه (Threshold) روی آن اعمال می‌کند؛ بنابراین مرز تصمیم‌گیری (Decision boundary) آن یک خط مستقیم است. در AND و OR، همه‌ی خروجی‌های 1 در یک سمت خط قرار می‌گیرند. اما در XOR، خروجی‌های 1 در نقاط (0, 1) و (1, 0) و خروجی‌های صفر در نقاط (0, 0) و (1, 1) قرار دارند و هیچ خط مستقیمی نمی‌تواند این دو جفت نقطه را از هم جدا کند. یک لایه‌ی پنهان (Hidden layer) اضافه کنید: دو نورون که OR و NAND را حساب کنند و یک نورون خروجی که با AND آن‌ها را ترکیب کند، دقیقاً تابع XOR را می‌سازند.

پاسخ کامل

یک پرسپترون چه مرزی می‌تواند رسم کند؟

اگر حاصل عبارت w1 x1 + w2 x2 + b دست‌کم 0 باشد، خروجی 1 و در غیر این صورت 0 است. مجموعه‌ی نقاطی که این مجموع در آن‌ها برابر با 0 می‌شود یک خط است، و آموزش این خط را جابه‌جا می‌کند. قاعده‌ی یادگیری بسیار جمع‌وجور است: وقتی پیش‌بینی نادرست باشد، حاصل‌ضرب نرخ یادگیری (Learning rate) در مقدار خطا در ورودی به هر وزن افزوده می‌شود، و خود خطا هم به بایاس اضافه می‌شود. اگر پیش‌بینی درست باشد، خطا 0 است و هیچ‌چیز تکان نمی‌خورد. روی یک مجموعه‌داده‌ی تفکیک‌پذیر خطی (Linearly separable)، این قاعده خط جداکننده را پیدا می‌کند. اما روی XOR چنین خطی وجود ندارد؛ به همین دلیل وزن‌ها تا ابد مدام تغییر می‌کنند. گزارش اجرای 1000 دوره‌ای در درس هم نشان می‌دهد که مدل همگرا نشده است.

راه‌حل

عبارت XOR معادل است با: (x1 OR x2) AND NOT (x1 AND x2). سه پرسپترون در دو لایه می‌توانند این منطق را محاسبه کنند:

OR neuron:    weights [1.0, 1.0],   bias -0.5
NAND neuron:  weights [-1.0, -1.0], bias 1.5
AND neuron:   weights [1.0, 1.0],   bias -1.5   on the two hidden outputs

لایه‌ی اول، چهار نقطه‌ی ورودی را به ویژگی‌های (Features) جدیدی تبدیل می‌کند. در این فضای ویژگی، دو کلاس تفکیک‌پذیر می‌شوند و نورون خروجی یک خط جداکننده در آن رسم می‌کند.

از تنظیم دستی وزن‌ها تا یادگیری خودکار

تابع پله‌ای (Step function) گرادیان (Gradient) مفیدی ندارد، بنابراین وزن‌های لایه‌ی پنهان را نمی‌توان با پس‌انتشار خطا (Backpropagation) یاد گرفت. اگر آن را با یک سیگموئید (Sigmoid) جایگزین کنید که تابعی نرم و هموار است، همین ساختار 2-2-1 می‌تواند XOR را با وزن‌های تصادفی یاد بگیرد. در درس شبکه‌های چندلایه (Multi-layer networks)، نسخه‌ی سیگموئیدیِ دستی با وزن‌های 20 و -20 و بایاس‌های -10، 30 و -30 نشان داده شده است؛ در این حالت، وزن‌های بزرگ باعث می‌شوند سیگموئید رفتاری شبیه به تابع پله‌ای پیدا کند. درست در همین نقطه است که پرسپترون به یک شبکه‌ی عصبی (Neural network) تبدیل می‌شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: وقتی پیش‌بینی درست باشد، قاعده‌ی یادگیری چه می‌کند؟ پاسخ مورد انتظار: خطا 0 است، پس هیچ وزنی تغییر نمی‌کند.
  • سطح 2: چرا تابع پله‌ای جلوی یادگیری را در نسخه‌ی دولایه می‌گیرد؟ پاسخ مورد انتظار: گرادیان مفیدی ندارد، بنابراین پس‌انتشار خطا نمی‌تواند سهم تقصیر وزن‌های پنهان را تعیین کند؛ در مقابل، سیگموئید هموار است و در همه‌جا گرادیان دارد.
  • سطح 2: چرا وزن‌های 20 و -20 در نسخه‌ی سیگموئیدی جواب می‌دهند؟ پاسخ مورد انتظار: وزن‌های بزرگ باعث می‌شوند سیگموئید شبیه تابع پله‌ای عمل کند، بنابراین خروجی هر نورون پنهان یک OR یا NAND قاطع و مشخص است.
  • سطح 3: آیا تابع اکثریت (Majority function) با سه ورودی تفکیک‌پذیر خطی است؟ پاسخ مورد انتظار: بله؛ تولید خروجی 1 زمانی که دست‌کم دو ورودی 1 باشند یک نیم‌فضا (Half-space) می‌سازد، بنابراین یک پرسپترون آن را یاد می‌گیرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «بیشتر آموزش دهید یا نرخ یادگیری را بالا ببرید.» هیچ خطی نقاط XOR را از هم جدا نمی‌کند، پس با هیچ تعداد دور آموزشی نمی‌توان چنین خطی پیدا کرد.
  • «ورودی‌های بیشتر یا نورون‌های بیشتری به همان لایه اضافه کنید.» یک لایه‌ی تکیِ عریض‌تر باز هم فقط یک خط روی همان صفحه رسم می‌کند.
  • «یک لایه‌ی پنهان بدون تابع فعال‌سازی مشکل را حل می‌کند.» ترکیب دو لایه‌ی خطی به یک تبدیل خطی واحد تبدیل می‌شود، که باز هم همان یک خط خواهد بود. لایه‌ی پنهان به یک تابع غیرخطی نیاز دارد.

کجای دوره آموزش داده می‌شود

در درس پرسپترون ناتوانی در حل XOR و راه‌حل با سه گیت کنترلی (Gates) نشان داده شده است، و در درس شبکه‌های چندلایه نسخه‌ی سیگموئیدی آن ساخته می‌شود.