سؤال مصاحبه

چرا در پس‌انتشار خطا، قاعده‌ی زنجیره‌ای برعکس اجرا می‌شود؟

Why backpropagation runs the chain rule in reverse

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

مشتق‌گیری خودکار می‌تواند مشتق‌ها را از سمت ورودی‌ها به جلو push کند یا آن‌ها را از سمت خروجی به عقب بکشد. فریم‌ورک‌های آموزش مدل حالت پس‌رو را انتخاب می‌کنند. اما چرا، و در چه شرایطی حالت پیش‌رو انتخاب بهتری است؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک شبکه میلیون‌ها پارامتر و تنها یک تابع زیان (loss) اسکالر دارد. حالت پس‌رو مقدار اولیه (seed) گرادیان خروجی را 1 می‌گذارد و گرادیان تمام پارامترها را تنها در یک پیمایش رو به عقب به دست می‌آورد. در مقابل، حالت پیش‌رو برای هر متغیر ورودی به یک دور پیمایش نیاز دارد؛ بنابراین فقط زمانی برنده است که ورودی‌ها کم و خروجی‌ها بسیار زیاد باشند.

پاسخ کامل

دو حالت مشتق‌گیری خودکار

هر دو حالت، قاعده‌ی زنجیره‌ای (chain rule) را روی تک‌تک گره‌های گراف محاسباتی اعمال می‌کنند. تفاوت اصلی در محل قرارگیری مقدار اولیه (seed) است.

حالت مقدار اولیه (Seed) جهت بهترین زمان استفاده
پیش‌رو مشتق یک ورودی نسبت به خودش، برابر با 1 ورودی به خروجی ورودی‌های کم، خروجی‌های زیاد
پس‌رو مشتق خروجی نسبت به خودش، برابر با 1 خروجی به ورودی ورودی‌های زیاد، خروجی‌های کم

حالت پیش‌رو در طول گراف فقط یک مشتق را جلو می‌برد. برای به دست آوردن گرادیانِ تابع زیان نسبت به یک میلیون وزن، باید آن را یک میلیون بار اجرا کنید. مشتق‌گیری خودکار پس‌رو (Reverse-mode Autodiff) گرادیان تک خروجیِ تابع زیان را به سمت همه‌ی گره‌ها برمی‌گرداند؛ هر گره آن را در مشتق محلی خود ضرب کرده و نتیجه را به فرزندانش منتقل می‌کند.

هزینه‌ی محاسباتی حالت پس‌رو

پیمایش رو به عقب هر گره را فقط یک بار بررسی می‌کند؛ بنابراین زمان اجرای آن متناسب با یک گذر رو به جلو (forward pass) است. موتور محاسباتی ابتدا باید گره‌ها را مرتب کند. یک مرتب‌سازی توپولوژیک (Topological Sort) تضمین می‌کند که هر گره قبل از ارسال گرادیان به گره‌های بعدی، گرادیان کامل را از تمام مصرف‌کنندگانش دریافت کرده باشد. وقتی مقداری به چند عملیات مختلف داده می‌شود، سهم گرادیانِ حاصل از همه‌ی آن‌ها با هم جمع می‌شود.

چه زمانی حالت پیش‌رو انتخاب درستی است؟

حالت پیش‌رو برای تابعی با یک یا دو ورودی و خروجیِ بسیار بزرگ گزینه‌ی ایده‌آلی است؛ چون با یک پیمایش، مشتق کل خروجی در راستای یک ورودی به دست می‌آید. اعداد دوگانه (Dual Numbers) این حالت را تقریباً بدون نیاز به کدنویسی خاصی پیاده می‌کنند: یک جفت شامل مقدار و مشتق، با این قاعده که توان دوم بخش مشتق صفر است؛ در نتیجه قاعده‌ی ضرب به‌طور خودکار از دل خود محاسبات ریاضی بیرون می‌آید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا پیمایش رو به عقب به یک ترتیب توپولوژیک (Topological Order) نیاز دارد؟ پاسخ مورد انتظار: یک گره باید پیش از آنکه گرادیان را به فرزندانش تحویل دهد، گرادیان کامل را از تمام مصرف‌کنندگان خود دریافت کرده باشد.
  • سطح 3: یک مدل با یک میلیون وزن، برای محاسبه‌ی گرادیان به چند بار پیمایش در حالت پیش‌رو نیاز دارد؟ پاسخ مورد انتظار: یک میلیون بار، یعنی یکی به ازای هر متغیر ورودی؛ دقیقاً به همین دلیل هیچ‌کس مدل‌ها را به این روش آموزش نمی‌دهد.
  • سطح 3: عدد دوگانه چیست و چطور مشتق را منتقل می‌کند؟ پاسخ مورد انتظار: جفتی متشکل از یک مقدار و یک مشتق، که در آن توان دوم بخش مشتق صفر است؛ بنابراین هر قاعده‌ی ریاضی به‌طور خودکار مشتق را هم همراه خود منتقل می‌کند.
  • سطح 4: نمونه‌ای در سیستم‌های یادگیری ماشین نام ببرید که در آن حالت پیش‌رو را انتخاب می‌کنید. پاسخ مورد انتظار: تابعی با یک یا دو ورودی و یک خروجی برداری بزرگ، که در آن تنها با یک بار پیمایش، مشتق کل خروجی در راستای یک متغیر ورودی به دست می‌آید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «حالت پس‌رو دقیق‌تر از حالت پیش‌رو است.» هر دو حالت تا حد خطای گرد کردن ممیز شناور (floating point) کاملاً دقیق هستند. تفاوت در هزینه‌ی محاسباتی است، نه در نتیجه‌ی به‌دست‌آمده.
  • «حالت پیش‌رو نمی‌تواند توابع چندلایه و ترکیبی را پردازش کند.» هر دو حالت، قاعده‌ی زنجیره‌ای را در تمام پیوندهای گراف اعمال می‌کنند؛ فقط حالت پیش‌رو مشتق را از سمت ورودی push می‌کند.
  • «پس‌انتشار خطا با مشتق‌گیری خودکار پس‌رو دو الگوریتم متفاوت هستند.» پس‌انتشار خطا همان مشتق‌گیری خودکار پس‌رو است که روی گراف شبکه اجرا می‌شود و تابع زیان، تک خروجیِ آن است.

کجای دوره آموزش داده می‌شود

در درس قاعده‌ی زنجیره‌ای و مشتق‌گیری خودکار این دو حالت با هم مقایسه شده‌اند و یک موتور مشتق‌گیری خودکار پس‌رو پیاده‌سازی شده است.