سؤال مصاحبه

بررسی گرادیانی که به دلیلی نادرست شکست می‌خورد

A gradient check that fails for the wrong reason

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

لایه‌ی جدیدی به یک شبکه‌ی پیاده‌سازی‌شده از صفر اضافه می‌کنید و بررسی گرادیان (gradient check) انجام می‌دهید. خطای نسبی بین گرادیان تحلیلی و عددی برای یکی از وزن‌ها حدود 1e-3 می‌شود. یکی از هم‌تیمی‌ها می‌گوید گام رو به عقب (backward pass) باگ دارد. پیش از آنکه حرفش را بپذیرید، چطور مشخص می‌کنید که اشکال از گام رو به عقب است یا از خود بررسی گرادیان؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

خطای نسبیِ نزدیک به 1e-3 در محدوده‌ی هشدار قرار دارد؛ بنابراین ابتدا باید از درستی خودِ بررسی مطمئن شوید. از تفاضل دوطرفه استفاده کنید، اندازه‌ی گام را بین 1e-5 تا 1e-7 بگذارید، بررسی را با float64 اجرا کنید و خطای نسبی را طوری به‌دست آورید که در مخرج، ماکسیمم اندازه‌ی هر دو گرادیان قرار بگیرد. اگر تحت این شرایط، خطا همچنان نزدیک 1e-3 ماند یا بیشتر شد، گام رو به عقب اشتباه است؛ اگر به زیر 1e-5 رسید، اشکال از خود بررسی بوده است.

پاسخ کامل

بررسی گرادیان چه چیزی را حساب می‌کند

گرادیان عددی برای یک وزن، همان تفاضل مرکزی (centered difference) است: تابع زیان (loss) در نقطه‌ی «وزن به‌علاوه‌ی h»، منهای تابع زیان در «وزن منهای h»، تقسیم بر 2h. خطای کوتاه‌سازی (truncation) آن با توان دوم h کوچک می‌شود، در حالی که در تفاضل یک‌طرفه خطای کوتاه‌سازی فقط با خود h کاهش می‌یابد. خطای نسبی، این مقدار را با مقدار تحلیلی مقایسه می‌کند:

rel_error = |analytical - numerical| / max(|analytical|, |numerical|, 1e-8)

آستانه‌های (thresholds) تعیین‌شده در درس: مقدار زیر 1e-7 تطابق کامل است، زیر 1e-5 قابل قبول است، بالای 1e-3 نشان‌دهنده‌ی باگ است، و مقدار بالای 1 یعنی گرادیان کاملاً نادرست است.

راه‌هایی که در آن‌ها بررسی گرادیان شما را به اشتباه می‌اندازد

  1. گام بیش از حد بزرگ. تفاضل به‌جای شیب خط مماس، شیب خط قاطع را اندازه می‌گیرد. باید h را کوچک‌تر کنید.
  2. گام بیش از حد کوچک. دو مقدار زیان تقریباً با هم برابر می‌شوند و تفریق آن‌ها دچار حذف فاجعه‌بار (catastrophic cancellation) می‌شود: تفاوت واقعی پایین‌تر از نویز گردکردن اعداد قرار می‌گیرد و همان نویز، ارقام بااهمیت عدد را تشکیل می‌دهد. در float32 این اتفاق خیلی زود رخ می‌دهد؛ بنابراین بررسی را با float64 اجرا کنید و h را بین 1e-5 و 1e-7 نگه دارید.
  3. شکستگی تابع در نقطه‌ی تست. توابعی مثل ReLU یا max در نقطه‌ی صفر مشتق‌پذیر نیستند، و گامی که از روی این شکستگی عبور کند دو شیب متفاوت را اندازه می‌گیرد. بررسی را در نقاطی دور از شکستگی انجام دهید، یا ورودی‌هایی را انتخاب کنید که وضعیت بخش فعال در آن‌ها از قبل مشخص باشد.
  4. بخش‌های تصادفی. دراپ‌اوت (dropout) یا تصادفی بودن ترتیب داده‌ها بین دو بار ارزیابی زیان، باعث می‌شود مقدار زیان به دلیلی غیر از تغییر h عوض شود. دانه‌ی تصادفی (seed) را ثابت نگه دارید و مدل را در حالت ارزیابی (evaluation mode) اجرا کنید.
  5. مخرج نادرست. تقسیم کردنِ صرف بر مقدار تحلیلی، در صورت نزدیک بودن آن به صفر، مقدار کسر را منفجر می‌کند. از ماکسیمم اندازه‌ی هر دو گرادیان به همراه یک مقدار کف (floor) استفاده کنید.

حالا به سراغ گام رو به عقب بروید

وقتی از درستی روش بررسی مطمئن شدید، خطای پایدارِ 1e-3 نشانه‌ی باگ است. برای پیدا کردن لایه‌ی معیوب، پارامترها را گروه به گروه جداگانه بررسی کنید و مشتق محلی هر عملگر را با فرمول ریاضی‌اش بسنجید. موتور ساخته‌شده در درس مشتق‌گیری خودکار، هنگام اضافه کردن هر عملگر جدید، آن را در همان مرحله با تفاضل متناهی مقایسه می‌کند؛ این همان عادتی است که جلوی چنین خطاهایی را می‌گیرد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا فرمول دوطرفه به فرمول یک‌طرفه ترجیح داده می‌شود؟ پاسخ مورد انتظار: خطای آن با h به توان دو کاهش پیدا می‌کند نه با خود h؛ بنابراین یک h با اندازه‌ی معقول می‌تواند تخمین دقیقی ارائه دهد بدون اینکه به خطای حذف فاجعه‌بار بخوریم.
  • سطح 3: چرا این بررسی را در هر گام از آموزش در محیط عملیاتی (production) اجرا نمی‌کنیم؟ پاسخ مورد انتظار: برای هر پارامتر به دو گذر رو به جلو (forward pass) نیاز دارد، بنابراین بسیار کند است؛ جای این کار فقط در آزمون‌های واحد (unit tests) و زمان عیب‌یابی است.
  • سطح 4: خطا برای بیشتر وزن‌ها ناچیز است، اما برای چند وزن در یک لایه‌ی خاص زیاد می‌شود. این الگو نشانه‌ی چیست؟ پاسخ مورد انتظار: گام رو به عقب آن لایه در حالت کلی درست است اما در یک مسیر خاص اشتباه می‌کند؛ مثلاً سهم ورودی مشترکی که به‌جای جمع شدن، بازنویسی شده است، یا وجود شکستگی روی همان وزن‌های خاص.
  • سطح 4: لایه‌ای را که ماسک تصادفی دارد چگونه بررسی می‌کنید؟ پاسخ مورد انتظار: دانه‌ی تصادفی را ثابت کنید تا هر دو ارزیابی زیان از ماسک یکسانی استفاده کنند، یا بررسی را در حالت ارزیابی اجرا کنید که ماسک در آن غیرفعال است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «برای دقیق‌ترین مشتق ممکن، h را تا جای ممکن کوچک کنید.» پایین‌تر از مقیاس خطای گردکردن، تفریق دچار حذف فاجعه‌بار شده و نتیجه فقط نویز خواهد بود. برای h یک کف حداقلی وجود دارد که در float64 حدود 1e-7 است.
  • «خطای نسبی 1e-3 به‌اندازه‌ی کافی نزدیک است، بفرستیدش برای استقرار.» درس ما 1e-3 را مرز باگ می‌داند. خطای پایدار در این محدوده یعنی گرادیان اشتباهی که سرعت آموزش را کم می‌کند یا کلاً آن را از کار می‌اندازد.
  • «به‌جای خطای نسبی، از تفاضل مطلق استفاده کنید.» یک گرادیان بزرگ و یک گرادیان ناچیز به آستانه‌های خطای متفاوتی نیاز دارند. خطای نسبی با مخرجی که مقدار کف دارد، هر دو حالت را مدیریت می‌کند.

کجای دوره آموزش داده می‌شود

درس پایداری عددی (numerical stability) تفاضل مرکزی، خطای نسبی و آستانه‌های آن را پوشش می‌دهد، و درس قاعده‌ی زنجیره‌ای و مشتق‌گیری خودکار (chain rule and autodiff) این بررسی را مستقیماً درون موتور پیاده می‌کند.