یادگیری عمیق

Deep learning

پس‌انتشار خطا، توابع زیان، بهینه‌سازها، مقداردهی اولیه و عیب‌یابی شبکه‌ای که یاد نمی‌گیرد.

سطح ۱ غربالگری ۳

  1. ده لایه بدون تابع فعال‌سازی معادل یک لایه استمفهومی۵ دقیقه
  2. تغییر دقت آزمون با وجود ثابت بودن وزن‌هامفهومی۵ دقیقه
  3. چرا یک پرسپترون هرگز XOR را یاد نمی‌گیرد؟مفهومی۵ دقیقه

سطح ۲ میانی ۹

  1. دسته‌بندی که مقدار 0.5 را پیش‌بینی می‌کند و زیان پایینی داردمفهومی۸ دقیقه
  2. لایه‌ای عریض که مثل یک نورون رفتار می‌کندمفهومی۶ دقیقه
  3. چه مقدار از گرادیان پس از عبور از ده لایه‌ی سیگموئید زنده می‌ماند؟تخمین۸ دقیقه
  4. خواندن ابعاد یک شبکه‌ی 2-3-1 از روی کلاس Layerکدخوانی۸ دقیقه
  5. سه خط کدی که مشتق تابع زیان آنتروپی متقاطع را حساب می‌کنندکدخوانی۸ دقیقه
  6. کاهش وزن در تابع زیان یا در بهینه‌سازبده‌بستان۸ دقیقه
  7. نقش تصحیح سوگیری در گام‌های اولیه‌ی الگوریتم Adamمفهومی۸ دقیقه
  8. عدد 2 در مقداردهی اولیه‌ی Kaiming از کجا می‌آید؟مفهومی۸ دقیقه
  9. چرا مقادیر ماسک دراپ‌اوت برابر با 1 بر روی (1 منهای p) است؟کدخوانی۸ دقیقه

سطح ۳ ارشد ۷

  1. گیر کردن تابع زیان روی عدد 2.3 در مسئله‌ی 10 کلاسهاشکال‌یابی۱۲ دقیقه
  2. حلقه‌ی آموزشی که تابع زیان (loss) آن بعد از چند گام نوسان می‌کندکدخوانی۱۰ دقیقه
  3. بررسی 30 ثانیه‌ای پیش از آغاز یک آموزش چندروزهطراحی۱۰ دقیقه
  4. دو لایه که در آن‌ها خروجی اکثر واحدهای ReLU دقیقاً صفر استاشکال‌یابی۱۲ دقیقه
  5. گرم‌کردن نرخ یادگیری جلوی چه مشکلی را می‌گیرد؟مفهومی۱۰ دقیقه
  6. چرا یک پشته‌ی پسماند عمیق به چیزی بیش از مقداردهی کایمینگ نیاز داردمفهومی۱۲ دقیقه
  7. چرا ترنسفورمرها نرمال‌سازی را روی ویژگی‌ها انجام می‌دهند، نه روی دسته؟بده‌بستان۱۲ دقیقه

سطح ۴ استف ۳

  1. کاهش ملایم تابع زیان که پس از چند ساعت ناگهان inf و سپس NaN می‌شوداشکال‌یابی۱۵ دقیقه
  2. انتخاب نرخ یادگیری اوج و برنامه‌ی زمان‌بندی در چند ساعتطراحی۱۵ دقیقه
  3. برنامه‌ی زمان‌بندی کسینوسی همراه با گرم‌کردن و مرزهای تثبیت‌شدهپروژه‌ی خانگی۲۵ دقیقه