فاز 3
هسته‌ی یادگیری عمیق
شبکه‌های عصبی از اصول اولیه؛ تا یکی را خودتان نسازید، سراغ فریم‌ورک نمی‌رویم.
- 13 درس
- حدود 19 ساعت
- پرسپترون چیست؟ پیاده‌سازی ساده‌ترین واحد یادگیری ماشین از صفر در پایتونپرسپترون بنیادی‌ترین واحد شبکه‌های عصبی است؛ در این درس نحوه ساخت و آموزش آن را از صفر با پایتون یاد می‌گیرید.
- شبکه‌های چندلایه و گذر رو به جلو (Forward Pass)پیاده‌سازی صفر تا صد شبکه‌های عصبی چندلایه و گذر رو به جلو (Forward Pass) با پایتون خالص، مدیریت ابعاد ماتریس‌ها و حل مسئله‌ی کلاسیک XOR.
- پیاده‌سازی الگوریتم پس‌انتشار از صفر در پایتونپیاده‌سازی گام‌به‌گام موتور مشتق‌گیری خودکار و الگوریتم پس‌انتشار در پایتون خالص، بررسی قاعده‌ی زنجیره‌ای و حل مشکل محو گرادیان.
- توابع فعال‌ساز در یادگیری عمیق: پیاده‌سازی از صفر و مقایسهپیاده‌سازی توابع فعال‌ساز مهم از صفر، تحلیل محو شدگی گرادیان و راهنمای انتخاب فعال‌ساز مناسب برای ترنسفورمرها و شبکه‌های عصبی عمیق.
- توابع زیان در یادگیری عمیق: راهنمای جامع و پیاده‌سازی از صفرراهنمای کامل انتخاب و پیاده‌سازی توابع زیان شامل MSE، آنتروپی متقاطع، Focal Loss و InfoNCE همراه با گرادیان‌ها در پایتون.
- پیاده‌سازی بهینه‌سازهای شبکه عصبی از صفر: از SGD تا AdamWپیاده‌سازی از صفر الگوریتم‌های SGD، تکانه، RMSProp، Adam و AdamW در پایتون و بررسی سازوکار تصحیح سوگیری و کاهش وزن.
- منظم‌سازی در یادگیری عمیق: از Dropout تا RMSNormراهنمای عملی تکنیک‌های منظم‌سازی شبکه‌های عصبی و ترنسفورمرها؛ پیاده‌سازی دراپ‌اوت، BatchNorm، LayerNorm و RMSNorm برای مقابله با بیش‌برازش.
- مقداردهی اولیه وزن‌ها و پایداری آموزش در یادگیری عمیقراهنمای جامع پیاده‌سازی و تحلیل استراتژی‌های مقداردهی اولیه وزن‌ها (Xavier و Kaiming) برای جلوگیری از انفجار یا محوشدگی گرادیان در شبکه‌های عمیق.
- برنامه‌ریزی نرخ یادگیری و وارم‌آپ در یادگیری عمیقآموزش پیاده‌سازی زمان‌بندی‌های نرخ یادگیری از جمله Cosine Annealing، وارم‌آپ و 1cycle برای جلوگیری از واگرایی و رسیدن به بهترین همگرایی در آموزش مدل‌ها.
- ساخت فریم‌ورک یادگیری عمیق اختصاصی در پایتوندر این درس با پیاده‌سازی اجزای اصلی مثل Module، Linear، Sequential و بهینه‌سازها در 500 خط کد پایتون، فریم‌ورک یادگیری عمیق اختصاصی خود را می‌سازید.
- آموزش مقدماتی PyTorch: مفاهیم پایه، تنسورها و حلقه‌ی آموزشآشنایی با مبانی PyTorch، ساختار nn.Module، سیستم Autograd و پیاده‌سازی حلقه‌ی استاندارد آموزش برای یک مدل طبقه‌بندی تصویر.
- آموزش JAX: برنامه‌نویسی تابعی و شتاب‌دهنده‌ها در یادگیری عمیقراهنمای جامع ورود به فریم‌ورک JAX: درک توابع خالص، کامپایل XLA، برداری‌سازی با vmap و پیاده‌سازی حلقه‌ی آموزش بدون متدهای شیءگرا.
- دیباگ شبکه‌های عصبی: راهنمای گام‌به‌گام رفع خطاهای خاموشراهنمای عملی و ساختاریافته برای عیب‌یابی باگ‌های خاموش در شبکه‌های عصبی پایتورچ، از زیان NaN تا آزمون حیاتی overfit-one-batch.