فاز 4
بینایی ماشین
از پیکسل تا فهم تصویر، ویدیو و سه‌بعدی.
- 28 درس
- حدود 31 ساعت
- مبانی تصویر در یادگیری ماشین: پیکسل‌ها، کانال‌ها و فضاهای رنگیراهنمای عملی مبانی تصویر دیجیتال: تبدیل چیدمان HWC و CHW، اصلاح فضاهای رنگی و پیاده‌سازی پیش‌پردازش استاندارد ImageNet برای مدل‌های PyTorch.
- پیاده‌سازی کانولوشن از صفر: از حلقه‌های تودرتو تا ترفند im2colپیاده‌سازی گام‌به‌گام کانولوشن دوبعدی با NumPy: از حلقه‌های تودرتو و فیلترهای دستی تا تبدیل im2col و تسلط بر فرمول ابعاد خروجی و میدان دید.
- سیر تکامل شبکه‌های عصبی پیچشی: از LeNet تا ResNetردگیری ایده‌های کلیدی در تکامل شبکه‌های CNN از LeNet تا ResNet و پیاده‌سازی عملی آن‌ها با PyTorch برای مسائل بینایی ماشین.
- پیاده‌سازی پایپ‌لاین کامل طبقه‌بندی تصویر در PyTorchراهنمای عملی پیاده‌سازی پایپ‌لاین سرتاسری طبقه‌بندی تصویر در PyTorch همراه با تکنیک‌های Mixup، ارزیابی پیشرفته و رفع باگ‌های خاموش مدل.
- یادگیری انتقالی و فاین‌تیونینگ در بینایی ماشینراهنمای عملی یادگیری انتقالی و فاین‌تیونینگ شبکه‌های بینایی در PyTorch با نرخ یادگیری تفکیکی و رفع خطاهای رایج BatchNorm.
- تشخیص اشیاء: پیاده‌سازی YOLO از صفر در پایتورچآموزش پیاده‌سازی گام‌به‌گام معماری YOLO از صفر؛ شامل ساخت سر مدل، محاسبه IoU، حذف غیرحداکثر (NMS) و توابع زیان در PyTorch.
- بخش‌بندی معنایی تصویر با U-Net و PyTorchپیاده‌سازی صفر تا صد معماری U-Net در PyTorch همراه با تابع زیان ترکیبی Dice و Cross-Entropy برای بخش‌بندی پیکسلی تصاویر.
- بخش‌بندی نمونه‌ای با Mask R-CNN و پیاده‌سازی RoIAlignیادگیری معماری کامل Mask R-CNN، پیاده‌سازی لایه‌ی RoIAlign و سفارشی‌سازی سرهای مدل در torchvision برای بخش‌بندی نمونه‌ای اشیاء.
- آموزش تولید تصویر با شبکه‌های زایشی رقابتی (GAN) و DCGAN در PyTorchراهنمای عملی پیاده‌سازی معماری DCGAN در PyTorch و تکنیک‌های پایدارسازی آموزش شبکه‌های زایشی رقابتی برای تولید تصاویر مصنوعی باکیفیت.
- آموزش مدل‌های دیفیوژن (Diffusion Models): پیاده‌سازی گام‌به‌گام DDPM و DDIMآموزش گام‌به‌گام مدل‌های دیفیوژن: ساخت فرآیند نویزدهی رو به جلو، U-Net شرطی‌شده بر زمان و نمونه‌گیری سریع با DDIM.
- معماری و فاین‌تیونینگ استیبل دیفیوژن (Stable Diffusion)راهنمای جامع معماری مدل‌های Stable Diffusion، کاهش 48 برابری محاسبات با دیفیوژن نهان و شیوه‌ی فاین‌تیونینگ با LoRA در محیط عملیاتی.
- درک ویدیو و مدل‌سازی زمانی در بینایی ماشینآموزش روش‌های مدل‌سازی زمان در ویدیو شامل 2D+pool، کانوولوشن سه‌بعدی و ترنسفورمرهای مکانی-زمانی همراه با پیاده‌سازی گام‌به‌گام در PyTorch.
- بینایی سه‌بعدی: ابرهای نقاط و میدان‌های تابش عصبی (NeRF)آموزش مبانی بینایی سه‌بعدی؛ از پردازش ابر نقاط با PointNet تا بازسازی پیوسته صحنه‌ها با NeRF و جایگزین‌های مدرن آن در PyTorch.
- آموزش ترنسفورمرهای بینایی (ViT): پیاده‌سازی معماری از صفر در PyTorchآموزش ساخت و پیاده‌سازی کامل Vision Transformer (ViT) در پایتورچ از صفر، همراه با بررسی پیش‌آموزش MAE و مقایسه با ConvNeXt.
- استقرار مدل‌های بینایی ماشین روی لبه و بهینه‌سازی استنتاجراهنمای عملی اجرای مدل‌های سنگین بینایی ماشین روی پردازنده‌های لبه با کوانتیزه‌سازی INT8، خروجی ONNX و بنچ‌مارک استاندارد تاخیر.
- طراحی و پیاده‌سازی پایپ‌لاین بینایی ماشین در محیط عملیاتیراهنمای اتصال آشکارساز و دسته‌بند، تعریف قراردادهای داده با Pydantic و راه‌اندازی سرویس بینایی ماشین در بستر FastAPI.
- یادگیری خودنظارتی در بینایی ماشین: از SimCLR تا DINO و MAEراهنمای جامع یادگیری خودنظارتی تصویر با بررسی روش‌های مقابله‌ای SimCLR، معلم-شاگرد DINO و بازسازی ماسک‌شده MAE همراه با پیاده‌سازی عملی در PyTorch.
- بینایی با واژگان باز: درک عمیق و پیاده‌سازی CLIPآموزش جامع معماری دوبرجی CLIP، زیان تقابلی، پیاده‌سازی دسته‌بندی صفر-شات و مقایسه‌ی آن با SigLIP و مدل‌های نوین بینایی-زبان.
- آموزش جامع OCR و درک ساختار اسناد با پایتونراهنمای جامع پایپ‌لاین‌های مدرن و کلاسیک OCR، از پیاده‌سازی معماری CRNN و تابع زیان CTC تا استفاده از PaddleOCR و مدل‌های بینایی-زبانی.
- بازیابی تصویر و متریک لرنینگ با FAISS و DINOv2راهنمای جامع پیاده‌سازی سیستم‌های بازیابی تصویر، توابع زیان سه‌گانه (Triplet Loss) و ساخت شاخص جستجوی برداری با FAISS و مدل‌های DINOv2.
- تخمین ژست و تشخیص نقاط کلیدی (Pose Estimation)راهنمای عملی تخمین ژست بدنی و شناسایی نقاط کلیدی با نقشه‌های حرارتی گاوسی، روش‌های بالا به پایین و پایین به بالا در یادگیری عمیق.
- آموزش 3D Gaussian Splatting از صفر تا پیاده‌سازی و خروجیآشنایی با مبانی ریاضی، پیاده‌سازی رسترایزر پاشش گوسی دوبعدی از صفر، مقایسه با NeRF و آموزش مدل سه‌بعدی با ابزار nerfstudio.
- ترنسفورمرهای دیفیوژن (DiT) و جریان تصحیح‌شده (Rectified Flow)آشنایی با معماری ترنسفورمرهای دیفیوژن (DiT) و جریان تصحیح‌شده (Rectified Flow) و پیاده‌سازی گام‌به‌گام بلوک AdaLN و نمونه‌بردار اویلر در پایتورچ.
- مدل SAM 3 و بخش‌بندی با دایره‌لغات‌باز (Open-Vocabulary)راهنمای جامع مدل SAM 3؛ پیاده‌سازی بخش‌بندی مفهومی پرامپت‌پذیر (PCS)، مقایسه با Grounded SAM 2 و ردیابی ویدیو در پایتون.
- آشنایی با مدل‌های زبانی-دیداری: معماری ViT-MLP-LLMبررسی الگوی ساختاری ViT-MLP-LLM در مدل‌های زبانی-دیداری مدرن، مراحل آموزش، سنجش توهم با سنجه‌ی CMER و شیوه‌ی استقرار آن‌ها.
- تخمین عمق تک‌تصویری و بازسازی هندسه با Depth Anything و ViTراهنمای عملی تخمین عمق از تک‌تصویر RGB با Depth Anything V3 و ساخت ابر نقطه‌ی سه‌بعدی با دوربین پین‌هول.
- ردیابی چند شیء در ویدیو با الگوریتم‌های کلاسیک و حافظهردیابی پیوسته اشیاء در فریم‌های ویدیو با الگوریتم‌های کلاسیک نظیر ByteTrack و معماری‌های نوین مبتنی بر حافظه مانند SAM 2 و سنجش با HOTA.
- مدل‌های جهان و دیفیوژن ویدیویی: از شبیه‌سازی فیزیک تا کنترل ایجنت‌هابررسی تلاقی تولید ویدیو و مدل‌های جهان: معماری Video DiT، پچ‌های فضا-زمانی و پیاده‌سازی شبیه‌سازهای تعاملی برای رباتیک و رانندگی.