فاز 7
ترنسفورمرها به‌طور عمیق
معماری‌ای که همه‌چیز را تغییر داد، لایه‌به‌لایه.
- 16 درس
- حدود 17 ساعت
- چرا ترنسفورمرها جایگزین RNN شدند؟ بررسی محدودیت‌های شبکه‌های بازگشتیبررسی ریشه‌های شکل‌گیری ترنسفورمرها و چرایی شکست شبکه‌های بازگشتی RNN در بهره‌برداری از توان محاسبات موازی سخت‌افزارهای مدرن.
- آموزش پیاده‌سازی خوداتنشن (Self-Attention) از صفر با پایتونآموزش گام‌به‌گام ساخت لایه‌ی خوداتنشن (Self-Attention) با NumPy، درک ماتریس‌های Q و K و V و بررسی نقش آن در معماری ترنسفورمر.
- پیاده‌سازی اتنشن چندسر (Multi-Head Attention) از صفرآموزش گام‌به‌گام پیاده‌سازی اتنشن چندسر (MHA) از پایه و بررسی ساختارهای مدرن GQA و MLA برای بهینه‌سازی حافظه و محاسبات مدل‌های زبانی.
- کدگذاری موقعیت در ترنسفورمر: سینوسی، RoPE و ALiBiبررسی ریاضیات و پیاده‌سازی الگوریتم‌های کدگذاری موقعیت در ترنسفورمرها؛ از فرمول سینوسی اولیه تا RoPE و ALiBi برای بافت‌های طولانی.
- معماری کامل ترنسفورمر: ساخت بلوک انکودر و دیکودرآموزش کامل ساخت و سیم‌کشی بلوک‌های انکودر و دیکودر ترنسفورمر و ارتقای اجزای کلاسیک به استانداردهای مدرن با RMSNorm و SwiGLU.
- آموزش BERT و مدل‌سازی زبان پوشانده‌شده (MLM)بررسی عمیق معماری BERT، منطق آموزش ماسک‌گذاری (MLM) و چرایی برتری مدل‌های انکودر در جستجوی معنایی و دسته‌بندی متن.
- مدل‌سازی علّی زبان و معماری GPT: از ماسک علّی تا استراتژی‌های دیکودینگبررسی عمیق معماری خودبازگشتی GPT، ریاضیات پشت ماسک علّی مثلثی و استراتژی‌های مدرن نمونه‌برداری مانند Top-p و Min-p.
- مدل‌های انکودر-دیکودر: آشنایی با معماری T5 و BARTبررسی عمیق معماری انکودر-دیکودر، مکانیزم کراس‌اتنشن، نحوه پیش‌آموزش T5 و BART و کاربردهای عملی آن‌ها در تسک‌های ترجمه و خلاصه‌سازی.
- ترنسفورمرهای بینایی (ViT): مبانی، معماری و پیاده‌سازی گام‌به‌گامراهنمای جامع ترنسفورمرهای بینایی (ViT): چگونگی تبدیل تصویر به توکن، مقایسه با CNN، مفاهیم ریاضی و پیاده‌سازی پایه‌ای.
- معماری مدل Whisper: ترنسفورمرهای صوتی و تبدیل گفتار به متنراهنمای جامع معماری Whisper برای تبدیل گفتار به متن؛ از ساخت اسپکتروگرام مِل و ساقه‌ی کانولوشنی تا توکن‌های وظیفه و دکود سریع در پروداکشن.
- معماری آمیخته‌ای از متخصصان (MoE): توازن بار و پیاده‌سازی گیتینگآموزش جامع معماری Mixture of Experts (MoE)، نحوه‌ی مسیریابی توکن‌ها، حل چالش تعادل بار با روش DeepSeek-V3 و پیاده‌سازی عملی آن.
- بهینه‌سازی استنتاج مدل‌های زبانی: کش KV و فلش اتنشنبررسی جامع راهکارهای کاهش تاخیر و مصرف حافظه در استنتاج مدل‌های زبانی با استفاده از کش KV، فلش اتنشن و دسته‌بندی پیوسته.
- قوانین مقیاس‌پذیری در مدل‌های زبانی: از شینشیلا تا بیش‌آموزشراهنمای تخصصی توازن میان پارامتر و توکن در مدل‌های زبانی؛ از بهینه‌ی شینشیلا تا ضرورت بیش‌آموزش برای کاهش هزینه‌ی استنتاج در عمل.
- پروژه‌ی پایانی: ساخت ترنسفورمر از صفر با PyTorchپیاده‌سازی گام‌به‌گام یک ترنسفورمر دکودر کامل با PyTorch و آموزش مدل زبانی کاراکتری روی سیستم شخصی در کمتر از 10 دقیقه.
- انواع اتنشن در ترنسفورمرها: پنجره‌ی لغزان، تنک و تفاضلیبررسی روش‌های نوین اتنشن شامل پنجره‌ی لغزان (SWA)، الگوهای تنک و اتنشن تفاضلی برای کاهش چشمگیر مصرف حافظه و کش KV در بافت‌های طولانی.
- دیکودینگ گمانه‌زن (Speculative Decoding): افزایش 2 تا 4 برابری سرعت تولید متنبا دیکودینگ گمانه‌زن، زنجیره‌ی تولید تک‌تک توکن‌ها را بشکنید و سرعت استنتاج مدل‌های زبانی بزرگ را بدون کوچک‌ترین افت کیفیتی 2 تا 4 برابر کنید.