فاز 12
هوش مصنوعی چندوجهی
مدل‌هایی که می‌بینند، می‌شنوند، می‌خوانند و میان این‌ها استدلال می‌کنند.
- 25 درس
- حدود 67 ساعت
- معماری ترنسفورمرهای بینایی و توکنایز کردن تکه‌ای تصاویر (ViT)تبدیل تصویر به دنباله‌ای از توکن‌های تکه‌ای و درک پایپ‌لاین ورودی در مدل‌های Vision Transformer و VLMهای مدرن.
- آموزش CLIP و پیش‌آموزش کنتراستیو تصویر و متنبررسی ریاضیات و کد انکودرهای دوگانه تصویر و متن؛ از تابع زیان InfoNCE در CLIP تا جایگزینی سیگموئید در SigLIP و دسته‌بندی صفر-داده.
- از CLIP تا BLIP-2: معماری Q-Former به‌مثابه پل میان‌مدالیته‌ایبررسی معماری Q-Former در مدل BLIP-2 و نحوه‌ی اتصال اینکودر بینایی به مدل زبانی با پرس‌وجوهای یادگیرنده و آموزش دومرحله‌ای.
- معماری Flamingo و کراس‌اتنشن گیت‌دار برای VLMهای چندشاتبررسی عمیق معماری پیشگام Flamingo: اتصال تصویر و متن از طریق Perceiver Resampler و کراس‌اتنشن گیت‌دار برای یادگیری چندشات بدون تخریب مدل زبانی.
- معماری LLaVA و تنظیم دقیق با دستورالعمل‌های بصریبررسی عمیق معماری LLaVA، پیاده‌سازی پروجکتور MLP دولایه و چرایی برتری رویکرد الحاق توکن‌ها نسبت به Q-Former در مدل‌های چندوجهی مدرن.
- بینایی ماشین با وضوح متغیر: از Patch-n'-Pack تا NaFlexآموزش پیاده‌سازی Patch-n'-Pack و ماسک قطری-بلوکی برای پردازش تصاویر با وضوح و ابعاد متغیر در مدل‌های بینایی-زبانی بدون هدررفت توکن.
- دستورالعمل آموزش مدل‌های بینایی-زبانی (VLM): متغیرهای واقعاً اثرگذاربررسی مقایسه‌ای اثر انکودر، معماری اتصال‌دهنده، داده و رزولوشن بر کارایی مدل‌های بینایی-زبانی متن‌باز بر پایه‌ی یافته‌های MM1، Molmo و Idefics2.
- معماری LLaVA-OneVision: تجمیع تصویر، چندتصویر و ویدیو در یک مدلآموزش معماری LLaVA-OneVision، نحوه‌ی بودجه‌بندی توکن‌های بصری و برنامه‌ی آموزشی یکپارچه برای پردازش هم‌زمان تک‌تصویر، چندتصویر و ویدیو.
- خانواده مدل‌های Qwen-VL و پردازش ویدیو با نرخ فریم پویاسیر تکامل خانواده Qwen-VL از وضوح پویا و M-RoPE تا نمونه‌برداری با نرخ فریم پویا و خروجی‌های ساختاریافته ایجنتی را عمیق بررسی کنید.
- معماری InternVL3 و پیش‌آموزش چندوجهی نیتیو در مدل‌های بینایی-زبانیبررسی رویکرد پیش‌آموزش نیتیو در InternVL3 برای حذف بدهی هم‌ترازی و دستیابی به عملکرد هم‌تراز با مدل‌های پیشرو تجاری.
- معماری Chameleon و مدل‌های چندحالته ادغام زودهنگام با توکن مشترکبررسی رویکرد ادغام زودهنگام در مدل Chameleon با واژگان مشترک برای تولید هم‌زمان متن و تصویر و تکنیک‌های پایداری آموزش.
- مدل Emu3: پیش‌بینی توکن بعدی برای تولید تصویر و ویدیوبررسی معماری Emu3؛ چگونه پیش‌بینی توکن بعدی با یک توکنایزر قوی توانست مدل‌های دیفیوژن را در تولید تصویر و ویدیو به چالش بکشد.
- معماری Transfusion: ادغام متن اتورگرسیو و تصویر دیفیوژن در یک ترنسفورمربررسی معماری Transfusion برای تلفیق پیش‌بینی اتورگرسیو متن و دیفیوژن پیوسته‌ی تصویر در یک ترنسفورمر واحد به همراه تحلیل ماسک اتنشن و MMDiT.
- معماری Show-o: یکپارچه‌سازی درک و تولید تصویر با دیفیوژن گسستهمدل Show-o با ترکیب پیش‌بینی علی متن و دیفیوژن گسسته‌ی ماسک‌شده‌ی تصویر، وظایف VQA، تولید تصویر و اینپینتینگ را در یک ترنسفورمر واحد یکپارچه می‌کند.
- معماری Janus-Pro و تفکیک انکودرها در مدل‌های چندوجهی یکپارچهبررسی رویکرد خلاقانه‌ی Janus-Pro در تفکیک انکودرهای درک و تولید تصویر پیرامون یک بدنه‌ی مشترک ترنسفورمر.
- مدل چندوجهی MIO و معماری استریمینگ هر-به-هر (Any-to-Any)تحلیل معماری MIO برای یکپارچه‌سازی توکن‌های متن، تصویر و گفتار در یک ترنسفورمر واحد و تولید بلادرنگ چندوجهی به سبک هر-به-هر.
- مدل‌های زبانی-ویدیویی: توکن‌های زمانی و ارجاع دقیق به رخدادهاآشنایی با مدیریت توکن‌های زمانی، استراتژی‌های نمونه‌برداری فریم و ارجاع زمانی در مدل‌های ویدیویی نوین مانند Qwen2.5-VL.
- درک ویدیوهای طولانی در پنجره کانتکست چند میلیون توکنیراهکارهای مقیاس‌پذیری پردازش ویدیوهای طولانی در مدل‌های بینایی-زبانی؛ از پنجره کانتکست چندمیلیونی و رینگ اتنشن تا رویکردهای بازیابی ایجنتی.
- مدل‌های صوتی-زبانی: از Whisper تا Audio Flamingo 3راهنمای جامع معماری مدل‌های صوتی-زبانی، مقایسه‌ی پایپ‌لاین‌های آبشاری و سرتاسری، و نقش Q-former صوتی از Whisper تا Audio Flamingo 3.
- مدل‌های Omni: معماری تفکیک Thinker-Talker در Qwen2.5-Omniتحلیل عمیق معماری Thinker-Talker در Qwen2.5-Omni و مدیریت تاخیر TTFAB برای ساخت دستیارهای صوتی زنده و چندحالته.
- مدل‌های بینایی-زبان-اکشن در رباتیک: از RT-2 تا OpenVLA و GR00Tبررسی گذار از مدل‌های بینایی-زبانی به مدل‌های بینایی-زبان-اکشن (VLA) و نحوه‌ی هدایت بازوهای رباتیک و ربات‌های انسان‌نما با فرامین متنی.
- درک اسناد و نمودارها با مدل‌های زبانی‌بصری (VLM)بررسی تکامل پردازش اسناد و نمودارها از زنجیره‌های کلاسیک OCR تا مدل‌های OCR-free و نسل جدید VLMهای بومی با خروجی ساختاریافته.
- آشنایی با ColPali و معماری RAG مبتنی بر تصویر اسنادراهنمای جامع کار با ColPali و معماری RAG بر پایه‌ی تصویر: بازیابی مستقیم اسناد PDF بدون OCR با حفظ چیدمان، جداول و نمودارها.
- معماری RAG چندحالته و بازیابی بین‌حالتی در پروداکشنطراحی پایپ‌لاین‌های RAG چندحالته برای ترکیب هم‌زمان متن، تصویر و صوت، تکنیک‌های ادغام نتایج و استناد دقیق در پاسخ نهایی بر پایه‌ی مقالات سال 2025.
- ایجنت‌های چندحالته و کار با رایانه (Computer-Use)طراحی و پیاده‌سازی گام‌به‌گام یک ایجنت چندحالته برای کار با رایانه، کلیک روی المان‌ها، پیمایش وب و ارزیابی در بنچ‌مارک‌های واقعی.