چندوجهی

Multimodal

پیوند تصویر و متن در مدل‌های بینایی-زبان و نحوه‌ی آموزش آن‌ها.

سطح ۱ غربالگری ۳

  1. یک تصویر چقدر از بافتار را مصرف می‌کند؟تخمین۸ دقیقه
  2. سه بخش اصلی یک مدل بینایی-زبانیمفهومی۸ دقیقه
  3. چرا در مرحله‌ی اول VLM فقط رابط آموزش می‌بیند؟مفهومی۸ دقیقه

سطح ۲ میانی ۹

  1. رمزگشای تولید شرح تصویر با ماسک‌های جابه‌جا شدهکدخوانی۱۲ دقیقه
  2. استفاده از VLM عمومی برای تشخیص طبقه‌ی قرارگیری کالابده‌بستان۱۰ دقیقه
  3. توکن‌های تطبیق‌دهنده یا یک دایره‌ی واژگان مشترک برای تصاویربده‌بستان۱۲ دقیقه
  4. هر تعداد تصویر، تعداد ثابتی توکن برای هرکداممفهومی۱۲ دقیقه
  5. پیاده‌سازی و تست لایه‌ی تصویر بین دو مدل فریز‌شدهپروژه‌ی خانگی۳۰ دقیقه
  6. پیش‌بینی مقیاس بعدی به‌جای پیش‌بینی توکن بعدیمفهومی۱۰ دقیقه
  7. رابط پرس‌وجومحور یا MLP برای اتصال‌دهندهبده‌بستان۱۲ دقیقه
  8. هزینه‌ی تولید یک تصویر بر حسب کد و ثانیهتخمین۱۰ دقیقه
  9. کدام اهرم امتیاز استدلال چندوجهی را جابه‌جا می‌کند؟مفهومی۱۰ دقیقه

سطح ۳ ارشد ۷

  1. مدل چندوجهی گیت‌داری که پس از فاین‌تیونینگ نوشتن یادش رفتاشکال‌یابی۱۲ دقیقه
  2. واگرایی در آموزش مدل ادغام زودهنگام در مقیاس بزرگاشکال‌یابی۱۲ دقیقه
  3. زیرنویس‌های متراکم انسانی یا دو میلیون زیرنویس حاصل از تقطیر دانشبده‌بستان۱۲ دقیقه
  4. پایش مدل بینایی-زبانی در محیط عملیاتی برای تشخیص اشیای ساختگیطراحی۱۵ دقیقه
  5. سه مرحله آموزش برای جبران عقب‌ماندگی در بنچ‌مارک VLMبده‌بستان۱۵ دقیقه
  6. سه روش برای تولید تصویر با یک ترنسفورمر واحدبده‌بستان۱۲ دقیقه
  7. چرا توکنایزر کیفیت تصویر تولیدشده را محدود می‌کندمفهومی۱۲ دقیقه

سطح ۴ استف ۳

  1. طراحی یک VLM برای ایجنت رابط کاربری روی دستگاهطراحی۲۰ دقیقه
  2. یک مدل متن‌باز برای پاسخ‌گویی، ویرایش و تولید تصویرطراحی۱۵ دقیقه
  3. دو تابع زیان، یک ترنسفورمر، یک گام گرادیانمفهومی۱۵ دقیقه