معماری استاندارد یک مدل بینایی-زبانی (vision-language model) را که به پرسشهای مربوط به یک تصویر پاسخ میدهد، رسم کنید. سه بخش آن را نام ببرید، نقش هرکدام را توضیح دهید و بگویید وقتی تیمی میخواهد مدل را روی چند هزار تصویر برچسبدار فاینتیون کند، انتظار دارید کدام بخش آموزش ببیند.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
یک انکودر بینایی (vision encoder)، یک تصویرساز (projector) و یک مدل زبانی (language model). انکودر که یک ترنسفورمر بینایی (vision transformer) پیشآموزشدیده است، تصویر را به توکنهای وصلهای (patch tokens) تبدیل میکند. تصویرساز، که یک MLP کوچک 2 تا 4 لایه یا یک رابط (bridge) مبتنی بر کوئری است، این توکنها را به فضای امبدینگ (embedding) مدل زبانی مینگارد؛ جایی که جایگزین یک توکن جایگزین (placeholder token) در پرامپت (prompt) میشوند. مدل زبانی فقط-دیکودر (decoder-only)، توکنهای تصویر و متن را در قالب یک توالی واحد میخواند و پاسخ را مینویسد؛ در بیشتر فاینتیونها، انکودر و مدل زبانی ثابت (frozen) میمانند یا تطبیقدهنده (adapter) میگیرند، و آموزش دقیقاً روی تصویرساز انجام میشود.
پاسخ کامل
سه بخش اصلی
- انکودر بینایی: یک ترنسفورمر بینایی پیشآموزشدیده (با یادگیری تقابلی یا خودنظارتی) که به ازای هر پچ (patch)، یک توکن تولید میکند. با ورودی 336 پیکسلی و پچهای 14 پیکسلی، مدل مرجع (reference model) 576 توکن با پهنای 1024 تولید میکند.
- تصویرساز: یک MLP دو لایه با یک لایهی GELU بین آنها، از پهنای انکودر تا پهنای مدل زبانی؛ در مدل مرجع از 1024 به 4096 و سپس به 4096. هد (head) نمونهی پروژهی پایانی (capstone)، ابعاد 768 به 1024 و سپس به 512 دارد و حدود 1.3M پارامتر دربرمیگیرد.
- مدل زبانی: یک مدل فقط-دیکودر که توکنهای تصویرِ تصویرشده را بهجای توکن جایگزینِ تصویر، و توکنهای متن را پس از آنها دریافت میکند؛ سپس متن را تولید میکند.
اتصال اجزا به یکدیگر
پرامپت یک توکن جایگزین برای تصویر دارد. پیش از گذر رو به جلو (forward pass)، امبدینگهای این موقعیتها با توکنهای تصویریِ تصویرشده بازنویسی میشوند و دسته (batch) پدینگ میخورد تا تعداد توکنها در تمام نمونهها یکسان شود. مدل زبانی صرفاً یک توالی واحد میبیند؛ هیچ بخش دیگری از آن تغییر نمیکند.
چه بخشی آموزش میبیند؟
- مرحلهی اول، همترازی: انکودر و مدل زبانی را فریز کنید و تصویرساز را روی جفتهای تصویر و کپشن با تابع زیان (loss) مدلسازی زبان روی کپشن آموزش دهید. نسخهی پروژهی پایانی از تابع زیانِ همترازی کسینوسی بین بردار تجمیعشدهی تصویر و بردار کپشن استفاده میکند؛ این زیان تنها با بهروزرسانی تصویرساز، طی 200 گام از حدود 1.07 به حدود 0.80 میرسد.
- مرحلهی دوم، تنظیم با دستورالعمل (instruction tuning): مدل زبانی را از حالت فریز خارج کنید (اغلب از طریق تطبیقدهندهها)، تصویرساز را در حالت آموزشپذیر نگه دارید و روی سهگانههای (triples) تصویر، پرسش و پاسخ آموزش دهید.
- پیشآموزش بزرگ روی دادههای درهمتنیدهی تصویر و متن: در دستورالعملهای مدلهای پیشرو میان این دو مرحله قرار میگیرد و اجرای آن از عهدهی یک تیم کوچک خارج است.
چرا آموزش تصویرساز کفایت میکند؟
انکودر از قبل تصویر را بازنمایی میکند و مدل زبانی هم توانایی استدلال با واژهها را دارد. وظیفهی تصویرساز فقط بیان مفاهیم یکی با دایرهی واژگان دیگری است؛ کاری که با یک خمیدگی کوچک در فضا امکانپذیر است. انکودر پروژهی پایانی 86M پارامتر و تصویرساز آن حدود 1.3M پارامتر دارد؛ بنابراین آموزش دادنِ تنها تصویرساز یعنی چند صد گام روی یک GPU.
سؤالهای تکمیلی مصاحبهگر
- سطح 1: چرا تصویرساز به دو لایه نیاز دارد و یک لایه کافی نیست؟ انتظار میرود: یک لایهی خطی فقط دوران میدهد و مقیاس را تغییر میدهد؛ اما ناخطی بودنِ میان دو لایه اجازه میدهد نگاشت خم شود، و همین برای همتراز کردن ویژگیهای تقابلی تصویر با امبدینگهای مدل زبانی کافی است.
- سطح 2: مدل زبانی در جایی که تصویر قرار داشت چه میبیند؟ انتظار میرود: دنبالهای از امبدینگها، یکی به ازای هر توکنِ پچِ تصویرشده، درست بهجای توکن جایگزین؛ مدل با آنها مثل توکنهای عادی و بدون هیچ پردازش خاصی برخورد میکند.
- سطح 2: استفاده از رابطی با مجموعهی ثابتی از کوئریهای یادگیریپذیر چه تغییری ایجاد میکند؟ انتظار میرود: توکنهای پچ را به تعداد ثابتی فشرده میکند که باعث صرفهجویی در کانتکست میشود، اما به قیمت ایجاد یک گلوگاه (bottleneck) تمام خواهد شد؛ در مقابل، MLP تمام پچها را نگه میدارد.
- سطح 3: کدام بخش سقف کیفیت استدلال را تعیین میکند؟ انتظار میرود: مدل زبانی؛ انکودر صرفاً وظیفهی تغذیهی آن را دارد، بنابراین یک مدل زبانی بزرگتر بنچمارکها را بسیار بیشتر از یک رابط هوشمندانهتر بالا میبرد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «مدل زبانی از طریق کراساتنشن (cross-attention) به تصویر، پیکسلها را بررسی میکند.» در این الگو تصویر در قالب توکنهایی وارد توالی ورودی میشود؛ رابطهای مبتنی بر کراساتنشن متعلق به خانوادهی دیگری هستند.
- «اول انکودر بینایی را فاینتیون کنید؛ این همان بخشی است که میبیند.» انکودر پیشآموزشدیده است و در مرحلهی اول فریز میماند؛ بودجهی آموزشی یک تیم کوچک باید خرج تصویرساز شود.
- «تصویرساز باید شبکهی بزرگی باشد تا بتواند تصویر را انتقال دهد.» تصویرساز یک MLP دو لایه و بسیار کوچکتر از انکودر در پروژهی پایانی است و ظرف چند دقیقه آموزش میبیند.
کجای دوره آموزش داده میشود
درس مدلهای بینایی-زبانی ساختار این الگو و سه مرحلهی آموزشی آن را شرح میدهد، پروژهی پایانی لایهی تصویر رابط را بهتنهایی آموزش میدهد، و درس LLaVA دستورالعمل مدل مرجع را در اختیارتان میگذارد.