دستورالعمل آموزش مدل‌های بینایی-زبانی (VLM): متغیرهای واقعاً اثرگذار

توسعه و فاین‌تیون مدل‌های بینایی-زبانی (VLM) نیازمند منابع محاسباتی چشمگیری است. با توجه به هزینه و دسترسی محدود به کارت‌های گرافیک قدرتمند، آزمون‌وخطا روی تمام متغیرهای معماری عملاً ناممکن و هدردهنده‌ی وقت و هزینه است. برای رسیدن به بالاترین کیفیت، باید بدانید کدام بخش از پایپ‌لاین آموزش بیشترین تأثیر را روی دقت نهایی می‌گذارد.

تحقیقات سال‌های 2024 تا 2026 مانند مقالات MM1، Molmo، Cambrian-1 و Idefics2 با اجرای صدها آزمون مقایسه‌ای سیستماتیک نشان داده‌اند که تفاوت میان یک مدل متوسط و پیشرو در جزییات اتصال‌دهنده نیست؛ بلکه در انتخاب انکودر تصویر، راهبرد رزولوشن و کیفیت داده‌های متراکم انسانی نهفته است. در این درس با بررسی این شواهد تجربی، دستورالعملی روشن برای انتخاب بهینه‌ترین تنظیمات با کمترین هزینه استخراج می‌کنیم.

ادبیات پژوهشی مدل‌های بینایی-زبانی (VLM) با وزن‌های باز در سال‌های 2024 تا 2026 پر از جدول‌های مقایسه‌ی سیستماتیک (ablation table) است. مقاله‌ی MM1 اپل 13 ترکیب مختلف از انکودر تصویر، اتصال‌دهنده (connector) و ترکیب داده را بررسی کرد. مدل Molmo از Allen AI نشان داد که زیرنویس‌های مفصل انسانی از تقطیر دانش (distillation) مدل GPT-4V جلو می‌زنند. Cambrian-1 بیش از 20 انکودر را با هم مقایسه کرد. Idefics2 فضای طراحی پنج‌محوره را صورت‌بندی کرد. Prismatic VLMs نیز 27 دستورالعمل آموزش را روی یک بنچمارک کنترل‌شده سنجید. از دل این‌همه هیاهو، چند نتیجه‌ی مشخص به‌دست می‌آید که در تمام مقالات تکرار می‌شوند: انکودر تصویر از معماری اتصال‌دهنده مهم‌تر است، ترکیب داده‌ها از هر دوی این‌ها اهمیت بیشتری دارد، و زیرنویس‌های مفصل انسانی بر داده‌های ساختگیِ حاصل از تقطیر برتری دارند. در این درس این جدول‌ها را با هم مرور و جمع‌بندی می‌کنیم تا نیازی به خواندن تک‌تک آن‌ها نداشته باشید.

اهداف یادگیری

• نام بردن پنج محور فضای طراحی VLM: انکودر تصویر، اتصال‌دهنده، مدل زبانی بزرگ (LLM)، ترکیب داده و اسکژولر رزولوشن.
• خواندن جدول‌های مقایسه‌ی سیستماتیک MM1 ،Idefics2 و Cambrian-1 و پیش‌بینی این‌که تغییر هر متغیر روی چه بنچمارکی اثر می‌گذارد.
• انتخاب یک دستورالعمل (انکودر، اتصال‌دهنده، داده و رزولوشن) برای یک VLM جدید با توجه به بودجه‌ی محاسباتی و ترکیب تسک‌ها.
• توضیح دلیل برتری زیرنویس‌های مفصل انسانی در مقایسه با تقطیر دانش از GPT-4V در تعداد توکن یکسان.

صورت مسئله

صدها VLM با وزن باز در دسترس است. بخش عمده‌ی فاصله‌ی میان یک مدل «خوب» و مدل «پیشرو» (state-of-the-art) به معماری ربطی ندارد، بلکه به داده، اسکژولر رزولوشن و انتخاب انکودر وابسته است. اگر بدانید هنگام افت کارایی مدل باید ابتدا سراغ کدام متغیر بروید، جلوی هدررفت 5 میلیون ساعت GPU را می‌گیرید.

موج سال 2023 (شامل LLaVA-1.5 ،InstructBLIP و MiniGPT-4) بر پایه‌ی پیش‌آموزش با جفت‌های تصویر-زیرنویس و مجموعه‌داده‌ی LLaVA-Instruct-150k شکل گرفت؛ یک خط مبنای (baseline) خوب، اما نمراتش روی بنچمارک MMMU حول‌وحوش 35% متوقف شد.

موج سال 2024 (شامل MM1 ،Idefics2 ،Molmo ،Cambrian-1 و Prismatic VLMs) آزمون‌های مقایسه‌ای سیستماتیک و جامعی اجرا کرد. نتایج به‌دست‌آمده هم غافلگیرکننده بودند و هم کاملاً کاربردی.

مفاهیم کلیدی

فضای طراحی پنج‌محوره

مقاله‌ی Idefics2 (لورنسون و همکاران، 2024) این پنج محور را تفکیک کرد:

1. انکودر تصویر (Image encoder): گزینه‌هایی مثل CLIP ViT-L/14 ،SigLIP SO400m/14 ،DINOv2 ViT-g/14 و InternViT-6B. تفاوت این انکودرها در اندازه‌ی پچ (patch size)، رزولوشن ورودی و تابع هدف پیش‌آموزش است.
2. اتصال‌دهنده (Connector): گزینه‌هایی شامل MLP (بین 2 تا 4 لایه)، Q-Former (با 32 پرس‌وجو به‌همراه توجه متقاطع یا cross-attention)، Perceiver Resampler (با 64 پرس‌وجو) و C-Abstractor (ادغام کانولوشنی و دوخطی).
3. مدل زبانی (Language model): مدل‌هایی چون Llama-3 8B / 70B ،Mistral 7B ،Phi-3 ،Gemma-2 و Qwen2.5. حجم پارامترهای LLM بیشترین سهم را در هزینه‌ی پردازشی دارد.
4. داده‌های آموزش (Training data): جفت‌های تصویر-زیرنویس (مانند CC3M و LAION)، داده‌های درهم‌تنیده‌ی متنی-تصویری (مانند OBELICS و MMC4) و داده‌های دستورالعملی (مانند LLaVA-Instruct ،ShareGPT4V ،PixMo و Cauldron).
5. اسکژولر رزولوشن (Resolution schedule): رزولوشن‌های ثابت مثل 224، 336 یا 448، روش AnyRes، یا رزولوشن پویای بومی (native dynamic). رزولوشن در طول آموزش به‌مرور افزایش می‌یابد یا از ابتدا ثابت می‌ماند.

هر VLM عملیاتی ناچار است روی هر کدام از این پنج محور تصمیمی بگیرد. بخش عمده‌ی پراکندگی نمرات بنچمارک MMMU ناشی از انتخاب‌های محورهای 1، 4 و 5 است، نه نوع اتصال‌دهنده‌ای که انتخاب می‌کنید.

محور 1: انکودر مهم‌تر از اتصال‌دهنده است

بخش 3.2 مقاله‌ی MM1 نشان داد: جابه‌جایی انکودر از CLIP ViT-L/14 به SigLIP SO400m/14 نمره‌ی MMMU را بیش از 3 نمره بالا می‌برد. در مقابل، تغییر اتصال‌دهنده از MLP به Perceiver Resampler کمتر از 1 نمره تفاوت ایجاد می‌کند. Idefics2 نیز همین نتیجه را تأیید کرد: در بودجه‌ی توکن یکسان، SigLIP بهتر از CLIP است و عملکرد Q-Former، MLP و Perceiver تقریباً در یک سطح قرار می‌گیرد (Q-Former ≈ MLP ≈ Perceiver).

بخش «رقابت انکودرهای بینایی کامبرین» در مقاله‌ی Cambrian-1 (تانگ و همکاران، 2024) بیش از 20 انکودر را روی بنچمارکی متمرکز بر درک تصویر (CV-Bench) سنجید. صدر جدول در اختیار ترکیبی از DINOv2 و SigLIP بود؛ CLIP در میانه‌ی جدول قرار گرفت و ImageBind و ViT-MAE در رده‌های پایین‌تر ایستادند. اختلاف CLIP ViT-L با DINOv2 ViT-g/14 روی بنچمارک CV-Bench حدود 5 تا 7 نمره است.

در سال 2026، انکودر پیش‌فرض برای VLMهای متن‌باز SigLIP 2 SO400m/14 است که ویژگی‌های معنایی و چگال را استخراج می‌کند و در برخی سناریوها با ویژگی‌های DINOv2 ViT-g/14 ادغام (concatenate) می‌شود (روشی که «Spatial Vision Aggregator» در کامبرین به کار می‌برد).

محور 2: نوع اتصال‌دهنده عملاً بی‌اثر است

مقالات MM1 ،Idefics2 ،Prismatic و MM-Interleaved همگی به نتیجه‌ی یکسانی رسیدند: با تثبیت تعداد توکن‌های بصری، معماری اتصال‌دهنده تفاوت ناچیزی ایجاد می‌کند. با بودجه‌ی توکن برابر، یک پروجکتور دولایه‌ی MLP روی پچ‌های میانگین‌گیری‌شده با اختلافی کمتر از 1 نمره پابه‌پای یک Q-Former با 32 پرس‌وجو رقابت می‌کند.

آنچه واقعاً تعیین‌کننده است، تعداد توکن‌ها است. توکن بصری بیشتر یعنی نیاز به محاسبات بیشتر در LLM؛ این ویژگی کارایی را تا نقطه‌ای معین بالا می‌برد و پس از آن بازده نزولی می‌شود. 64 توکن برای هر تصویر برای کارهایی مثل نویسه‌خوان نوری (OCR) اصلاً کافی نیست. بازه‌ی 576 تا 1024 توکن نقطه‌ی ایده‌آل بیشتر VLMهای متن‌باز است. مقادیر بالای 2048 توکن تنها به کار اسناد و نمودارها می‌آید.

مقایسه‌ی Q-Former و MLP مسئله‌ی هزینه است نه کیفیت: Q-Former فارغ از رزولوشن تصویر، تعداد توکن‌ها را روی 32 تا 64 محدود نگه می‌دارد؛ در حالی که MLP تمام توکن‌های پچ‌ها را انتقال می‌دهد. برای ورودی‌های وضوح‌بالا، Q-Former حافظه‌ی زمینه‌ی (context) مدل زبانی را نجات می‌دهد؛ اما در رزولوشن‌های پایین، تفاوت عملکردشان در حد نویز آماری است.

محور 3: اندازه‌ی مدل زبانی سقف توانمندی را تعیین می‌کند

دو برابر کردن ابعاد LLM از 7B به 13B در تمام مقالات حوزه‌ی VLM بدون استثنا 2 تا 4 نمره به نتیجه‌ی MMMU اضافه می‌کند. در ابعاد 70B نیز نتایج اکثر بنچمارک‌ها اشباع می‌شود. سقف استدلال چندحالته در یک VLM دقیقاً همان سقف استدلال متنی LLM است؛ انکودر بصری فقط ورودی‌ها را آماده می‌کند و تحویل می‌دهد، اما نمی‌تواند به‌جای مدل استدلال کند.

به همین دلیل Qwen2.5-VL-72B و Claude Opus 4.7 بنچمارک‌های MMMU-Pro و ScreenSpot-Pro را درمی‌نوردند: مغز پردازش زبان آن‌ها عظیم است. یک مدل 7B با هیچ ترفندی در طراحی اتصال‌دهنده نمی‌تواند جای یک مدل 70B را بگیرد.

محور 4: داده؛ زیرنویس‌های مفصل انسانی بر تقطیر غلبه می‌کنند

مقاله‌ی Molmo + PixMo (دیتکه و همکاران، 2024) یافته‌ای است که باید حتماً بخوانید. موسسه‌ی Allen AI از ارزیاب‌های انسانی خواست با صداگذاری فشرده و 1 تا 3 دقیقه‌ای (speech-to-text)، تصاویر را با جزئیات کامل توصیف کنند؛ حاصل کار 712 هزار تصویر با زیرنویس متراکم بود، بدون آن‌که هیچ داده‌ای از طریق تقطیر از GPT-4V وارد چرخه‌ی آموزش شده باشد.

مدل Molmo-72B توانست Llama-3.2-90B-Vision را در تمام 11 بنچمارک ارزیابی شکست دهد. این برتری ربطی به معماری ندارد، بلکه به کیفیت زیرنویس‌ها برمی‌گردد. توصیف‌های مفصل انسانی 5 تا 10 برابر اطلاعات بیشتری در مقایسه با متن‌های جایگزین وب به ازای هر تصویر دارند و برخلاف داده‌های تقطیرشده از GPT-4V که دچار توهم می‌شوند، کاملاً به واقعیت تصویر وفادار می‌مانند.

پروژه‌های ShareGPT4V (چن و همکاران، 2023) و Cauldron (مربوط به Idefics2) نیز از همین الگو پیروی کردند و ترکیبی از داده‌های انسانی و GPT-4V را به کار گرفتند. روند پیش رو کاملاً شفاف است: در سال 2026، تراکم اطلاعاتی زیرنویس > تعداد زیرنویس > سهولت استفاده از تقطیر داده‌ها.

محور 5: رزولوشن و اسکژولر آن

آزمون‌های مقایسه‌ای Idefics2 نشان می‌دهد: رفتن از رزولوشن 384 به 448 حدود 1 تا 2 نمره به عملکرد اضافه می‌کند. افزایش رزولوشن از 448 به 980 با تکنیک کاشی‌کاری (AnyRes)، امتیاز بنچمارک‌های OCR را 3 تا 5 نمره‌ی دیگر بالا می‌برد. آموزش با رزولوشن ثابت نهایتاً در دقتی متوسط متوقف می‌شود؛ اما افزایش تدریجی رزولوشن در اسکژولر (شروع از 224 و پایان در 448 یا حالت پویا) روند آموزش را سرعت می‌دهد و خروجی دقیق‌تری می‌سازد.

Cambrian-1 موازنه‌ی میان رزولوشن و تعداد توکن‌ها را سنجید: با بودجه‌ی محاسباتی ثابت، می‌توانید تعداد توکن بیشتری در رزولوشن پایین‌تر داشته باشید، یا توکن‌های کمتری را در رزولوشن بالاتر خرج کنید. رزولوشن بالاتر در تسک‌های OCR برنده است؛ اما رزولوشن پایین‌تر همراه با توکن‌های بیشتر، در درک عمومی صحنه نتیجه‌ی بهتری می‌دهد.

دستورالعمل استاندارد سال 2026 برای آموزش عملیاتی: مرحله‌ی 1 (Stage 1) را با رزولوشن ثابت 384 آموزش دهید، و در مرحله‌ی 2 برای کارهای متکی بر پردازش متن، از رزولوشن پویا تا سقف 1280 پیکسل استفاده کنید.

مقایسه‌ی کنترل‌شده در Prismatic

مقاله‌ی Prismatic VLMs (کارامچتی و همکاران، 2024) تمام متغیرها را کنترل کرد: با یک مدل زبانی 13B ثابت، داده‌های دستورالعملی یکسان و ارزیابی استاندارد، در هر آزمایش فقط یک محور تغییر داده شد. نتایج نشان داد:

• تعداد توکن‌های بصری به ازای هر تصویر، حدود 60% از واریانس را توضیح می‌دهد.
• انتخاب انکودر حدود 20% را توجیه می‌کند.
• معماری اتصال‌دهنده حدود 5% موثر است.
• سایر متغیرها (ترکیب داده‌ها، اسکژولر، نرخ یادگیری) 15% باقی‌مانده را شکل می‌دهند.

شاید این تفکیک تقریبی باشد، اما صریح‌ترین پاسخی است که متون پژوهشی به پرسش «اول سراغ کدام متغیر بروم؟» داده‌اند.

راهنمای انتخاب برای سال 2026

با توجه به شواهد، دستورالعمل پیش‌فرض برای اجرای یک پروژه‌ی VLM متن‌باز در سال 2026 عبارت است از:

• انکودر: SigLIP 2 SO400m/14 در رزولوشن بومی با NaFlex؛ اگر به قطعه‌بندی (segmentation) یا ارجاع مکانی (grounding) نیاز دارید، آن را با ویژگی‌های DINOv2 ViT-g/14 ادغام کنید.
• اتصال‌دهنده: پروجکتور دولایه‌ی MLP روی توکن‌های پچ. به سراغ Q-Former نروید، مگر این‌که در تعداد توکن‌ها محدودیت جدی داشته باشید.
• مدل زبانی: بر اساس تاخیر (latency) مد نظرتان، از بین Qwen2.5 ،Llama-3.1 یا Gemma 2 دست به انتخاب بزنید؛ نسخه‌ی 7B برای بهینه‌سازی هزینه و 70B برای رسیدن به بالاترین کیفیت.
• داده: ترکیب PixMo + ShareGPT4V + Cauldron، به‌علاوه‌ی داده‌های دستورالعملی ویژه‌ی همان تسک.
• رزولوشن: حالت پویا (حداقل 256 و حداکثر 1280 پیکسل در ضلع بزرگ‌تر).
• اسکژولر: مرحله‌ی 1 برای هم‌ترازی (فقط آموزش پروجکتور)، مرحله‌ی 2 فاین‌تیون کامل، مرحله‌ی 3 فاین‌تیون اختصاصی روی تسک.

تک‌تک این گزینه‌ها مستقیماً به نتایج تجربی مقالاتی برمی‌گردند که در پایان این درس آورده شده‌اند.

استفاده از ابزارهای واقعی

اسکریپت code/main.py یک پارسر برای جدول‌های مقایسه‌ای و انتخاب‌کننده‌ی دستورالعمل است. این اسکریپت جدول‌های مقایسه‌ای MM1 و Idefics2 را در قالبی خلاصه ذخیره کرده است و به این پرسش‌ها پاسخ می‌دهد:

• «با بودجه‌ی X و تسک Y، کدام پیکربندی برنده است؟»
• «اگر روی Llama 7B انکودر SigLIP را با CLIP عوض کنم، نمره‌ی MMMU چه تغییری می‌کند؟»
• «برای رسیدن به نتیجه‌ای با اطمینان 80 درصدی، ابتدا باید کدام متغیر را به بوته‌ی آزمایش بگذارم؟»

خروجی این ابزار، رتبه‌بندی دستورالعمل‌ها، تغییرات تخمینی روی بنچمارک‌ها و توصیه‌ای مشخص درباره‌ی اولویت اول برای بررسی و بهینه‌سازی است.

خروجی این درس

این درس فایل outputs/skill-vlm-recipe-picker.md را تولید می‌کند. این ابزار بر اساس ترکیب تسک‌ها، بودجه‌ی پردازشی و تاخیر هدف، یک دستورالعمل جامع (انکودر، اتصال‌دهنده، مدل زبانی، ترکیب داده و اسکژولر رزولوشن) تحویل می‌دهد که انتخاب‌هایش را با ارجاع به جدول‌های مقایسه‌ای معتبر مستند می‌کند. با این کار، مهندسان تیم دیگر چرخ را از نو اختراع نمی‌کنند و وقت خود را صرف بازتولید جدول‌های مقایسه‌ای Idefics2 نخواهند کرد.

تمرین‌ها

1. بخش 3.2 مقاله‌ی MM1 را بررسی کنید. با فرض یک مدل زبانی 2B و بودجه‌ی 50 میلیون تصویر، کدام انکودر برنده می‌شود؟ آیا این نتیجه در مدل زبانی 13B تغییر می‌کند؟ چرا؟

2. مقاله‌ی Cambrian-1 نشان می‌دهد که ادغام DINOv2 و SigLIP در بنچمارک‌های متمرکز بر تصویر بهتر از هر کدام به‌تنهایی عمل می‌کند، اما روی MMMU تأثیری ندارد. پیش‌بینی کنید کدام بنچمارک‌ها رشد می‌کنند و کدام ثابت می‌مانند.

3. می‌خواهید یک ایجنت برای کار با رابط کاربری موبایل بر پایه‌ی یک LLM با ابعاد 2B بسازید. انکودر، اتصال‌دهنده، رزولوشن و ترکیب داده را انتخاب کنید و دلیل تصمیم‌هایتان را با ارجاع به یک جدول مقایسه‌ای مشخص توضیح دهید.

4. مدل Molmo در نسخه‌های 4B و 72B عرضه شده است. مدل 4B با VLMهای اختصاصی 7B رقابت می‌کند و مدل 72B نیز Llama-3.2-90B-Vision را در تمام 11 بنچمارک پشت سر گذاشته است. این موضوع درباره‌ی فرضیه‌ی اشباع توانمندی با اندازه‌ی LLM چه پیامی دارد؟

5. یک جدول مقایسه‌ای طراحی کنید که اثر کیفیت ترکیب داده را از کیفیت انکودر روی یک VLM با ابعاد 7B تفکیک کند. حداقل به چند بار اجرای آموزش نیاز دارید؟ تنظیمات این چهار محور را پیشنهاد دهید.

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• مقاله‌ی MM1 از مک‌کینزی و همکاران (arXiv:2403.09611)
• مقاله‌ی Idefics2 و نکات مهم ساخت VLM از لورنسون و همکاران (arXiv:2405.02246)
• مقاله‌ی Molmo و PixMo از دیتکه و همکاران (arXiv:2409.17146)
• مقاله‌ی Cambrian-1 از تانگ و همکاران (arXiv:2406.16860)
• مقاله‌ی Prismatic VLMs از کارامچتی و همکاران (arXiv:2402.07865)