معماری InternVL3 و پیش‌آموزش چندوجهی نیتیو در مدل‌های بینایی-زبانی

در اکثر مدل‌های زبانی-دیداری (VLM) متن‌باز، بینایی بعد از اتمام آموزش متنی به مدل الحاق می‌شود. این شیوه‌ی آموزش پسینی اگرچه ارزان‌تر است، اما باعث بروز پدیده‌ای به نام بدهی هم‌ترازی (alignment debt) می‌شود؛ پیامدی که نشانه‌های آن را در فراموشی فاجعه‌بار توانایی‌های متنی خالص و ناهمخوانی پاسخ‌های دیداری مشاهده می‌کنیم. مدل InternVL3 با کنار گذاشتن این روند و اجرای پیش‌آموزش نیتیو، داده‌های متنی و چندوجهی را از همان گام نخست در هم می‌تند.

درک معماری InternVL3 و نوآوری‌هایی نظیر V2PE و بهینه‌سازهای زمان استنتاج مثل ViR و DvD، به مهندسان دید کاملی برای طراحی و انتخاب استراتژی توسعه مدل‌های چندوجهی می‌دهد؛ رویکردی که نشان می‌دهد چگونه می‌توان با معماری یکپارچه، مدلی در ابعاد متن‌باز ساخت که با بهترین سامانه‌های تجاری رقابت کند.

تا پیش از InternVL3، همه‌ی مدل‌های زبانی-دیداری (VLM) متن‌باز از یک دستورالعمل سه‌مرحله‌ای یکسان پیروی می‌کردند: یک مدل زبانی بزرگ (LLM) متنی را که روی تریلیون‌ها توکن متن آموزش دیده برمی‌داشتند، یک انکودر تصویر به آن وصل می‌کردند و در نهایت درزها و آرتیفکت‌های مرزی (seams) را فاین‌تیون می‌کردند. این روش جواب می‌دهد، اما با بدهی هم‌ترازی (alignment debt) همراه است؛ مدل زبانی تمام بودجه‌ی پیش‌آموزش خود را صرف متن خالص کرده و توکن‌های بصری را به‌طور ذاتی نمی‌فهمد. وقتی بینایی را بعد از اتمام کار اضافه می‌کنید (post-hoc)، مدل زبانی باید دوباره یاد بگیرد ورودی تصویر را بدون از دست دادن دانش متنی به استدلال متنی خود پیوند بزند. InternVL3 (زو و همکاران، آوریل 2025) رویکرد پسینی را کنار می‌گذارد: یک دور پیش‌آموزش واحد که در آن متن و داده‌های چندوجهی از همان گام نخست درهم‌تنیده‌اند. نتیجه این‌که این مدل متن‌باز 78B پارامتری در بنچمارک MMMU-Pro به رکورد Gemini 2.5 Pro می‌رسد. در این درس دلایل ضرورت پیش‌آموزش نیتیو و دستاوردهای آن را بررسی می‌کنیم.

اهداف یادگیری

• توضیح دهید چرا آموزش پسینی VLMها بدهی هم‌ترازی انباشته می‌کند و سه نشانه‌ی ملموس آن (فراموشی فاجعه‌بار، انحراف پاسخ و ناهمخوانی تصویر و متن) را نام ببرید.
• ترکیب دادگان پیش‌آموزش نیتیو InternVL3 را شرح دهید و بگویید چرا نسبت متن : داده‌های درهم‌تنیده : کپشن اهمیت دارد.
• سازوکار V2PE (کدگذاری متغیر موقعیت دیداری) را با M-RoPE در Qwen2-VL مقایسه کنید.
• بهینه‌سازی‌های استقرار ViR (مسیریاب وضوح تصویر) و DvD (جداسازی پردازش تصویر و متن) را نام ببرید.

صورت مسئله

آموزش پسینی VLM رویکرد پیش‌فرض است. مدل‌های LLaVA، BLIP-2، Qwen-VL و Idefics همگی کار را با یک مدل زبانی از پیش آموزش‌دیده (Llama، Vicuna، Qwen، Mistral) آغاز می‌کنند و بعد قابلیت دیداری را به آن می‌افزایند. مراحل آموزش معمولاً به این صورت پیش می‌رود:

1. مدل زبانی فریز + انکودر تصویر فریز + پروجکتور (projector) قابل آموزش؛ آموزش روی جفت‌های تصویر و کپشن برای هم‌تراز کردن امبدینگ‌ها (embeddings).
2. خارج کردن مدل زبانی از حالت فریز و آموزش روی داده‌های دستورالعملی (LLaVA-Instruct، ShareGPT4V).
3. فاین‌تیون اختیاری روی وظایف خاص.

در این میان، سه نشانه‌ی بدهی هم‌ترازی خود را نشان می‌دهند:

• فراموشی فاجعه‌بار (Catastrophic forgetting). مدل VLM پسینی مهارت‌های مبتنی بر متن خالص را از یاد می‌برد. امتیازهای GSM8K بین 5 تا 10 نمره افت می‌کنند، نمرات Hellaswag پایین می‌آیند و ایجنت‌های (agents) متنی محض دچار پسرفت می‌شوند.
• انحراف پاسخ (Answer drift). تغییرات جزئی در عبارت‌بندی یک سؤال تصویری واحد، پاسخ‌های متفاوتی تولید می‌کند. انکودر تصویر در مقایسه با توکن‌های خود مدل زبانی، پیوندهای ضعیف‌تری با مدل برقرار کرده است.
• ناهمخوانی تصویر و متن (Visual-text inconsistency). مدل VLM می‌تواند یک تصویر را به‌درستی توصیف کند، اما در پاسخ به سؤالی دیگر ادعایی تحویل دهد که توصیف خودش را نقض می‌کند. توکن‌های بصری مانند توکن‌های متنی در اعتبارسنجی‌های درونی مدل برای حفظ یکپارچگی نقشی ایفا نمی‌کنند.

این نشانه‌ها مستندسازی شده‌اند؛ بخش 4 مقاله‌ی MM1.5 آن‌ها را اندازه‌گیری کرده و آزمایش‌های ابلیشن LLaVA-OneVision نیز نشانه‌های آن را تایید می‌کنند. چاره‌ی کار، پیش‌آموزش نیتیو (native pretraining) است.

مفاهیم کلیدی

پیش‌آموزش چندوجهی نیتیو

InternVL3 از ابتدا روی دادگانی آموزش می‌بیند که از همان گام نخست، ماهیتاً چندوجهی است. ترکیب این دادگان عبارت است از:

• 40% داده‌های متنی محض (FineWeb، Proof-Pile-2 و غیره)
• 35% داده‌های درهم‌تنیده‌ی تصویر و متن (مشابه OBELICS و MMC4)
• 20% داده‌های جفت تصویر و کپشن
• 5% داده‌های ویدیو و متن

توکن‌های بصری، توکن‌های متنی و برهم‌کنش‌های میان‌مدالیتی از همان اولین گام گرادیان (gradient) در یک تابع زیان (loss) مشترک سهم دارند. دیگر خبری از پیش‌آموزش هم‌ترازی، مرحله‌ی فریز کردن پروجکتور یا تلاش برای جبران فراموشی فاجعه‌بار نیست.

آموزش مدل پایه در یک مرحله انجام می‌شود. پس از آن تیونینگ دستورالعملی انجام می‌گیرد، اما مدل پایه از قبل توکن‌های دیداری را به‌عنوان عناصر درجه‌یک می‌شناسد.

کدگذاری متغیر موقعیت دیداری (V2PE)

مدل Qwen2-VL از سازوکار M-RoPE با تخصیص محور ثابت استفاده می‌کند. در مقابل، InternVL3 روش V2PE را معرفی کرده است: کدگذاری موقعیت بر اساس نوع هر مدالیتی (متن، تصویر، ویدیو) و با مقیاس‌بندی یادگیری‌پذیر تغییر می‌کند. در عمل:

• توکن‌های متنی موقعیت 1D (اندیس متن) می‌گیرند.
• پچ‌های تصویری موقعیت 2D (سطر و ستون) دریافت می‌کنند.
• فریم‌های ویدیویی موقعیت 3D (زمان، سطر و ستون) می‌گیرند.

هر سه از یک فرکانس پایه‌ی RoPE استفاده می‌کنند، اما تخصیص ابعاد پنهان برای هر باند به‌جای تقسیم ثابت، پارامتری قابل یادگیری است. این ویژگی آزادی عمل می‌دهد تا تعادل رزولوشن فرکانس زمانی در برابر مکانی حین پیش‌آموزش به‌خوبی تنظیم شود.

بر اساس ارزیابی‌های مقایسه‌ای V2PE، این روش در توان محاسباتی یکسان، 1 تا 2 امتیاز نسبت به M-RoPE روی بنچمارک‌های ویدیو دستاورد دارد. تحولی انقلابی نیست، اما پیاده‌سازی تمیزتری به شمار می‌رود.

مسیریاب وضوح تصویر (ViR)

یک بهینه‌سازی (optimization) برای استقرار مدل. همه‌ی تصاویر نیازی به انکود شدن با رزولوشن کامل ندارند. اگر عکسی با یک شیء و جزئیات اندک را با ابعاد نیتیو 1280px انکود کنیم، توکن‌ها هدر می‌روند. ViR یک کلاسیفایر کوچک است که پیش از انکود کردن، حداقل وضوح لازم برای پاسخ به سؤال را پیش‌بینی می‌کند.

این مسیریابی سه لایه دارد: رزولوشن پایین (256 توکن)، متوسط (576 توکن) و بالا (+2048 توکن). برای 60% از پرسش‌ها در ترافیک پروداکشن، کیفیت پایین یا متوسط کفایت می‌کند. اثر نهایی: 2 تا 3 برابر افزایش نرخ پردازش (throughput) در کیفیتی برابر.

استقرار به شیوه‌ی تفکیک تصویر و زبان (DvD)

هنگام سرویس‌دهی یک VLM بزرگ، انکودر تصویر برای هر تصویر یک بار اجرا می‌شود، اما مدل زبانی برای هر توکن خروجی به‌صورت اتورگرسیو کار می‌کند. گلوگاه‌های این دو مؤلفه متفاوت است (برای بینایی: پهنای باند حافظه‌ی GPU برای کانولوشن و اتنشن (attention)؛ برای مدل زبانی: کش کلید-مقدار (KV cache)). روش DvD این دو بخش را روی GPUهای مجزا تفکیک می‌کند و انتقال داده بین آن‌ها به‌شکل استریمینگ (streaming) انجام می‌شود.

در مدلی با مدل زبانی 8B و انکودر 400M، روش DvD نرخ پردازش را در هر نود نسبت به استقرار هم‌مکان، تقریباً دو برابر می‌کند.

مقایسه‌ی کیفیت مدل تک‌مرحله‌ای و چندمرحله‌ای

مهم‌ترین ادعای InternVL3 در بنچمارک‌ها این است: در نسخه‌ی 78B با امتیاز Gemini 2.5 Pro روی MMMU-Pro برابری می‌کند، در نسخه‌ی 38B با GPT-4o هم‌تراز است و در نسخه‌ی 8B صدر جدول متن‌بازهای 8B را در اختیار دارد؛ همه‌ی این‌ها تنها با یک دستورالعمل پیش‌آموزش تک‌مرحله‌ای به‌علاوه‌ی تیونینگ دستورالعملی.

فرضیه‌ی (hypothesis) بدهی هم‌ترازی قابل اندازه‌گیری است: InternVL3-8B به ازای هر واحد پیشرفت در بنچمارک‌های دیداری، امتیاز کمتری در بنچمارک‌های متنی (MMLU و GSM8K) نسبت به Qwen2.5-VL-7B از دست می‌دهد. این مدل عملکرد همه‌منظوره‌تری دارد؛ چون کل آموزش در یک قطعه انجام شده، نه دو بخش مجزا.

مدل‌های InternVL3.5 و InternVL-U

مدل InternVL3.5 (آگوست 2025) همین فرمول را در مقیاس بزرگ‌تری پیاده می‌کند؛ رویکرد پیش‌آموزش نیتیو مشابه، داده‌های بیشتر و پارامترهای بیشتر. بهبودها در بنچمارک MMMU به‌صورت تدریجی است.

مدل InternVL-U (سال 2026) قابلیت تولید یکپارچه را نیز اضافه می‌کند؛ یعنی خروجی تصویر از طریق سرهای (heads) معماری MMDiT روی همان بک‌بون (backbone) پیاده می‌شود. حرف «U» نشانه‌ی «درک + تولید» (Understanding + generation) است و مسیر مدل‌های یکپارچه به سبک Transfusion (درس 12.13) را دنبال می‌کند. یک بک‌بون پیش‌آموزش‌دیده‌ی نیتیو از هر دو سر درک و تولید پشتیبانی می‌کند.

هزینه‌ها و ملاحظات پیش‌آموزش نیتیو

پیش‌آموزش نیتیو بدون هزینه نیست:

• توان محاسباتی. آموزش یک VLM جدید از صفر هزینه‌ای معادل آموزش یک LLM متنی دارد: میلیون‌ها ساعت کارکرد GPU. آموزش پسینی با استفاده‌ی مجدد از وزن‌های مدل زبانی موجود، بخش اعظم این هزینه را حذف می‌کند.
• داده‌ها. مجموعه‌داده‌های درهم‌تنیده‌ی تصویر و متن در مقیاس بالا کمیاب هستند. مجموعه‌داده‌ی OBELICS حدود 141M سند و MMC4 حدود 571M سند دارد، در حالی که داده‌های متنی محض تا 15T توکن عرضه می‌شوند. کمبود داده‌های پیش‌آموزش چندوجهی یک محدودیت جدی است.
• استفاده‌ی مجدد از مدل پایه‌ی زبانی. با پیش‌آموزش نیتیو، امکان جایگزینی یک مدل زبانی جدیدتر در آینده را از دست می‌دهید. در روش پسینی فقط کافی است آداپتور را بازآموزی کنید تا Llama-3.1 را با Llama-4 عوض کنید.

دیدگاه محوری InternVL3 این است: خسارت بدهی هم‌ترازی از هزینه‌ی عدم استفاده‌ی مجدد از مدل سنگین‌تر است. بنچمارک‌ها این ادعا را تأیید می‌کنند. هزینه‌ی بالای تولید، مانعی برای آزمایشگاه‌ها در تکرار ارزان‌قیمت این مسیر است. بنابراین VLMهای پسینی هم‌چنان پابرجا خواهند ماند، چون برای بیشتر پروژه‌ها ارزان‌تر تمام می‌شوند.

استفاده از ابزارهای واقعی

فایل code/main.py اسکریپتی برای تنظیم ترکیب دادگان آموزش و شبیه‌سازی مسیریاب (router) مدل ViR است. این برنامه:

• ترکیب دادگان هدف (درصد متن، درصد درهم‌تنیده، درصد کپشن، درصد ویدیو) را دریافت کرده و تعداد گام‌های مورد نیاز را برای هر مدالیتی محاسبه می‌کند.
• مسیریابی ViR را روی دسته‌ای از پرسش‌ها (با توزیع 50% جزئیات کم، 30% جزئیات متوسط و 20% جزئیات زیاد) شبیه‌سازی کرده و میانگین تعداد توکن‌ها را گزارش می‌دهد.
• بر اساس فلاپس (FLOPs) انکودر در برابر مدل زبانی، نرخ پردازش را در حالت DvD تخمین می‌زند.
• مقایسه‌ای شانه‌به‌شانه از آموزش پسینی و پیش‌آموزش نیتیو را بر حسب پارامترها، پردازش، داده و نشانه‌های قابل انتظار بدهی هم‌ترازی نمایش می‌دهد.

خروجی این درس

خروجی این درس یک فایل به نام outputs/skill-native-vs-posthoc-auditor.md است. این فایل با بررسی طرح آموزش پیشنهادی برای VLM، تصمیم‌گیری بین آموزش نیتیو و پسینی را ارزیابی می‌کند، ریسک بدهی هم‌ترازی را گزارش می‌دهد و ترکیب دادگان مناسبی پیشنهاد می‌کند. وقتی در حال ارزیابی ابعاد یک پروژه‌ی جدید VLM متن‌باز هستید و باید استراتژی آموزش را انتخاب کنید، از آن بهره ببرید.

تمرین‌ها

1. تفاوت توان محاسباتی مورد نیاز میان InternVL3-8B (پیش‌آموزش نیتیو) و LLaVA-OneVision-7B (آموزش پسینی) را تخمین بزنید. نسبت ساعات GPU تقریباً چقدر است؟ این شکاف ناشی از چیست؟

2. مدل InternVL3 ترکیب داده‌ی 40% متن / 35% درهم‌تنیده / 20% کپشن / 5% ویدیو را گزارش کرده است. اگر وظیفه‌ی هدف شما به ویدیو تکیه دارد، چه نسبتی پیشنهاد می‌دهید؟ استدلال کنید چرا مدل پایه هم‌چنان نیازمند حجم بالایی از داده‌های متنی و کپشن است.

3. بخش 4 از مقاله‌ی MM1.5 درباره‌ی فراموشی را بخوانید. دقیقاً در کدام بنچمارک، آموزش پسینی بیشترین پسرفت را نشان داده است؟ این پسرفت چقدر بود؟

4. سازوکار ViR حدود 60% از ترافیک را به انکودینگ با وضوح پایین هدایت می‌کند. این مسیریاب در چه نوع پرسش‌هایی دچار خطا می‌شود (پرسش‌هایی که به رزولوشن بالا نیاز داشتند ولی به سطح پایین فرستاده شدند)؟ سه حالت شکست (failure modes) برای این مسیریاب پیشنهاد دهید.

5. روش DvD پردازش تصویر و مدل زبانی را روی GPUهای مجزا تفکیک می‌کند. در چه الگوی ترافیکی، DvD به‌جای بهبود نرخ پردازش به آن آسیب می‌زند؟

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• چن و همکاران — InternVL 1 (arXiv:2312.14238)
• زو و همکاران — InternVL3 (arXiv:2504.10479)
• مدل InternVL3.5 (arXiv:2508.18265)
• مدل InternVL-U (arXiv:2603.09877)
• ژانگ و همکاران — MM1.5 (arXiv:2409.20566)