مدل‌های زبانی-ویدیویی: توکن‌های زمانی و ارجاع دقیق به رخدادها

ویدیو صرفاً مجموعه‌ای از فریم‌های پشت‌سرهم نیست؛ بعد زمان، روابط علی و پویایی رخدادها را به داده می‌افزاید که یک مدل تصویری معمولی قادر به درک آن نیست. در پردازش ویدیو با مدل‌های چندوجهی بزرگ (VLM)، با چالش انفجار تعداد توکن‌ها روبه‌رو هستیم؛ به‌گونه‌ای که یک ویدیوی 1 دقیقه‌ای با نرخ فریم استاندارد می‌تواند از کل پنجره‌ی زمینه‌ی مدل فراتر رود.

در این درس بررسی می‌کنیم که چگونه مدل‌ها از رویکردهای فشرده‌سازی با Q-former در Video-LLaMA و تجمیع در Video-LLaVA به مکانیزم پیشرفته‌ی M-RoPE با زمان‌بندی هم‌تراز در Qwen2.5-VL رسیده‌اند. با تسلط بر نمونه‌برداری پویا و فشرده‌سازی فریم‌ها، می‌توانید سیستم‌هایی بسازید که دقیقاً ثانیه‌ی وقوع یک رویداد را در ویدیوهای طولانی مشخص کنند.

ویدیو صرفاً دسته‌ای از عکس‌های پشت‌سرهم نیست. یک کلیپ 5 ثانیه‌ای ترتیب علی، افعال حرکتی و زمان‌بندی رخدادهایی دارد که مدل‌های تصویری قادر به بازنمایی آن‌ها نیستند. مدل Video-LLaMA (ژانگ و همکاران، ژوئن 2023) اولین مدل ویدیویی-زبانی بزرگ متن‌باز (Video-LLM) را با قابلیت ارجاع صوتی-تصویری (audio-visual grounding) عرضه کرد. پس از آن VideoChat و Video-LLaVA این الگو را گسترش دادند. تا سال 2025، مکانیزم M-RoPE با زمان‌بندی هم‌تراز در Qwen2.5-VL فاصله‌ی مدل‌های متن‌باز را با پیشرفته‌ترین مدل‌های تجاری پر کرد. هر سیستم مسئله‌ی توکن‌های زمانی را به شیوه‌ای حل کرده است: Q-former برای هر کلیپ، اتصال و تجمیع (concat-pool) برای هر فریم، یا M-RoPE با زمان‌بندی هم‌تراز برای هر توکن. در این درس با بررسی این الگوها، یک نمونه‌گیر فریم با رویکرد یکنواخت در مقابل پویا می‌سازیم و عملکرد آن را روی وظایف ارجاع زمانی می‌سنجیم.

اهداف یادگیری

• توضیح دهید چرا کدگذاری مکانی زمانی، مستقل از انکودر بینایی، عملکرد VLM ویدیویی را دگرگون می‌کند.
• روش‌های نمونه‌برداری فریمِ یکنواخت، با نرخ فریم پویا و مبتنی بر رویداد را بر اساس نسبت توکن بر ثانیه در برابر دقت ارجاع زمانی مقایسه کنید.
• معماری‌های Q-former در سطح کلیپ (Video-LLaMA)، تجمیع در سطح فریم (Video-LLaVA) و M-RoPE با زمان‌بندی هم‌تراز در سطح توکن (Qwen2.5-VL) را شرح دهید.
• چهار بنچمارک استاندارد ویدیویی را نام ببرید: VideoMME، TempCompass، EgoSchema و Video-MMMU.

صورت مسئله

یک ویدیوی 1 دقیقه‌ای با نرخ 30 فریم بر ثانیه شامل 1800 فریم است. با در نظر گرفتن 196 توکن بصری برای هر فریم (مدل ViT-B با ورودی 224)، در مجموع به 352 هزار توکن می‌رسیم؛ یعنی بسیار بزرگ‌تر از طول زمینه (context) تمام مدل‌های زبانی سال 2024.

برای کاهش این حجم، سه استراتژی وجود دارد:

1. نمونه‌برداری فرعی از فریم‌ها (1 تا 8 فریم بر ثانیه بسته به محتوا).
2. تجمیع شدید توکن‌های پچ در هر فریم (درون‌یابی دولایه‌ای با ابعاد 3x3 یا 4x4).
3. فشرده‌سازی با Q-former که یک کلیپ 16 فریمی را می‌گیرد و 64 توکن تحویل می‌دهد.

هر روش مصالحه‌های متفاوتی دارد: کاهش فریم‌ها جزئیات زمانی را از بین می‌برد. تجمیع، جزئیات مکانی را کم می‌کند. ماژول Q-former از هر دو بخش مقداری را فدا می‌کند، اما در مصرف توکن بسیار صرفه‌جویی خواهد کرد.

محور دیگر، کدگذاری موقعیت زمانی است: مدل چطور تشخیص می‌دهد فریم شماره‌ی 5 قبل از فریم شماره‌ی 6 آمده است؟ گزینه‌های پیش رو شامل RoPE زمانی تک‌بعدی ساده (Video-LLaMA)، امبدینگ‌های زمانی یادگرفتنی (Video-LLaVA) و M-RoPE با زمان‌بندی هم‌تراز (Qwen2.5-VL، به‌صورت سه‌بعدی کامل) هستند.

مفاهیم پایه

مدل Video-LLaMA: معماری Q-former در سطح کلیپ + branch صوتی

مدل Video-LLaMA (سال 2023) نخستین مدل ویدیویی متن‌باز بود. معماری آن:

• کلیپ‌های 16 فریمی با نرخ 2 فریم بر ثانیه (معادل 8 ثانیه).
• ویژگی‌های استخراج‌شده‌ی ViT برای هر فریم -> ماژول Video Q-former با اعمال کراس‌اتنشن روی کل 16 فریم -> 32 کوئری یادگرفتنی -> مدل زبانی.
• branch صوتی موازی: شکل‌موج صدا -> انکودر صوتی ImageBind -> ماژول Audio Q-former -> تعداد 32 کوئری -> مدل زبانی.

نقطه‌ی قوت: استدلال توأم صوتی-تصویری. نقطه‌ی ضعف: طول ثابت کلیپ و ناتوانی در ارجاع به زمان‌های دلخواه.

مدل‌های VideoChat و Video-LLaVA

مدل VideoChat ایده‌ی Video-LLaMA را حفظ کرد ولی با حذف بخش صدا ساده‌تر شد. در Video-LLaVA (لین و همکاران، 2023) یک انکودر بینایی واحد هم‌زمان روی تصاویر و فریم‌های ویدیو آموزش دید («هم‌ترازی پیش از تصویر کردن»)، رویکردی که یک بازنمایی یکپارچه ایجاد کرد. هر دو مدل بر پایه‌ی انکودر ثابت CLIP به همراه لایه‌ی MLP و مدل زبانی هستند.

هیچ‌کدام از پس پردازش ویدیوهای طولانی برنمی‌آیند و هر دو به بازه‌ی 8 تا 16 فریم محدودند.

مدل Qwen2.5-VL و رویکرد M-RoPE با زمان‌بندی هم‌تراز

مدل Qwen2.5-VL مکانیزم M-RoPE (امبدینگ موقعیت دورانی چندوجهی) از مدل Qwen2-VL را حفظ کرده و محور زمانی آن را با زمان مطلق هماهنگ می‌کند. به این ترتیب هر توکنِ پچ یک موقعیت سه‌بعدی به شکل (t, h, w) دارد که در آن t نشان‌دهنده‌ی برچسب زمانی واقعی است (نه ایندکس عددی فریم). بعدها در Qwen2.5-Omni (درس 12.20) نسخه‌ی صوتی و ویدیویی همین ایده TMRoPE نامیده شد؛ یعنی Time-aligned Multimodal RoPE.

تفاوت‌های کلیدی با امبدینگ زمانی ساده:

• زمان مطلق به جای ایندکس فریم. مدل می‌فهمد رویداد «در ثانیه‌ی 4.2» رخ داده، نه این‌که «در فریم شماره‌ی 15» باشد.
• دوران به ازای هر توکن، نه در سطح کلیپ. هر توکن بصری متناسب با برچسب زمانی خاص خود به‌طور مستقل می‌چرخد.
• سازگاری با نرخ فریم پویا. اگر در بخشی از ویدیو با نرخ 2 فریم بر ثانیه و در بخشی دیگر با نرخ 4 فریم بر ثانیه نمونه‌برداری کنید، مکانیزم M-RoPE با زمان‌بندی هم‌تراز فاصله‌های نامنظم را به‌صورت بومی مدیریت می‌کند.

این مکانیزم به مدل امکان می‌دهد به پرسش‌هایی مثل «گربه در چه ثانیه‌ای می‌پرد؟» پاسخ دهد و خروجی‌هایی دقیق مانند «در ثانیه‌ی 4.2» تولید کند؛ درحالی‌که Video-LLaMA فقط می‌توانست بگوید «اوایل کلیپ».

استراتژی‌های نمونه‌برداری فریم

یکنواخت: انتخاب N فریم با فاصله‌های مساوی در طول ویدیو. ساده است، اما لحظات اوج حرکت را از دست می‌دهد.

نرخ فریم پویا: نمونه‌برداری تطبیقی بر اساس شدت حرکت. با استفاده از جریان نوری (optical flow) یا تفاضل‌گیری فریم‌ها، بخش‌های دارای حرکت سریع برای نمونه‌برداری پرتراکم‌تر انتخاب می‌شوند. داده‌های آموزشی Qwen2.5-VL بر همین اساس تنظیم شده‌اند.

مبتنی بر رویداد: اجرای یک آشکارساز سبک و افزایش تعداد فریم‌ها در نقاطی که کنش خاصی رخ می‌دهد. این شیوه در VideoAgent به کار می‌رود.

فریم کلیدی + بافت محیطی: نمونه‌برداری در مرز تغییر نماها (shot boundaries) به همراه چند فریم مجاور. این روش بیشتر برای محتواهای سینمایی کاربرد دارد.

تجمیع در سطح فریم

با نرخ 1 فریم بر ثانیه و 576 توکن به ازای هر فریم، یک ویدیوی 5 دقیقه‌ای 172,800 توکن مصرف می‌کند. این حجم از ظرفیت زمینه‌ی 128 هزار توکنی Qwen2.5-VL-72B بیشتر است؛ بنابراین باید نرخ فریم را کاهش دهید یا توکن‌های هر فریم را پیش از پردازش تجمیع کنید.

تجمیع با درون‌یابی دولایه‌ای با نسبت 3x3 تعداد توکن‌های هر فریم را به 64 عدد کاهش می‌دهد که برای 5 دقیقه ویدیو معادل 19,200 توکن می‌شود. این مقدار، نقطه‌ی بهینه‌ای برای اغلب وظایف به شمار می‌رود.

در جریان‌های کاری بر پایه‌ی ایجنت که جزئیات مکانی اهمیت کمتری دارند، می‌توانید از تجمیع شدیدتر (نسبت 6x6 و کاهش به 16 توکن در فریم) استفاده کنید.

چهار بنچمارک استاندارد ویدیویی

• بنچمارک VideoMME: ارزیابی جامع درک ویدیو در بازه‌های زمانی کوتاه، متوسط و بلند.
• بنچمارک TempCompass: سنجش استدلال دقیق زمانی و پرسش‌های مبتنی بر «قبل» و «بعد».
• بنچمارک EgoSchema: تحلیل ویدیوهای اول‌شخص با افق زمانی طولانی.
• بنچمارک Video-MMMU: پرسش‌های چندوجهی و چندرشته‌ای از محتوای ویدیو.

ارزیابی کامل یک مدل VLM ویدیویی هر چهار معیار را در بر می‌گیرد؛ زیرا هر کدام بعد متفاوتی را می‌سنجند: TempCompass کاملاً روی ترتیب رخدادها متمرکز است، EgoSchema استدلال‌های طولانی‌تر از 3 دقیقه را بررسی می‌کند و VideoMME بازه‌های زمانی متفاوتی را پوشش می‌دهد.

ساختارهای خروجی ارجاع زمانی

خروجی‌های ارجاع زمانی در چند قالب ارائه می‌شوند:

• متن آزاد: «گربه حدود ثانیه‌ی 4 می‌پرد.» تحلیل این ساختار ساده ولی دقت آن پایین است.
• ساختاریافته در قالب JSON: مقدار {"event": "jump", "start": 4.1, "end": 4.3}. مدل Qwen2.5-VL برای این قالب آموزش دیده است.
• مبتنی بر توکن: استفاده از توکن‌های ویژه‌ای مثل <time>4.1</time> که لابه‌لای پاسخ درج می‌شوند. برخی مدل‌های ویدیویی از این روش استفاده می‌کنند؛ اما Qwen2.5-VL زمان را مستقیماً در شناسه‌های موقعیت M-RoPE لحاظ می‌کند و پاسخ را در قالب متن یا JSON تحویل می‌دهد.

روش مبتنی بر توکن بالاترین دقت را برای استفاده در مراحل بعدی فراهم می‌کند. قالب خروجی JSON در Qwen2.5-VL نیز به‌سادگی و مستقیماً پارس می‌شود.

بهترین روش‌های عملیاتی در سال 2026

برای VLMهای ویدیویی در سال 2026:

• انکودر: SigLIP 2 یا مدلی از خانواده‌ی ViT با رزولوشن بومی، همراه با M-RoPE با زمان‌بندی هم‌تراز در مدل زبانی (مشابه Qwen2.5-VL).
• نمونه‌برداری فریم: نرخ فریم پویا (بین 1 تا 4 فریم بر ثانیه بسته به شدت حرکت) با تعیین سقف برای تعداد فریم‌ها.
• تجمیع فریم: درون‌یابی دولایه‌ای با نسبت 3x3.
• قالب خروجی: JSON ساختاریافته با فیلدهای مشخص زمان و رویداد.
• بنچمارک‌ها: ترکیب VideoMME و TempCompass برای وظایف عمومی، و EgoSchema برای محتواهای بلندمدت.

استفاده در عمل

فایل code/main.py شامل بخش‌های زیر است:

• نمونه‌گیرهای فریم به دو روش یکنواخت و با نرخ فریم پویا.
• ماژول آزمایشی سنجش ارجاع زمانی: با دریافت یک رویداد از داده‌ی واقعی در زمان T و مقایسه‌ی آن با خروجی مدل، میزان دقت را با در نظر گرفتن بازه‌ی خطا می‌سنجد.
• مقایسه‌ی بین معماری‌های Video-LLaMA (تعداد 16 فریم با Q-former)، مدل Video-LLaVA (تعداد 8 فریم با MLP) و Qwen2.5-VL (نرخ فریم پویا همراه با M-RoPE با زمان‌بندی هم‌تراز).

خروجی این درس

خروجی این درس فایل outputs/skill-video-vlm-frame-planner.md است. این مستند بر اساس نوع وظیفه‌ی ویدیویی (پایش تصویری، بازشناسی کنش، ارجاع زمانی یا خلاصه‌سازی)، روش نمونه‌برداری فریم، ضریب تجمیع، قالب خروجی و سطح دقت مورد انتظار را تعیین می‌کند.

تمرین‌ها

1. برای یک ویدیوی 3 دقیقه‌ای آموزش آشپزی، نمونه‌برداری یکنواخت مناسب‌تر است یا نرخ فریم پویا؟ با ارائه‌ی تعداد توکن‌ها از تصمیم خود دفاع کنید.

2. مکانیزم M-RoPE با زمان‌بندی هم‌تراز دقیقاً چه قابلیتی اضافه می‌کند که یک جدول امبدینگ زمانی ساده از ارائه‌ی آن ناتوان است؟

3. یک JSON Schema برای ارجاع زمانی طراحی کنید که مدل VLM بتواند آن را تولید کند. حالت‌های خطا را نیز بگنجانید.

4. بخش 3 از مقاله‌ی Video-LLaVA با عنوان «هم‌ترازی پیش از تصویر کردن» را مطالعه کنید. چرا این روش بهتر از آموزش انکودرهای مجزا برای تصویر و ویدیو است؟

5. با بررسی لیدربورد بنچمارک VideoMME در سال 2026، فاصله‌ی برترین مدل متن‌باز با برترین مدل تجاری چقدر است؟ چه مقدار از این اختلاف به روش کدگذاری زمانی و چه مقدار به ابعاد مدل زبانی پایه برمی‌گردد؟

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• مقاله ژانگ و همکاران — Video-LLaMA (arXiv:2306.02858)
• مقاله لی و همکاران — VideoChat (arXiv:2305.06355)
• مقاله لین و همکاران — Video-LLaVA (arXiv:2311.10122)
• تیم Qwen — مدل Qwen2.5-VL (arXiv:2502.13923)
• مقاله لین و همکاران — VILA-1.5 (arXiv:2312.07533)