در سیستم‌های متداول RAG همه‌چیز به متن خلاصه میشود؛ اما در کاربردهای واقعی، پرسش‌ها و شواهد از جنس‌های مختلفی هستند. تصور کنید کاربری برای انتخاب رستوران علاوه بر جستجوی متنی، به نور محیط در عکس‌ها یا میزان سر و صدای ضبط‌شده در فایل‌های صوتی نیاز داشته باشد. سیستم‌های تک‌حالته توانایی ترکیب این سیگنال‌ها را ندارند و مهندسان برای ساخت محصولاتی مانند دستیار رزرو سفر، تریاژ پزشکی یا پلتفرم‌های تجارت الکترونیک، نیازمند معماری RAG چندحالته (Multimodal RAG) هستند.
در این درس با تکیه بر دسته‌بندی‌های ارائه‌شده در سه مقاله‌ی مرجع سال 2025، یاد می‌گیرید چطور چندین موتور بازیابی مستقل (متن، تصویر و صوت) را در کنار هم بچینید، امتیازهای بازیابی آن‌ها را ادغام کنید و خروجی نهایی مدل مولد را با ارجاع دقیق به منابع تصویری یا صوتی اعتبارسنجی نمایید.
سیستم‌های RAG متکی بر بینایی اسناد (Vision-native document RAG) فقط یک تکه از پازل هستند. RAG چندحالته (Multimodal RAG) در محیط‌های عملیاتی دامنه‌ی بسیار گسترده‌تری دارد؛ یعنی بازیابی هم‌زمان میان متن، تصویر، صوت و ویدیو برای جریان‌های کاری متنوعی مثل برنامه‌ریزی سفر («برام یه برانچ وگانِ ساکت با نور طبیعی پیدا کن»)، تریاژ پزشکی («این عکس به همراه این یادداشت‌ها با چه جراحتی همخوانی داره»)، تجارت الکترونیک («لباس‌هایی شبیه به این سلفی، در سایز من») و خدمات میدانی («عیب‌یابی صدای این موتور به همراه عکس قطعه»). سه مقاله‌ی مروری در سال 2025 — ابوترابی و همکاران، مِی و همکاران، و ژائو و همکاران — زیرمسئله‌های این حوزه را تدوین کردند: بازیابی بینحالتی (Cross-modal retrieval)، ادغام بازیابی (Retrieval fusion)، استناد در تولید (Generation grounding) و ارزیابی چندحالته. در این درس با بررسی این مقاله‌ها، یک پایپ‌لاین عملیاتی طراحی می‌کنیم.
اهداف یادگیری
- طراحی بازیابی بینحالتی: متن به تصویر، تصویر به متن، صوت به ویدیو و موارد دیگر.
- مقایسه‌ی سه استراتژی ادغام: ادغام امتیاز (Score fusion)، ادغام بر پایه‌ی اتنشن (Attention-based fusion)، و ادغام به روش MoE (کوتاه‌نوشت Mixture of Experts).
- توضیح استناد در تولید: وقتی منابع ترکیبی از حالت‌های مختلف هستند، ارجاع به منابع چه شکلی به خود می‌گیرد.
- نام بردن سه مقاله‌ی مروری مرجع در سال 2025 درباره‌ی RAG چندحالته و طبقه‌بندی زیرمسئله‌های آن‌ها.
صورت‌مسئله
سیستم‌های RAG تک‌حالته الگویی کاملاً جاافتاده و حل‌شده دارند: امبد کردن پرسش، امبد کردن تکه‌ها، بازیابی و تزریق آن‌ها به LLM. اما RAG چندحالته به پیش‌نیازهای زیر وابسته است:
- چند سر بازیابی (هر حالت به امبدینگ‌هایی در فضایی سازگار نیاز دارد).
- ادغام نتایج بازیابی در میان حالت‌های گوناگون.
- استناد در تولید که بتواند به منابعی از جنس حالت‌های مختلف ارجاع دهد.
- معیارهای ارزیابی که سیگنال‌های بینحالتی را پوشش دهند.
مقاله‌های مروری سال 2025 همگی به همین دسته‌بندی مشترک رسیده‌اند.
مفاهیم کلیدی
بازیابی بینحالتی
بازیابی اسنادی از حالت B بر اساس پرسشی از حالت A. این کار با سه الگو پیاده‌سازی میشود:
-
فضای امبدینگ مشترک. مدلهای CLIP و CLAP امبدینگ‌های متن + تصویر یا متن + صوت را در فضایی مشترک می‌سازند. شباهت کسینوسی (Cosine similarity) میان حالت‌ها مستقیماً کار میکند؛ البته فقط محدود به جفت‌هایی است که CLIP روی آن‌ها آموزش دیده باشد.
-
انکودر مجزا برای هر حالت + ترجمه. یک انکودر متن + یک انکودر تصویر + یک ماژول مترجم کوچک که بین این فضاها نگاشت انجام می‌دهد؛ مثل Sen2Sen اثر گوپتا و همکاران و معماری‌های دیگر در سال 2024. این رویکرد منعطف است اما پیچیدگی سیستم را بالا می‌برد.
-
مدل VLM به عنوان انکودر. استفاده از وضعیتهای پنهان (Hidden states) یک VLM به‌عنوان نمایش برداری بازیابی. هر حالتی که VLM پشتیبانی کند در این روش جواب می‌دهد. کیفیت آن بالاتر است، اما هزینه‌ی محاسباتی بیشتری دارد.
انتخاب عملیاتی: CLIP یا SigLIP 2 برای متن+تصویر؛ CLAP برای متن+صوت؛ وضعیت پنهان VLM برای بازیابی بینحالتی در بالاترین سطح کیفیت ممکن.
استراتژی‌های ادغام
فرض کنید 10 نتیجه بازیابی کرده‌اید: 5 تصویر، 3 بند متنی و 2 کلیپ صوتی. چطور این‌ها را merge می‌کنید؟
ادغام امتیاز (کم‌هزینه‌ترین حالت). هر حالت بازیاب اختصاصی خود را دارد و هرکدام امتیازهایی برمی‌گردانند. امتیازها را درون همان حالت نرمال‌سازی و سپس جمع می‌کنید. ساده است و در اغلب مواقع خوب جواب می‌دهد.
ادغام بر پایه‌ی اتنشن. تمام آیتم‌های بازیابی‌شده را پشت سر هم می‌چینید و وزن‌دهی آن‌ها را به یک شبکه‌ی اتنشن کوچک می‌سپارید. این روش نیاز به آموزش دارد.
ادغام به روش MoE. یک شبکه‌ی دروازه‌بان، درخواست‌ها را به متخصصان هر حالت هدایت میکند. انواع مختلف پرسش‌ها مسیر متفاوتی را می‌روند — مثلاً در یک سوال بصری، وزن بسیار بیشتری به تصاویر داده میشود.
پیش‌فرض عملیاتی: ادغام امتیاز با سوگیری اندک به نفع حالت غالب در پرسش. تنها زمانی سراغ MoE بروید که نتایج آزمون‌های A/B برتری واضح آن را در دامنه‌ی کاری شما نشان دهند.
استناد در تولید
مدل باید مشخص کند کدام آیتمِ بازیابی‌شده مبنای هر ادعا بوده است. در حالت چندحالته:
- منبع متنی: ارجاع استاندارد
[1]. - منبع تصویری: ارجاع با توضیح کوتاه
[img 3]. - منبع صوتی: ارجاع با تایم‌استمپ
[audio 2 at 0:34].
برای پیاده‌سازی، مدل تولیدکننده را با داده‌های آگاه به استناد آموزش دهید: به طوری که هر ادعا در خروجیِ هدف، برچسب اندیسِ منبع را خورده باشد. در زمان استنتاج، مدل خودبه‌خود ارجاعات را تولید میکند.
مقاله‌های مروری سال 2025
ابوترابی و همکاران (arXiv:2502.08826، با عنوان «Ask in Any Modality»): تدوین طبقه‌بندی برای RAG چندحالته؛ شامل بازیابی، ادغام و تولید با جامع‌ترین پوشش موضوعی.
مِی و همکاران (arXiv:2504.08748، با عنوان «A Survey of Multimodal RAG»): تمرکز ویژه بر بنچمارک‌های وظایف فرعی و حالت‌های شکست؛ فوق‌العاده کاربردی برای طراحی ارزیابی.
ژائو و همکاران (arXiv:2503.18016): مقاله‌ای با تمرکز بر بینایی ماشین؛ بسیار قوی در بررسی کارهای خانواده‌ی ColPali.
خواندن هر سه مقاله دید دقیقی از لبه‌ی فناوری تا بهار 2025 در اختیارتان می‌گذارد. بیشتر این زیرمسئله‌ها هنوز جزو چالش‌های حل‌نشده‌ی پژوهشی هستند.
مقاله پایه‌ای MuRAG
مدل MuRAG (چن و همکاران، 2022) نخستین سیستم RAG چندحالته بود. این مدل تصویر و متن را از یک پایگاه دانش چندحالته بازیابی و پاسخ نهایی را تولید می‌کرد. MuRAG قبل از موج فراگیر VLMها امکان‌پذیری چنین سیستمی را اثبات کرد. معماری‌های مدرن امروزی مثل REACT ،VisRAG و M3DocRAG همگی بر پایه‌ی همان شکل گرفته‌اند.
نمونه‌ی عملیاتی: برنامه‌ریزی سفر
پرسش کاربر: «برام یه برانچ وگانِ ساکت با نور طبیعی پیدا کن.»
پایپ‌لاین:
- تجزیه‌ی پرسش: «ساکت» ← کلیدواژه‌ی نظرات یا ویژگی صوتی؛ «برانچ وگان» ← آیتم منو؛ «نور طبیعی» ← ویژگی بصری تصویر.
- بازیابی در هر حالت:
- بازیابی متن روی نظرات: «برانچ وگان، فضای ساکت».
- بازیابی تصویر روی عکس‌های رستوران: «نور طبیعی، دلباز».
- بازیابی صوت روی کلیپ‌های صدای محیط: «دسی‌بل پایین، بدون موسیقی».
- ادغام امتیازها: محاسبه‌ی یک امتیاز ترکیبی برای هر رستوران.
- ارسال k رستوران برتر به همراه تمام شواهد به یک VLM مولد ← تولید پاسخ با ارجاع دقیق به منابع.
این سازوکار فرسنگ‌ها جلوتر از RAG متنی ساده است؛ چون هر حالت سیگنالی اضافه میکند که متن به‌تنهایی متوجه آن نمی‌شود.
RAG چندحالته مبتنی بر ایجنت
چندگامی: اگر اولین مرحله‌ی بازیابی نتایج مطمئنی ندهد، LLM پرسش را دوباره بازنویسی و مجدداً بازیابی میکند. الگوهای Agentic RAG فاز 14 عیناً اینجا هم کاربرد دارند؛ برای نمونه:
- بازیابی 10 مورد اول ← LLM تشخیص می‌دهد: «خیلی شلوغه، فیلتر کن روی کمتر از 40 دسی‌بل» ← بازیابی مجدد.
- بازیابی تصاویر ← LLM می‌بیند در یکی از عکس‌ها منو هست ← بازیابی متن آن منو ← پاسخ نهایی.
این کار سیستم را پیچیده‌تر میکند، اما از پس پرسش‌هایی برمی‌آید که با بازیابی تک‌مرحله‌ای به‌هیچ‌وجه حل نمی‌شوند.
ارزیابی
ارزیابی سیستم‌های بینحالتی هنوز به بلوغ نرسیده است. معیارهای تقریبی رایج عبارتند از:
- بازخوانی در K (معیار Recall@K) برای هر حالت.
- دقت موارد برتر (Fused top-k accuracy) پس از ادغام.
- میزان رضایت سرتاسری بر اساس قضاوت انسانی.
- معیارهای مبتنی بر نتیجه‌ی وظیفه (مثل رزروهای تکمیل‌شده یا خریدهای نهایی).
هنوز هیچ بنچمارک استانداردی وجود ندارد که همه‌ی حالت‌ها را پوشش دهد؛ بیشتر مقالات، سیستم را روی تسک‌های دامنه‌محور ارزیابی می‌کنند.
استفاده در عمل
کدهای code/main.py:
- سه بازیاب شبیه‌سازی‌شده (متن، تصویر و صوت) که روی یک مجموعه‌داده‌ی مشترک از رستوران‌ها کار می‌کنند.
- ادغام امتیاز که امتیاز حالت‌ها را با وزن‌های قابل تنظیم ترکیب میکند.
- اسکلت اولیه‌ی مولد که پاسخ نهایی را همراه با ارجاع به منابع تولید میکند.
- یک حلقه‌ی ساده‌ی ایجنتی که در صورت اطمینان پایین، پرسش را مجدداً صورت‌بندی میکند.
تحویل پروژه
خروجی این درس، فایل outputs/skill-multimodal-rag-designer.md خواهد بود. این سند بر اساس مشخصات محصولی که ورودی‌های چندحالته دارد، ساختار بازیاب‌ها، روش ادغام، بخش مولد و سیستم ارزیابی را طراحی میکند.
تمرین‌ها
-
یک سیستم RAG چندحالته برای تریاژ پزشکی طراحی کنید: پرسش = عکس جراحت + شرح‌حال متنی بیمار. چه حالت‌هایی از کدام پایگاه‌های دانش بازیابی می‌شوند؟
-
ادغام امتیاز صرفاً یک جمع وزن‌دار ساده است. چه حالت شکستی در آن وجود دارد که ادغام به روش MoE جلوی آن را می‌گیرد؟
-
بخش 3 از مقاله‌ی ابوترابی و همکاران (دسته‌بندی ارائه‌شده) را بخوانید. سه زیرمسئله‌ی بنیادین کدامند و چطور روی محصول انتخابی شما پیاده می‌شوند؟
-
مشخصات ارزیابی یک سیستم RAG چندحالته برای برنامه‌ریزی سفر را طراحی کنید. چه معیارهایی بازخوانی تصویر، بازخوانی صوت و درستی ترکیبی پاسخ را می‌سنجند؟
-
سیستم‌های ایجنتی چندگامی به ازای هر رفت‌وبرگشت تاخیر پردازشی دارند. در چه سطحی از دشواری پرسش، بهبود دقت به دست آمده این تاخیر را توجیه میکند؟
اصطلاحات کلیدی
| اصطلاح | در گفت‌وگوها چه می‌گویند | معنای دقیق فنی |
|---|---|---|
| بازیابی بینحالتی (Cross-modal retrieval) | «با یه فرمت بپرس، با یه فرمت دیگه پیدا کن» | پرسش متنی، تصویر بازیابی میکند؛ یا پرسش تصویری، متن می‌آورد؛ نیازمند یک فضای مشترک یا ماژول مترجم است |
| ادغام امتیاز (Score fusion) | «امتیازها رو با هم ترکیب کن» | جمع وزن‌دار امتیازهای بازیابی هر حالت؛ ساده‌ترین روش ادغام |
| ادغام MoE (کوتاه‌نوشت MoE fusion) | «متخصص‌های مجزا برای هر حالت» | شبکه‌ی دروازه‌بان که تعیین میکند برای هر پرسش باید به امتیاز کدام حالت اعتماد کرد |
| استناد در تولید (Grounded generation) | «به منابع ارجاع بده» | برچسب‌گذاری هر ادعا در پاسخ نهایی با اندیس منبع مربوط به آن |
| مدل MuRAG | «اولین RAG چندحالته» | مقاله‌ی سال 2022 که برای نخستین بار الگوی RAG چندحالته را پایه‌گذاری کرد |
| چندگامی ایجنتی (Agentic multi-hop) | «بازنویسی کن و دوباره بگرد» | بازنویسی و اجرای مجدد کوئری توسط LLM در صورت پایین بودن اطمینان در مرحله‌ی اول |