پرسش‌وپاسخ اسناد چندوجهی با رویکرد تصویرمحور، جداول و نمودارها

استخراج اطلاعات دقیق از اسناد سازمانی مانند گزارش‌های مالی، مقالات علمی و فرم‌های حاوی جداول پیچیده یا نمودار، همواره چالشی جدی برای سامانه‌های مبتنی بر متن بوده است. در رویکردهای سنتی OCR، ساختار بصری سند شامل چیدمان ستون‌ها، گراف‌ها و روابط فضایی میان اجزا به متنی یک‌دست تبدیل شده و بخش بزرگی از زمینه و معنای داده‌ها مخدوش می‌شود.

در سال‌های اخیر، جریان پرسش‌وپاسخ اسناد به سمت روش‌های تصویرمحور (Vision-First) با تکیه بر تعامل متأخر (Late Interaction) تغییر مسیر داده است. مدل‌هایی مانند ColPali و ColQwen به‌جای خواندن متن جداگانه، هر صفحه از سند را به‌عنوان یک تصویر پردازش کرده و امبدینگ‌های چندبرداری از تکه‌های تصویر می‌سازند تا مقایسه‌ی دانه‌ریز با پرامپت ممکن شود.

در این درس یاد می‌گیرید چگونه پایپ‌لاینی بسازید که اسناد پیچیده را بدون وابستگی صرف به OCR ایندکس کند، حجم بردارهای ذخیره‌شده را بهینه سازد و با استفاده از مدل‌های زبان‌تصویر (VLM)، پاسخ‌هایی همراه با کادرهای ارجاع مستقیم روی صفحات سند تولید کند.

مرزهای پرسش‌وپاسخ اسناد در سال 2026 از الگوی «اول OCR، بعد متن» عبور کرده و به سمت تعامل متأخر تصویرمحور (vision-first late interaction) رفته است. مدل‌های ColPali ،ColQwen2.5 و ColQwen3-omni با هر صفحه‌ی PDF مانند یک تصویر برخورد می‌کنند، آن را با تعامل متأخر چندبرداری به امبدینگ تبدیل کرده و به پرامپت امکان می‌دهند مستقیماً به تکه‌ها (patches) توجه کند. این الگو روی گزارش‌های مالی 10-K، مقاله‌های علمی و یادداشت‌های دست‌نویس با اختلاف چشمگیری روش مبتنی بر OCR را پشت سر می‌گذارد. این پایپ‌لاین را به‌صورت سرتاسری روی 10k صفحه بسازید و مقایسه‌ی شانه‌به‌شانه‌ی آن با روش «اول OCR، بعد متن» را منتشر کنید.

فازهای تمرین‌شده: P4 · P5 · P7 · P11 · P12 · P17
زمان: 30 ساعت

صورت مسئله

سازمان‌ها با حجم عظیمی از فایل‌های PDF روبه‌رو هستند که پایپ‌لاین‌های OCR آن‌ها را به هم می‌ریزند: گزارش‌های اسکن‌شده‌ی 10-K با جدول‌های چرخیده، مقاله‌های علمی پر از فرمول، نمودارهایی که فقط به‌صورت تصویر معنادارند و یادداشت‌های دست‌نویس حاشیه‌ی صفحات. نگاه متنی به این اسناد یعنی از دست دادن نیمی از سیگنال‌ها. راهکار سال 2026، بازیابی چندبرداری با تعامل متأخر روی تصاویر خام صفحات است. مدل ColPali (از شرکت Illuin Tech) این مسیر را آغاز کرد؛ مدل‌های ColQwen2.5-v0.2 و ColQwen3-omni نیز دقت را ارتقا دادند. در بنچ‌مارک ViDoRe v3، بازیابی تصویرمحور با اختلاف محسوسی بالاتر از روش «اول OCR، بعد متن» قرار می‌گیرد — و این فاصله در نمودارها، جدول‌ها و دست‌خط‌ها حتی بیشتر می‌شود.

بهای این برتری، فضای ذخیره‌سازی و تاخیر بیشتر است. یک امبدینگ ColQwen حدود 2048 بردار تکه به ازای هر صفحه دارد، نه یک بردار تک‌پولینگ‌شده با بعد 1024. در نتیجه حجم خام ذخیره‌سازی سرسام‌آور می‌شود. روش DocPruner (محصول 2026) امکان 50% هرس کردن را بدون افت دقت ملموس فراهم می‌کند. شما 10k صفحه را ایندکس می‌کنید، معیار nDCG@5 بنچ‌مارک ViDoRe v3 را می‌سنجید، در کمتر از 2 ثانیه پاسخ ارائه می‌دهید و سیستم را مستقیماً با خط مبنای «اول OCR، بعد متن» مقایسه می‌کنید.

مفاهیم

تعامل متأخر یعنی هر توکن پرامپت در برابر تک‌تک توکن‌های تکه‌ها امتیازدهی می‌شود و بیشترین امتیازِ هر توکن پرامپت جمع می‌گردد. به این ترتیب بدون نیاز به یک بردار واحد تجمیع‌شده، به تطبیق دقیق و دانه‌ریز می‌رسید. یک ایندکس چندبرداری (مثل Vespa، قابلیت چندبرداری Qdrant یا AstraDB) امبدینگ‌های هر تکه را ذخیره می‌کند و در زمان بازیابی، عملیات بیشینه‌ی شباهت (MaxSim) را اجرا می‌کند.

بخش پاسخ‌دهنده، یک مدل زبان‌تصویر (VLM) است که پرامپت و k صفحه‌ی برتر بازیابی‌شده را در قالب تصویر دریافت می‌کند و پاسخی همراه با نواحی شواهد (کادرهای محدودکننده یا ارجاع به صفحه) می‌نویسد. مدل‌های Qwen3-VL-30B ،Gemini 2.5 Pro و InternVL3 انتخاب‌های پیشروی سال 2026 هستند. برای فرمول‌ها و نمادهای علمی، یک طرح پشتیبان OCR (مثل Nougat یا dots.ocr) به‌عنوان کانال متنی اختیاری در کنار تصویر ادغام می‌شود.

ارزیابی در قالب یک ماتریس دوبعدی انجام می‌شود. یک محور: نوع محتوا (پاراگراف‌های متنی ساده، جدول‌های متراکم، نمودارهای میله‌ای/خطی، یادداشت‌های دست‌نویس، فرمول‌ها). محور دیگر: روش بازیابی (تعامل متأخر تصویرمحور در برابر «اول OCR، بعد متن» در برابر روش ترکیبی). هر خانه از جدول شامل nDCG@5 و دقت پاسخ است. خروجی اصلی کار، گزارش تحلیلی حاصل از همین ماتریس خواهد بود.

معماری

PDFs -> page renderer (PyMuPDF, 180 DPI)
           |
           v
  ColQwen2.5-v0.2 embed (multi-vector per page, ~2048 patches)
           |
           +------> DocPruner 50% compression
           |
           v
   multi-vector index (Vespa or Qdrant multi-vector)
           |
query ----+----> retrieve top-k pages (MaxSim)
           |
           v
  VLM answerer: Qwen3-VL-30B | Gemini 2.5 Pro | InternVL3
    inputs: query + top-k page images + optional OCR text
           |
           v
  answer with cited page numbers + evidence regions
           |
           v
  Streamlit / Next.js viewer: highlighted boxes on source page

ابزارها و فناوری‌ها

• رندر کردن صفحات: PyMuPDF (fitz) با کیفیت 180 DPI، استانداردشده به‌صورت عمودی
• مدل تعامل متأخر: ColQwen2.5-v0.2 یا ColQwen3-omni (تیم vidore در Hugging Face)
• ایندکس: Vespa با فیلد چندبرداری، قابلیت چندبرداری Qdrant، یا AstraDB با پشتیبانی از MaxSim
• هرس کردن: استراتژی DocPruner 2026 (حفظ تکه‌های با واریانس بالا، نسبت فشرده‌سازی 50% با کمتر از 0.5% افت دقت)
• طرح پشتیبان OCR (فرمول‌ها / جدول‌های متراکم): dots.ocr یا Nougat
• مدل VLM پاسخ‌دهنده: مدل Qwen3-VL-30B به‌صورت خودمیزبان یا Gemini 2.5 Pro میزبانی‌شده؛ InternVL3 به‌عنوان طرح پشتیبان
• ارزیابی: بنچ‌مارک ViDoRe v3، و M3DocVQA برای استدلال چندصفحه‌ای
• رابط کاربری نمایش سند: Next.js 15 با لایه‌ی رویی بوم (canvas overlay) برای نمایش نواحی شواهد

پیاده‌سازی از صفر

1. دریافت داده (Ingest): مجموعه‌ای از 10k صفحه‌ی PDF شامل گزارش‌های مالی 10-K، مقالات علمی و اسناد اسکن‌شده را پیمایش کنید. هر صفحه را با ابعاد 1536x2048 به‌صورت فایل PNG رندر بگیرید. داده‌های {doc_id, page_num, image_path} را ذخیره کنید.

2. تولید امبدینگ (Embed): مدل ColQwen2.5-v0.2 را روی تصویر هر صفحه اجرا کنید. خروجی حدود 2048 امبدینگ تکه با بعد 128 خواهد بود. الگوریتم DocPruner را اعمال کنید تا نیمی از تکه‌ها با بیشترین سیگنال حفظ شوند. خروجی را در فیلد چندبرداری Vespa یا بخش چندبرداری Qdrant بنویسید.

3. پرس‌وجو (Query): برای هر پرامپت ورودی، امبدینگ را از طریق بخش پرامپت مدل (امبدینگ‌ها در سطح توکن) بسازید. الگوریتم MaxSim را روی ایندکس اجرا کنید: برای هر توکنِ پرامپت، بیشترین ضرب داخلی روی امبدینگ‌های تکه‌های صفحه را بیابید و آن‌ها را جمع بزنید. سپس k صفحه‌ی برتر را برگردانید.

4. ترکیب و تولید پاسخ (Synthesize): مدل Qwen3-VL-30B را با پرامپت و تصاویر 5 صفحه‌ی برتر فراخوانی کنید. پرامپت: «فقط با استفاده از صفحات ارائه‌شده پاسخ دهید. هر ادعا را با (doc_id, page) مستند کنید و نام ناحیه (شکل، جدول، پاراگراف) را بیاورید.»

5. نواحی شواهد (Evidence regions): پاسخ مدل را پس‌پردازش کنید تا نواحی ارجاع‌شده استخراج شوند. اگر مدل VLM کادر محدودکننده خروجی می‌دهد (مدل Qwen3-VL این قابلیت را دارد)، آن‌ها را به‌صورت لایه‌ی رویی در نمایشگر سند رندر کنید.

6. طرح پشتیبان OCR: برای صفحاتی که فرمول‌های زیادی دارند (تشخیص از طریق هیوریستیک واریانس تصویر)، مدل Nougat یا dots.ocr را اجرا کنید و متن استخراج‌شده را به‌عنوان کانالی مجزا در کنار تصویر بفرستید.

7. ارزیابی (Eval): بنچ‌مارک ViDoRe v3 (معیار nDCG@5 برای بازیابی) و M3DocVQA (دقت پرسش‌وپاسخ چندصفحه‌ای) را اجرا کنید. همین فرایند را با پایپ‌لاین «اول OCR، بعد متن» روی همین داده‌ها و با همان مدل پاسخ‌دهنده نیز انجام دهید. یک ماتریس مقایسه‌ای از نوع محتوا × رویکرد بازیابی تولید کنید.

8. رابط کاربری (UI): کار را با یک پیش‌نمونه در Streamlit شروع کنید؛ سپس نمایشگر نهایی را برای محیط عملیاتی با Next.js 15 بسازید تا لایه‌ی رویی شواهد را صفحه به صفحه نشان دهد.

استفاده از ابزارهای واقعی

$ doc-qa ask "what was the 2024 operating margin change for segment EMEA?"
[retrieve]   top-5 pages in 320ms (ColQwen2.5, MaxSim, Vespa)
[synth]      qwen3-vl-30b, 1.4s, cited (form-10k-2024, p. 88) + (..., p. 92)
answer:
  EMEA operating margin moved from 18.2% to 16.8%, a 140bp decline.
  cited: 10-K-2024.pdf p.88 (Table 4, Segment Operating Margin)
         10-K-2024.pdf p.92 (MD&A, Operating Performance)
[viewer]     open with highlighted bounding boxes overlaid on p.88 Table 4

خروجی نهایی

فایل outputs/skill-doc-qa.md خروجی قابل‌تحویل را تشریح می‌کند: یک سیستم چندوجهی پرسش‌وپاسخ اسناد مبتنی بر تعامل متأخر تصویرمحور که روی یک مجموعه‌داده‌ی مشخص تنظیم شده و عملکرد آن در مقایسه با خط مبنای «اول OCR، بعد متن» بر اساس ViDoRe v3 ارزیابی شده است.

تمرین‌ها

1. دو مدل ColQwen2.5-v0.2 و ColQwen3-omni را روی یک مجموعه‌داده‌ی یکسان مقایسه کنید. هر کدام در چه صفحاتی درست و در کجا اشتباه عمل می‌کنند؟ یک برچسب «کلاس محتوا» به ایندکس اضافه کنید تا اسناد بر اساس نوع‌شان مسیریابی شوند.

2. امبدینگ‌ها را با شدت بالا (75%، 90%) هرس کنید. نقطه‌ی افت ناگهانی فشرده‌سازی را پیدا کنید؛ یعنی جایی که nDCG@5 در ViDoRe به پایین‌تر از خط مبنای OCR سقوط می‌کند.

3. یک سیستم هیبرید بسازید: پایپ‌لاین «اول OCR، بعد متن» و ColQwen را به‌صورت موازی اجرا کنید، نتایج را با رتبه‌بندی فیوژن متقابل (RRF) ادغام کرده و با یک کراس‌ان‌کودر بازرتبه‌بندی کنید. آیا سیستم هیبرید از اجرای مستقل هر کدام بهتر است؟ بیشترین مزیت آن در کجاست؟

4. مدل Qwen3-VL-30B را با یک VLM سبک‌تر مثل Qwen2.5-VL-7B جایگزین کنید. نمودار دقت به‌ازای هزینه را بسنجید.

5. پشتیبانی از یادداشت‌های دست‌نویس را اضافه کنید. اسناد دست‌نویس را رندر کنید، با ColQwen امبدینگ بگیرید و کیفیت بازیابی را اندازه بزنید. خروجی را با پایپ‌لاین مخصوص OCR دست‌خط مقایسه کنید.

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• مخزن ColPali (شرکت Illuin Tech) — مرجع اصلی بازیابی اسناد با تعامل متأخر
• مقاله‌ی ColPali (arXiv:2407.01449) — مقاله‌ی پایه‌ای روش
• خانواده‌ی ColQwen در Hugging Face — چک‌پوینت‌های آماده برای محیط عملیاتی
• مقاله‌ی M3DocRAG (شرکت Adobe) — خط مبنای متدهای RAG چندصفحه‌ای و چندوجهی
• آموزش فیلدهای چندبرداری Vespa — استک مرجع سرویس‌دهی
• پشتیبانی چندبرداری در Qdrant — ایندکس جایگزین
• پایگاه داده‌ی چندبرداری AstraDB — ایندکس مدیریت‌شده‌ی جایگزین
• ابزار Nougat OCR — طرح پشتیبان OCR با قابلیت استخراج فرمول‌ها