درک اسناد و نمودارها با مدل‌های زبانی‌بصری (VLM)

درک اسناد متنی مانند فاکتورها، فرم‌های اداری و مقالات علمی یکی از پرچالش‌ترین مسائل پردازش تصویر و متن است. در گذشته استخراج داده از اسناد نیازمند اتصال زنجیره‌ای از ابزارهای شکننده مانند Tesseract، تحلیل‌گرهای هندسی و قوانین سخت بود؛ اما امروزه مدل‌های چندوجهی و بدون نیاز به OCR معادلات را تغییر داده‌اند.

در این درس سیر تحول پردازش سند را در سه دوره بررسی می‌کنیم: دوره‌ی پایپ‌لاین‌های سنتی OCR، مدل‌های تخصصی بدون OCR مثل Donut و Nougat، و در نهایت ورود مدل‌های پیشرفته‌ی زبانی‌بصری بومی (VLM-native) که اسناد را با دقت بالا به خروجی‌های ساختاریافته و نشانه‌گذاری‌هایی نظیر JSON یا LaTeX تبدیل می‌کنند.

اگر برای پردازش اسناد به استفاده از مدل‌های خارجی ابری متکی هستید، محدودیت‌های پرداخت ارزی یا مسدود بودن دسترسی از IPهای ایران چالش‌برانگیز است؛ هرچند مدل‌های متن‌باز سبک‌تر مانند PaliGemma 2 یا خانواده Qwen2.5-VL امکان اجرای محلی را روی سخت‌افزارهای استاندارد فراهم کرده‌اند.

سندها عکس معمولی نیستند. یک فایل PDF، مقاله‌ی علمی، فاکتور یا فرم دست‌نویس دارای چیدمان، جدول، نمودار، پاورقی، سربرگ و ساختار معنایی مشخصی است که مدل‌های ساده‌ی درک تصویر نمی‌توانند آن را ثبت کنند. پیش از ظهور مدل‌های زبانی‌بصری (VLM)، راه‌حل‌ها به صورت پایپ‌لاین پیاده می‌شدند: موتور OCR با نام Tesseract به‌علاوه‌ی LayoutLMv3 و مجموعه‌ای از قواعد تجربی برای استخراج جدول‌ها. موج مدل‌های VLM این زنجیره را با مدل‌های بدون نیاز به OCR (یا OCR-free) مثل Donut (سال 2022)، Nougat (سال 2023) و DocLLM (سال 2023) جایگزین کرد؛ مدل‌هایی که مستقیماً نشانه‌گذاری ساختاریافته تحویل می‌دهند. در سال 2026، پیشرفته‌ترین راهکار صرفاً «دادن تصویر صفحه با وضوح ذاتی 2576 پیکسل به Claude Opus 4.7» است و خروجی نشانه‌گذاری ساختاریافته بدون هیچ دردسری به‌دست می‌آید. در این درس، مسیر تحول هوش مصنوعی اسناد را در سه دوره بررسی می‌کنیم.

اهداف یادگیری

• توضیح سه دوره‌ی هوش مصنوعی اسناد: پایپ‌لاین OCR، بدون OCR (یا OCR-free) و مبتنی بر VLM بومی (VLM-native).
• توصیف سه جریان ورودی LayoutLMv3: متن، چیدمان (کادر احاطه‌کننده یا bbox) و پچ‌های تصویر همراه با پوشش‌دهی (masking) یکپارچه.
• مقایسه‌ی مدل‌های Donut (مدل OCR-free، تبدیل تصویر به نشانه‌گذاری)، Nougat (تبدیل مقاله‌ی علمی به LaTeX)، DocLLM (مدل مولد آگاه به چیدمان) و PaliGemma 2 (مدل VLM بومی).
• انتخاب مدل مناسب اسناد برای یک وظیفه‌ی جدید (فاکتورها، مقاله‌های علمی، فرم‌های دست‌نویس و رسیدهای چینی).

صورت مسئله

«درک کردن این PDF» در ظاهر ساده ولی در عمل بسیار دشوار است. اطلاعات سند در بخش‌های مختلفی پراکنده است:

• محتوای متنی (90% از کل سیگنال).
• چیدمان (سربرگ‌ها، پاورقی‌ها، ستون‌های کناری و قالب دو ستونی).
• جدول‌ها (سطرها، ستون‌ها و سلول‌های mergeشده).
• شکل‌ها و نمودارها.
• حاشیه‌نویسی‌های دست‌نویس.
• فونت‌ها و تایپوگرافی (تفاوت تیتر با متن اصلی).

موتورهای OCR خام فقط متن را بیرون می‌ریزند و بقیه‌ی اطلاعات را از دست می‌دهند. سیستمی که با فاکتورها سر و کار دارد، باید بداند عبارت «Total: $1,245» از گوشه‌ی پایین سمت راست آمده، نه از دل یک پاورقی.

مبانی نظری

دوره‌ی 1 — پایپ‌لاین OCR (پیش از سال 2021)

ترکیب سنتی و کلاسیک:

1. تبدیل PDF به تصویر به ازای هر صفحه.
2. استخراج متن با Tesseract (یا سرویس‌های تجاری OCR) به همراه کادر احاطه‌کننده برای تک‌تک کلمات.
3. تحلیل‌گر چیدمان (Layout analyzer) بلوک‌ها را شناسایی می‌کند (سربرگ، جدول، پاراگراف).
4. شناسایی ساختار جدول و پارس کردن آن.
5. اعمال قواعد دامنه و Regex برای استخراج فیلدها.

این روش برای متن‌های چاپی و تمیز خوب کار می‌کند؛ اما روی خط دست‌نویس، اسکن‌های کج‌شده، جدول‌های پیچیده و خط‌های غیرانگلیسی با شکست مواجه می‌شود. برای هر حالت شکست هم باید یک مسیر مدیریت خطای اختصاصی تعریف کرد.

مدل TrOCR (سال 2021)

مدل TrOCR (مقاله Li و همکاران، arXiv:2109.10282) ساختار کلاسیک CNN-CTC در Tesseract را با یک ترنسفورمر انکودر-دیکودر (Encoder-Decoder) جایگزین کرد که روی ترکیب تصاویر متنی ساختگی و واقعی آموزش دیده بود. این مدل روی خطوط دست‌نویس و متن‌های چندزبانه برتری قاطعی داشت. هرچند فرآیند کماکان به صورت پایپ‌لاین پیش می‌رفت (دتکتور، سپس TrOCR و در نهایت تحلیل چیدمان)، اما مرحله‌ی OCR جهش کیفی فوق‌العاده‌ای را تجربه کرد.

دوره‌ی 2 — بدون نیاز به OCR یا OCR-free (سال 2022 تا 2023)

اولین مدل‌های OCR-free تصمیم جدیدی گرفتند: حذف کامل مرحله‌ی شناسایی (Detection) و نگاشت مستقیم پیکسل‌های تصویر به خروجی‌های ساختاریافته.

مدل Donut (مقاله Kim و همکاران، arXiv:2111.15664):

• یک ترنسفورمر انکودر-دیکودر، با انکودر Swin-B.
• ارائه‌ی خروجی JSON برای درک فرم‌ها، Markdown برای خلاصه‌سازی، یا هر اسکیمای متناسب با وظیفه.
• بدون نیاز به OCR، بدون تحلیل چیدمان و بدون دتکشن.

مدل Nougat (مقاله Blecher و همکاران، arXiv:2308.13418):

• آموزش‌دیده به‌طور خاص روی مقالات علمی.
• خروجی به شکل کد LaTeX یا Markdown.
• پردازش دقیق معادله‌ها، چیدمان چندستونی و شکل‌ها.
• مدلی که تمام ابزارهای پارس مقالات arXiv از آن استفاده می‌کنند.

این‌ها مدل‌های متخصصی هستند، نه همه‌منظوره. Donut روی مقاله‌ی علمی شکست می‌خورد؛ Nougat هم روی فاکتور مالی کاری از پیش نمی‌برد.

مدل LayoutLMv3 (سال 2022)

رویکردی کاملاً متفاوت. مدل LayoutLMv3 (مقاله Huang و همکاران، arXiv:2204.08387) لایه‌ی OCR را نگه می‌دارد اما درک چیدمان را به آن اضافه می‌کند:

• سه جریان ورودی هم‌زمان: توکن‌های متنی حاصل از OCR، مختصات دوبعدی کادرهای احاطه‌کننده به ازای هر توکن، و پچ‌های تصویر سند.
• هدف آموزشی پوشش‌دار (Masked) برای هر سه مدالیته (متن ماسک‌شده، پچ‌های تصویر ماسک‌شده و کادرهای ماسک‌شده).
• وظایف پایین‌دستی (Downstream): دسته‌بندی اسناد، استخراج موجودیت‌ها و پرسش‌وپاسخ مبتنی بر جدول.

مدل LayoutLMv3 نقطه‌ی اوج درک سند (Document Understanding) با تکیه بر OCR است. روی فرم‌ها و فاکتورها عملکرد بی‌نظیری دارد؛ اما در ورودی حتماً به OCR بالادستی نیاز دارد. پیش از ظهور VLMها، بهترین دقت را در بنچمارک‌های استاندارد اسناد ثبت کرد.

مدل DocLLM (سال 2023)

مدل DocLLM (مقاله Wang و همکاران، arXiv:2401.00908، ثبت‌شده در 31 دسامبر 2023 که به همین دلیل شناسه آن پیشوند ژانویه 2024 دارد) همتای مولدِ LayoutLM است. این مدل پاسخ‌های متنی آزاد را با شرطی‌سازی روی توکن‌های چیدمان تولید می‌کند. برای پرسش‌وپاسخ روی اسناد گزینه‌ی بهتری است؛ ولی همچنان به متن ورودی حاصل از OCR وابسته است.

دوره‌ی 3 — مدل‌های بومی VLM یا VLM-native (از سال 2024 به بعد)

در سال 2024 مدل‌های VLM به قدری قدرتمند شدند که کل پایپ‌لاین قبلی را کنار زدند. کافی است تصویر تمام‌صفحه را با وضوح بالا به یک VLM بدهید، سوال خود را بپرسید و جواب را تحویل بگیرید.

• مدل LLaVA-NeXT با کاشی‌کاری (Tiling) 336 پیکسلی AnyRes برای اسناد کوچک عالی عمل می‌کند.
• مدل Qwen2.5-VL با وضوح متغیر (Dynamic-resolution)، تصاویری با وضوح بالاتر از 2048 پیکسل را به صورت بومی پردازش می‌کند.
• مدل Claude Opus 4.7 از اسنادی با وضوح 2576 پیکسل پشتیبانی می‌کند.
• مدل PaliGemma 2 (دسامبر 2024) به‌طور اختصاصی روی اسناد و متون دست‌نویس آموزش دیده است.

فاصله‌ی بین مدل‌های VLM بومی و پایپ‌لاین‌های OCR به سرعت پر شد. در سال 2026، مدل‌های VLM بومی در بخش‌های زیر پیروز میدان هستند:

• متن‌های محیطی و تعبیه‌شده در صحنه (ترکیب دست‌نویس و چاپی، خط‌های چندزبانه).
• جدول‌های پیچیده با سلول‌های mergeشده.
• معادله‌های ریاضی جاسازی‌شده در دل متن.
• شکل‌ها و نمودارهایی که یادداشت‌های متنی دارند.

پایپ‌لاین‌های OCR سنتی هنوز در این بخش‌ها برتری دارند:

• پردازش اسناد اسکن‌شده در مقیاس‌های کلان، جایی که تاخیر (Latency) به ازای هر صفحه اهمیت حیاتی دارد.
• قابلیت اعتماد پایپ‌لاین (خطاهای قطعی و قابل پیش‌بینی در برابر توهم‌های مدل‌های VLM).
• محیط‌های تحت رگولاتوری سخت‌گیرانه که خروجی‌های OCR قابل ممیزی و حسابرسی طلب می‌کنند.

مرزهای فناوری با Claude 4.7 و GPT-5

با توانایی پذیرش مستقیم وضوح 2576 پیکسل در ورودی، پیشرفته‌ترین VLMها اسناد را با دقتی نزدیک به انسان درک می‌کنند. نتایج بنچمارک‌ها در اوایل سال 2026 این وضعیت را به تصویر می‌کشد:

• بنچمارک DocVQA: امتیاز Claude 4.7 حدود 95.1، مدل PaliGemma 2 حدود 88.4، مدل Nougat حدود 77.3 و پایپ‌لاین LayoutLMv3 حدود 83.
• بنچمارک ChartQA: امتیاز Claude 4.7 حدود 92.2 و GPT-4V حدود 78.
• بنچمارک VisualMRC: امتیاز Claude 4.7 حدود 94.

برتری مدل‌های بسته و تجاری عمدتاً ناشی از پذیرش وضوح بالاتر و مقیاس عظیم مدل زبانی پایه‌ی آن‌هاست. مدل‌های متن‌باز در ابعاد 7B چند امتیازی عقب‌تر هستند اما با سرعت بالایی فاصله‌شان را کم می‌کنند.

معادله‌های ریاضی و خروجی LaTeX

مقاله‌های علمی برای فرمول‌ها و معادله‌ها نیازمند خروجی دقیق LaTeX هستند. مدل Nougat دقیقاً روی همین مسئله آموزش دیده است. مدل‌های VLM که با اهداف خروجی LaTeX آموزش دیده‌اند (مانند Qwen2.5-VL-Math و مشتقات Nougat)، خروجی LaTeX قابل استفاده‌ای تولید می‌کنند. اما بدون آموزش صریح روی LaTeX، خروجی VLMها شاید خوانا باشد، ولی رونویسی ناامنی ارائه می‌دهد.

برای پایپ‌لاین‌های مقاله‌های علمی در سال 2026: ابتدا PDF را با Nougat پردازش کنید و سپس برای صفحات چالش‌برانگیز به سراغ یک VLM بروید.

خط دست‌نویس

هنوز هم سخت‌ترین وظیفه‌ی فرعی به شمار می‌رود. در متن‌های ترکیبی چاپی و دست‌نویس (نسخه‌های پزشکان، فرم‌های پرشده)، پایپ‌لاین‌های OCR از نظر هزینه همچنان VLMها را شکست می‌دهند. البته مدل‌های VLM مختص متون دست‌نویس (مثل Claude 4.7 و PaliGemma 2) مدام در حال پیشرفت هستند.

فرمول پیشنهادی برای سال 2026

برای شروع یک پروژه‌ی جدید هوش مصنوعی اسناد:

• فاکتورهای چاپی استاندارد در مقیاس بالا: مدل LayoutLMv3 به همراه قوانین؛ بسیار مقرون‌به‌صرفه.
• اسناد ترکیبی و متنوع (علمی، دست‌نویس و فرم‌ها): استفاده از VLMهای بومی (PaliGemma 2 یا Qwen2.5-VL).
• بلعیدن و هضم کامل مقالات arXiv: مدل Nougat برای فرمول‌ها، و VLM برای شکل‌ها و نمودارها.
• محیط‌های تحت رگولاتوری: پایپ‌لاین OCR به عنوان مسیر اصلی، همراه با یک VLM به عنوان اعتبارسنج برای بررسی متقابل.

پیاده‌سازی کاربردی

فایل code/main.py:

• یک توکنایزر آزمایشی آگاه به چیدمان: جفت‌های (text, bbox) را دریافت کرده و ورودی مشابه ساختار LayoutLMv3 می‌سازد.
• یک مولد اسکیمای وظیفه به سبک Donut: تولید قالب JSON برای درک فرم‌ها.
• مقایسه‌ی بودجه‌ی توکن به ازای هر صفحه در میان پایپ‌لاین OCR، مدل‌های Donut، Nougat و VLM بومی.

اجرای عملی

خروجی این درس فایل outputs/skill-document-ai-stack-picker.md است. این راهنما با دریافت مشخصات پروژه هوش مصنوعی اسناد (حوزه، مقیاس، کیفیت مدنظر و الزامات قانونی)، بهترین انتخاب را میان پایپ‌لاین OCR، مدل متخصص OCR-free و VLM بومی انجام می‌دهد.

تمرین‌ها

1. پروژه‌ی شما پردازش روزانه‌ی 10 میلیون فاکتور است. کدام معماری بدون از دست دادن دقت، هزینه به ازای هر صفحه را به حداقل می‌رساند؟

2. چرا LayoutLMv3 در پرسش‌وپاسخ روی فرم‌ها از VLMهای مبتنی بر CLIP بهتر عمل می‌کند اما در درک متن‌های صحنه (Scene-text) ضعیف‌تر ظاهر می‌شود؟ جریان ورودی کادر احاطه‌کننده (bbox) چه چیزی را فدا می‌کند؟

3. مدل Nougat خروجی LaTeX تولید می‌کند. یک حالت آزمون پیشنهاد دهید که در آن خروجی VLM بومی از نظر وفاداری به کدهای LaTeX بر Nougat غلبه کند، و یک حالت دیگر که Nougat در آن پیروز شود.

4. مقاله‌ی PaliGemma 2 (گوگل، 2024) را بخوانید. چه افزوده‌ی کلیدی در داده‌های آموزشی، دقت درک اسناد را نسبت به PaliGemma 1 ارتقا داد؟

5. یک معماری ترکیبی و ایمن برای محیط‌های رگولاتوری طراحی کنید: پایپ‌لاین OCR به عنوان مسیر اولیه و VLM به عنوان اعتبارسنج ثانویه و متقابل. در صورت عدم تطابق این دو، اختلاف را چگونه حل می‌کنید؟

اصطلاحات کلیدی

مطالعه‌ی بیشتر

• Li et al. — TrOCR (arXiv:2109.10282)
• Blecher et al. — Nougat (arXiv:2308.13418)
• Huang et al. — LayoutLMv3 (arXiv:2204.08387)
• Kim et al. — Donut (arXiv:2111.15664)
• Wang et al. — DocLLM (arXiv:2401.00908)