مدل‌های صوتی-زبانی: از Whisper تا Audio Flamingo 3

مدت‌ها پردازش گفتار به پیاده‌سازی ساده‌ی متن خلاصه می‌شد. ابزارهایی مثل Whisper بازشناسی خودکار گفتار را در دسترس همه قرار دادند، اما تبدیل صوت به متن راهکاری برای استدلال نیست. وقتی صحبت از درک احساسات گوینده، سبک و سازهای موسیقی، یا صداهای محیطی در میان باشد، متن پیاده‌شده تمام جزئیات آکوستیک را از بین می‌برد.

مدل‌های صوتی-زبانی (Audio-Language Models) با اتصال مستقیم انکودرهای صوت به مدل‌های زبانی بزرگ این شکاف را پر کرده‌اند. شناخت ساختار این سیستم‌ها به توسعه‌دهندگان کمک می‌کند تا هنگام ساخت محصولات مدرن هوش مصنوعی، بین خطوط لوله‌ی ساده‌ی آبشاری و معماری‌های سرتاسری چندوجهی انتخابی دقیق و مهندسی‌شده داشته باشند.

مدل Whisper (رادفورد و همکاران، دسامبر 2022) پرونده‌ی بازشناسی گفتار را بست؛ 680 هزار ساعت گفتار چندزبانه با نظارت ضعیف، یک ترنسفورمر انکودر-دیکودر ساده و بنچمارکی که باعث شد تمام مدل‌های بعدی ASR به آن ارجاع دهند. اما بازشناسی با استدلال یکی نیست. پاسخ به سوالاتی مثل «چه سازهایی در این فایل نواخته می‌شوند؟»، «گوینده چه حسی دارد؟» یا «در دقیقه‌ی 3 چه اتفاقی افتاد؟» به درک صوتی نیاز دارد، نه صرفاً پیاده‌سازی متن (transcription). مدل‌های Qwen-Audio، SALMONN، LTU و Audio Flamingo 3 از شرکت انویدیا (AF3، جولای 2025) این استک را گام‌به‌گام ساختند: حفظ انکودرهای هم‌رده‌ی Whisper، افزودن Q-formerها، آموزش روی داده‌های دستورالعمل صوتی-متنی و اضافه کردن استدلال زنجیره‌ی تفکر (chain-of-thought). این درس همین مسیر تکامل را بررسی می‌کند.

اهداف یادگیری

• محاسبه‌ی طیف‌نگار لاگ-مل از روی یک شکل‌موج: پنجره‌گذاری (windowing)، تبدیل فوریه سریع (FFT)، بانک‌های فیلتر و تبدیل لگاریتمی.
• مقایسه‌ی گزینه‌های انکودر: انکودر Whisper، مدل BEATs و مدل هیبریدی AF-Whisper؛ همراه با بررسی زمان برتری هرکدام.
• ساخت یک Q-former صوتی: N کوئری آموزش‌پذیر که روی پچ‌های طیف‌نگاشت کراس‌اتنشن می‌زنند.
• تشریح تفاوت آموزش آبشاری (ابتدا Whisper و سپس LLM) در برابر آموزش سرتاسری (end-to-end) مدل‌های صوتی-زبانی: چرا روش سرتاسری برای استدلال مقیاس‌پذیری بهتری دارد؟

صورت مسئله

مسئله‌ی بازشناسی گفتار با Whisper حل شد و تبدیل صوت به متن، درست مثل OCR، به یک ابزار دم‌دستی و عمومی بدل گشت. اما کاربرد این فناوری در مرز پیاده‌سازی متن متوقف می‌شود. اگر مدل نتواند درباره‌ی آنچه شنیده استدلال کند — مثل زمان‌بندی، گویندگان، احساسات، ساختار موسیقی و صداهای محیطی — پیاده‌سازی متن به‌تنهایی نمی‌تواند قابلیت‌های کاربردی یک محصول را پیش ببرد.

سه مسیر پیش رو داریم:

1. معماری آبشاری (Cascade): مدل Whisper گفتار را پیاده می‌کند و LLM روی متن حاصل استدلال انجام می‌دهد. این روش برای سناریوهای گفتارِ صرف جواب می‌دهد، اما برای موسیقی، صداهای محیطی، هم‌پوشانی صدای چند گوینده و احساسات ناکام می‌ماند.

2. مدل صوتی-زبانی سرتاسری: یک انکودر صوتی توکن‌های صوتی را مستقیماً و بدون نیاز به پیاده‌سازی متن، به LLM می‌فرستد. این روش اطلاعات آکوستیک (احساس، گوینده و محیط) را حفظ می‌کند، ولی به داده‌های آموزشی جدید نیاز دارد.

3. روش ترکیبی (Hybrid): ترکیب انکودر صوتی و دیکودر متنی که هم‌زمان توانایی پیاده‌سازی متن و استدلال را دارد. مدل‌های Qwen-Audio و Audio Flamingo این مسیر را انتخاب کرده‌اند.

مفاهیم پایه

طیف‌نگار لاگ-مل: ویژگی ورودی

همه‌ی انکودرهای صوتی کار را با ویژگی یکسانی شروع می‌کنند: طیف‌نگار لاگ-مل.

1. بازنمونه‌برداری (resample) تا نرخ 16 kHz.
2. تبدیل فوریه زمان‌کوتاه با پنجره‌های 25 میلی‌ثانیه‌ای و گام لغزش 10 میلی‌ثانیه‌ای.
3. محاسبه‌ی اندازه‌ی خروجی FFT.
4. اعمال بانک‌های فیلتر مِل (معمولاً 80 فیلتر با مقیاس لگاریتمی بین 0 تا 8000 Hz) برای نگاشت به فرکانس ادراکی انسان.
5. فشرده‌سازی لگاریتمی $(\log(1 + x))$ برای کنترل گستره‌ی پویایی (dynamic range).

نتیجه: یک آرایه‌ی دوبعدی با ابعاد (T, 80) که در آن T تعداد فریم‌های زمانی است. برای یک کلیپ 30 ثانیه‌ای با نرخ فریم 100 Hz، به ابعاد (3000, 80) می‌رسیم.

انکودر Whisper

انکودر Whisper یک ترنسفورمر 12 لایه‌ای مشابه ViT است که طیف‌نگار لاگ-مل را به شکل دنباله‌ای از فریم‌های زمانی پردازش می‌کند. خروجی آن به ازای هر فریم زمانی، یک بردار حالت مخفی (hidden state) است.

برای بازشناسی خودکار گفتار (ASR)، دیکودر Whisper از یک ترنسفورمر با کراس‌اتنشن استفاده می‌کند که توکن‌های متنی را مشروط به خروجی انکودر تولید می‌کند؛ یعنی یک ساختار استاندارد انکودر-دیکودر.

اما در مدل‌های صوتی-زبانی (ALM)، خروجی این انکودر را به‌عنوان ورودی به یک LLM دیگر می‌دهیم. الگوی کار چنین است: انکودر Whisper فریز می‌شود، ماژول Q-former آموزش می‌بیند و LLM هم بسته به نیاز، فریز می‌ماند یا تیون می‌شود.

مدل BEATs و انکودرهای اختصاصی صوت

مدل Whisper روی داده‌هایی آموزش دیده که گفتار در آن‌ها غالب است؛ به همین دلیل در مواجهه با موسیقی و صداهای محیطی ضعیف‌تر عمل می‌کند.

مدل BEATs (چن و همکاران، 2022) یک ترنسفورمر خودنظارتی است که روی مجموعه‌داده‌ی AudioSet آموزش دیده و با تعداد پارامترهای برابر، موسیقی و صداهای محیطی را بهتر از Whisper ثبت می‌کند.

انکودر AF-Whisper (انکودر اختصاصی Audio Flamingo 3): کار از انکودر Whisper-large-v3 شروع می‌شود و آموزش آن روی گفتار، صداهای محیطی و موسیقی ادامه می‌یابد؛ بنابراین این تک‌انکودر هر دو نوع سیگنال زبان‌شناختی و آکوستیک را در خود جای می‌دهد. سیستم‌های قدیمی‌تر مثل SALMONN برای پوشش هم‌زمان هر دو سیگنال، ویژگی‌های Whisper و BEATs را به هم متصل (concatenate) می‌کردند.

ماژول صوتی Q-former

این ساختار دقیقاً از الگوی Q-former بینایی در BLIP-2 پیروی می‌کند. تعداد ثابتی کوئری آموزش‌پذیر (معمولاً 32 یا 64) روی فریم‌های خروجی انکودر صوتی، کراس‌اتنشن می‌زنند. این کوئری‌ها تبدیل به توکن‌های صوتی می‌شوند که به عنوان ورودی در اختیار LLM قرار می‌گیرند.

مرحله‌ی هم‌ترازسازی آموزش (alignment stage): فقط Q-former با تابع زیان (loss) کنتراستیو و تولید کپشن روی جفت‌های صوتی-متنی (مثل AudioCaps و Clotho) آموزش می‌بیند. مرحله‌ی دستورالعمل (instruction stage): مدل به‌صورت سرتاسری و با خروج LLM از حالت فریز، روی داده‌های دستورالعمل آموزش داده می‌شود.

مسیر تکامل — SALMONN، Qwen-Audio و AF3

مدل SALMONN (تانگ و همکاران، 2023): ترکیب Whisper و BEATs و Q-former روی بک‌بون LLaMA. این مدل اولین مدل صوتی-زبانی متن‌باز با توانایی استدلال جدی بود و در بنچمارک MMAU امتیاز ترکیبی حدود 0.55 را ثبت کرد.

مدل Qwen-Audio (چو و همکاران، 2023): معماری مشابهی داشت که روی مجموعه‌داده‌ی غنی‌تری آموزش دیده و برای گفت‌وگوی چندنوبتی تنظیم شده بود (امتیاز MMAU حدود 0.60).

مدل LTU مخفف Listen, Think, Understand (گونگ و همکاران، 2023): با تمرکز بر داده‌های استدلالی صریح و زنجیره‌ی تفکر روی کلیپ‌های صوتی توسعه یافت؛ مدلی کوچک‌تر اما متمرکزتر.

مدل Audio Flamingo 3 (گوئل و همکاران، جولای 2025): پیشرفته‌ترین مدل متن‌باز حال حاضر (open SOTA). این مدل از بک‌بون 7 میلیاردی Qwen2.5-7B، انکودر صوتی AF-Whisper (ساخته‌شده بر پایه‌ی Whisper-large-v3) و لایه‌های آداپتور کوچک به سمت LLM استفاده می‌کند و روی بیش از 1 میلیون جفت دستورالعمل صوتی-متنی آموزش دیده است. امتیاز MMAU آن به 0.72 می‌رسد و در برخی تسک‌های فرعی با مدل‌های تجاری پیشرو برابری می‌کند.

مدل AF3 قابلیت زنجیره‌ی تفکر درخواستی (on-demand CoT) را هم برای صوت معرفی کرد؛ مدل می‌تواند پیش از تولید پاسخ نهایی، به‌صورت اختیاری توکن‌های تفکر تولید کند (مثلاً «اجازه دهید ابتدا سازها را شناسایی کنم: ...»). با فعال کردن این قابلیت، دقت در تسک‌های استدلالی پیچیده بین 3 تا 5 نمره بالا می‌رود.

مقایسه‌ی معماری آبشاری و سرتاسری

پایپ‌لاین آبشاری:

1. مدل Whisper صوت را به متن تبدیل می‌کند.
2. مدل LLM روی متن حاصل استدلال می‌کند.

این رویکرد برای کارهایی مثل «این پادکست را خلاصه کن» عالی جواب می‌دهد، اما در موارد زیر شکست می‌خورد:

• «حال‌وهوای این آهنگ چیست؟» — حال‌وهوا در جنس صدا نهفته است، نه کلمات.
• «چه کسی صحبت می‌کند، آلیس یا باب؟» — نیازمند شناسایی هویت گوینده است.
• «انفجار دقیقاً در چه ثانیه‌ای رخ می‌دهد؟» — ارجاع زمانی در متن از بین می‌رود.
• «این فایل صوتی واقعی است یا جعلی؟» — تشخیص دیپ‌فیک به ویژگی‌های آکوستیک وابسته است.

رویکرد سرتاسری سیگنال آکوستیک را حفظ می‌کند؛ به همین دلیل Qwen-Audio و AF3 موسیقی، محیط و احساسات را ذاتاً درک می‌کنند.

دستورالعمل پروداکشن در سال 2026

برای ساخت یک محصول جدید بر پایه‌ی درک صوت:

• از معماری آبشاری استفاده کنید اگر: هدف نهایی پیاده‌سازی متن است و نیازی به موسیقی و استنتاج احساسات ندارید.
• از AF3 یا خانواده‌ی Qwen-Audio استفاده کنید اگر: با موسیقی، احساسات، چند گوینده یا استدلال‌های پیچیده‌ی صوتی سر و کار دارید.

روش آبشاری ارزان‌تر و ساده‌تر است؛ در مقابل، روش سرتاسری بسیار توانمندتر عمل می‌کند.

بنچمارک MMAU — سنجه‌ی استدلال صوتی

بنچمارک MMAU (فهم صوتی چندوجهی در مقیاس بالا) معیار استاندارد ارزیابی استدلال صوتی در سال‌های 2024 و 2025 است:

• شامل 10 هزار جفت پرسش و پاسخ صوتی-متنی در حوزه‌های گفتار، موسیقی و صداهای محیطی.
• پوشش‌دهنده‌ی دسته‌بندی، استدلال زمانی، استدلال علی و پرسش و پاسخ‌های باز.
• ارزیابی دقیق ضعف‌هایی که پایپ‌لاین‌های آبشاری معمولاً از دست می‌دهند.

پیشرفته‌ترین مدل متن‌باز (AF3) به امتیاز 0.72 رسیده است، در حالی که مدل‌های تجاری پیشرو (مثل Gemini 2.5 Pro و Claude Opus 4.7) حدود 0.78 هستند. این فاصله‌ی اندک در مقایسه با شکاف مدل‌های باز و بسته در VideoMME نشان می‌دهد که مدل‌های صوتی-زبانی به‌سرعت در حال رسیدن به بلوغ‌اند.

پیاده‌سازی عملی

فایل code/main.py:

• محاسبه‌ی طیف‌نگار لاگ-مل را با کتابخانه‌ی استاندارد پیاده‌سازی می‌کند: پنجره‌گذاری، DFT ساده و بانک فیلتر مِل.
• اسکلت Q-former صوتی: دریافت فریم‌های خروجی انکودر، محاسبه‌ی Q، K، V، اعمال اتنشن و صدور N توکن.
• مقایسه‌ی رویکرد آبشاری و سرتاسری روی یک تسک ساده.

تحویل پروژه

این درس فایل outputs/skill-audio-llm-pipeline-picker.md را تولید می‌کند. این راهنما بسته به تسک صوتی مورد نظر شما (پیاده‌سازی متن، برچسب‌گذاری موسیقی، استنتاج احساس، تفکیک گویندگان یا دسته‌بندی صداهای محیطی)، پایپ‌لاین آبشاری، AF3 سرتاسری یا گزینه‌ی هیبریدی را انتخاب می‌کند.

تمرین‌ها

1. ابعاد طیف‌نگار لاگ-مل را برای یک کلیپ 30 ثانیه‌ای با نرخ نمونه‌برداری 16 kHz، پنجره‌ی 25 میلی‌ثانیه‌ای، گام لغزش 10 میلی‌ثانیه‌ای و 80 فیلتر مِل محاسبه کنید. اگر نرخ نمونه‌برداری به 48 kHz تغییر کند، این ابعاد چه تغییری خواهند کرد؟

2. چرا مدل Whisper در تحلیل موسیقی ضعیف‌تر عمل می‌کند؟ مدل BEATs چه ویژگی‌های صوتی را ثبت می‌کند که Whisper قادر به دریافت آن‌ها نیست؟

3. در یک Q-former صوتی، استفاده از 64 کوئری در برابر 32 کوئری چه زمانی توجیه دارد و در چه سطحی از پیچیدگی تسک خود را نشان می‌دهد؟ انتخاب 32 کوئری در چه بخش‌هایی در هزینه‌های پردازشی صرفه‌جویی می‌کند؟

4. بخش 4 از مقاله‌ی AF3 درباره‌ی تفکر درخواستی را مطالعه کنید. سه تسک صوتی پیشنهاد دهید که در آن‌ها زنجیره‌ی تفکر بیشترین کمک را می‌کند.

5. یک پایپ‌لاین ساده‌ی تفکیک گویندگان را با استفاده از خروجی AF3 پیاده‌سازی کنید. تغییر گوینده را با چه سازوکاری نشان می‌دهید؟

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• رادفورد و همکاران — مدل Whisper (arXiv:2212.04356)
• چو و همکاران — مدل Qwen-Audio (arXiv:2311.07919)
• گوئل و همکاران — مدل Audio Flamingo 3 (arXiv:2507.08128)
• تانگ و همکاران — مدل SALMONN (arXiv:2310.13289)
• گونگ و همکاران — مدل LTU (arXiv:2305.10790)