در سیستمهای هوش مصنوعی کلاسیک، تعامل چندوجهی صوتی و تصویری معمولاً با زنجیره‌ای از مدل‌های جداگانه پیاده‌سازی می‌شد: یک مدل گفتار را به متن تبدیل می‌کرد، مدل زبانی پاسخ را آماده می‌ساخت و مدل دیگری خروجی را می‌خواند. این ساختار خطی و چندمرحله‌ای نه‌تنها تاخیر زیادی ایجاد می‌کرد، بلکه لحن و بخش مهمی از اطلاعات بینامدالیته‌ای را هم در مسیر از بین می‌برد. اما با معرفی مدل‌های یکپارچه‌ای مانند GPT-4o، مسیر به سمت پردازش مستقیم هر ورودی به هر خروجی (Any-to-Any) تغییر کرد.
در این میان، جامعه‌ی متن‌باز با مدل‌هایی مثل MIO و AnyGPT وارد میدان شد تا اثبات کند می‌توان با طراحی هوشمندانه‌ی دامنهی واژگان مشترک و تلفیق توکن‌سازهای گسسته‌ی تصویر و کوانتایزر پسماند (Residual-VQ) برای گفتار، همه‌ی این جریان‌ها را در دل یک ترنسفورمر واحد مدیریت کرد. در این درس ساختار فنی تخصیص توکنها، فرایند آموزش چهارمرحله‌ای و چالش‌های دستیابی به تاخیر زیر 500 میلیثانیه را بررسی می‌کنیم.
مدل GPT-4o قابلیتی ارائه می‌دهد که بیشتر مدل‌های متن‌باز هنوز توان بازتولید آن را ندارند: ایجنتی (agent) که صدا را می‌شنود، ویدیو را می‌بیند و بی‌درنگ پاسخ صوتی می‌دهد. پاسخ اکوسیستم متن‌باز تا اواخر سال 2024 مدل MIO بود (وانگ و همکاران، سپتامبر 2024). این مدل متن، تصویر، گفتار و موسیقی را توکن‌سازی میکند، یک ترنسفورمر علّی (causal transformer) را روی توالی‌های درهم‌تنیده از این مدالیته‌ها آموزش می‌دهد و توانایی تولید هر مدالیته‌ای از هر مدالیته‌ی دیگری را دارد. مدل AnyGPT (ژان و همکاران، فوریه 2024) اثبات این مفهوم بود؛ MIO نسخه‌ی مقیاس‌یافته‌ی آن است؛ و Unified-IO 2 (مؤسسه هوش مصنوعی الن، دسامبر 2023) مدلی هم‌خانواده با آن است که بر انطباق بینایی با عمل (vision + action grounding) تمرکز دارد. این درس الگوی هر-به-هر (any-to-any) را بررسی میکند: چهار توکن‌ساز، یک ترنسفورمر و رمزگشایی متناسب با استریمینگ (streaming).
اهداف یادگیری
- طراحی یک دامنهی واژگان (vocabulary) مشترک که توکن‌های متن، تصویر، گفتار و موسیقی را بدون هم‌پوشانی و تداخل در خود جای دهد.
- مقایسه‌ی SEED-Tokenizer (برای تصویر) و SpeechTokenizer مبتنی بر residual-VQ (برای گفتار) از نظر بده‌بستان بین فشرده‌سازی و کیفیت بازسازی.
- شرح برنامه‌ی آموزشی (curriculum) چهارمرحله‌ای که امکان تولید هر-به-هر را فراهم میکند.
- معرفی سه دستورالعمل متن‌باز در معماری هر-به-هر و بده‌بستان‌های اصلی آن‌ها: MIO، AnyGPT و Unified-IO 2.
صورت مسئله
ادعای ساخت یک مدل چندوجهی یکپارچه آسان است، اما ساخت آن در مقیاس بزرگ چالش بسیار سختی محسوب میشود. تا پیش از سال 2024، بیشتر سیستمهای «هر-به-هر» به‌صورت پایپ‌لاین (pipeline) کار می‌کردند: مدل بینایی ← نمایش متنی ← مدل گفتار ← صدا. هر گام (hop) در این زنجیره بخشی از اطلاعات را هدر می‌دهد، تاخیر (latency) را بالا می‌برد و آموزش را پیچیده میکند. ویدیوی معرفی GPT-4o راهکاری تک‌مدلی را با زمان پاسخی زیر یک ثانیه نشان داد؛ دستاوردی که سیستمهای متن‌باز ماه‌ها از آن عقب بودند.
چالش‌های مهندسی این مسیر:
- باید برای هر مدالیته یک توکن‌ساز وجود داشته باشد که داده‌ها را با کمترین اتلافِ ممکن برای بازسازی فشرده کند و توکنها را با نرخی بسازد که ترنسفورمر توان مصرف و پردازش آن را داشته باشد.
- یک دامنهی واژگان واحد باید فضایی مجزا به متن (بیش از 32 هزار)، تصویر (بیش از 8 هزار)، گفتار (بیش از 4 هزار) و موسیقی (بیش از 8 هزار) اختصاص دهد؛ یعنی حداقل بیش از 50 هزار ورودی.
- داده‌های آموزشی باید تمام جفت‌های ورودی-خروجی (متن به تصویر، تصویر به گفتار، گفتار به تصویر و بقیه) را پوشش دهند، یا اینکه مدل بتواند این تبدیل‌ها را ترکیب کند.
- استنتاج باید توکن‌های خروجی را با سرعتی استریم کند که پاسخگوی تاخیر محاورهای باشد (زمان تا رسیدن اولین بایت صدا یا TTFAB کمتر از 500 میلیثانیه).
مفهوم
چهار توکن‌ساز برای چهار مدالیته
پشته‌ی توکن‌سازهای MIO:
- متن: BPE استاندارد با دامنهی واژگان حدود 32000.
- تصویر: SEED-Tokenizer (سال 2023)، یک توکن‌ساز گسسته‌ی تصویر با کتاب کد (codebook) شامل 8192 ورودی که به ازای هر تصویر 32 توکن تولید میکند.
- گفتار: SpeechTokenizer با معماری residual-VQ (سال 2023) که شکل‌موج (waveform) صوتی 16 کیلوهرتزی را در 8 کتاب کد سلسله‌مراتبی کدگذاری میکند؛ لایه‌ی اول محتوای کلی را می‌گیرد و لایه‌های بعدی پروزودی (آهنگ گفتار) و هویت گوینده را اضافه می‌کنند. MIO لایه‌ی محتوا به‌همراه سه لایه‌ی اول طنین صدا را حفظ میکند که هر کدام 1024 کد دارند؛ یعنی در مجموع 4096 شناسه‌ی گفتار.
- موسیقی: residual-VQ مشابه (از خانواده‌ی MusicGen / Encodec متعلق به متا) با 4 تا 8 کتاب کد. مدل MIO به‌خودی‌خود توکن‌ساز موسیقی ارائه نمی‌دهد (مدالیته‌ی چهارم آن ویدیو است که به‌صورت فریم‌هایی از طریق توکن‌ساز تصویر پردازش میشود)؛ کد ساده‌ی این درس موسیقی را هم اضافه میکند تا نشان دهد چگونه یک مدالیته‌ی جدید بازه‌ای از شناسه‌ها را در دامنهی واژگان به خود اختصاص می‌دهد.
هر مدالیته توکن‌های عدد صحیح تولید میکند. این توکنها بازه‌های شناسه‌ی مجزایی در دامنهی واژگان مشترک می‌گیرند:
text: 0..31999
image: 32000..40191 (8192 image tokens)
speech: 40192..44287 (4 codebooks x 1024 speech tokens)
music: 44288..52479 (8192 music tokens, the toy's extension)
sep: 52480..52485 (<image>, <speech>, <music>, </...>)مجموع: حدود 52 هزار ورودی در دامنهی واژگان. امبدینگ (embedding) ورودی و تصویر کردن خروجی کل این بازه را پوشش می‌دهند.
رمزگشایی در قالب استریمینگ
تولید گفتار با residual-VQ انجام میشود. ترنسفورمر توکن‌های پایه‌ی گفتار (لایه‌ی 0) را پیش‌بینی میکند و یک کوانتایزر پسماند با رمزگشایی موازی، لایه‌های بعدی را تخمین می‌زند. هر توکنِ لایه‌ی 0 تقریباً معادل 50 میلیثانیه صدا با نرخ 16 کیلوهرتز است.
الگوی استریمینگ:
- کاربر در میکروفون صحبت میکند؛ توکن‌ساز بلادرنگِ صدا هر 50 میلیثانیه توکن‌های گفتار را تحویل می‌دهد.
- مدل MIO توکنها را به‌محض رسیدن پردازش میکند (تکمیل پرامپت یا prefill به‌همراه forward افزایشی).
- توکن‌های خروجی هم‌زمان با تولید شدن استریم می‌شوند؛ یک رمزگشای گفتارِ موازی آن‌ها را با تاخیری حدود 50 تا 150 میلیثانیه به نمونه‌های صوتی تبدیل میکند.
- زمان تا اولین بایت صدا: در مقاله‌ی MIO عددی برای تاخیر ذکر نشده است. سقف تاخیر (latency budget) که در ادامه بررسی می‌کنیم، این طراحی را در بهترین حالت حدود 300 میلیثانیه برآورد میکند؛ در مقایسه با حدود 250 میلیثانیه در GPT-4o.
مدل‌های Mini-Omni (شناسه‌ی arXiv:2408.16725)، GLM-4-Voice (شناسه‌ی arXiv:2412.02612) و Moshi (شناسه‌ی arXiv:2410.00037) معماری‌های مکمل دیگری برای مدل‌های زبانیِ استریمینگِ گفتار هستند. به‌ویژه مدل Moshi موفق شده تاخیر رفت و برگشت را روی یک پردازنده‌ی گرافیکی به 160 میلیثانیه برساند.
برنامه‌ی آموزشی چهارمرحله‌ای
برنامه‌ی آموزشی مدل MIO:
- مرحله‌ی 1 — هم‌ترازی: استفاده از دیتاست‌های عظیم جفت‌های مدالیته؛ شامل «متن-تصویر»، «متن-گفتار» و «متن-موسیقی». هر جفت از بخش مربوط به خود در واژگان توکنها استفاده میکند. این مرحله دامنهی واژگان مشترک را آموزش می‌دهد.
- مرحله‌ی 2 — داده‌های درهم‌تنیده: اسناد چندوجهیِ درهم‌تنیده (وبلاگ‌های دارای تصویر و ویدیو، پادکست‌ها به‌همراه متن پیاده‌شده و مواردی از این دست). این مرحله بستر درک متن متقابل بین مدالیته‌ها را آموزش می‌دهد.
- مرحله‌ی 3 — تقویت گفتار: داده‌های صوتی اضافه برای ارتقای کیفیت گفتار، بدون از دست رفتن توانمندی‌های متنی.
- مرحله‌ی 4 — تنظیم دقیق دستوری (SFT): تنظیم بر اساس دستورالعمل‌ها در تمام مدالیته‌ها؛ مانند پاسخ به پرسش‌های بصری (VQA)، تولید کپشن، روایت‌گری و گفت‌وگوی صوت-به-صوت.
نادیده‌گرفتن هر مرحله قابلیت خاصی را تضعیف میکند: اگر مرحله‌ی 2 را حذف کنید، مدل درک زمینه‌ی بینامدالیته‌ای را از دست می‌دهد؛ اگر مرحله‌ی 3 را کنار بگذارید، کیفیت گفتار ضعیف خواهد بود.
زنجیره‌ی تفکر بصری (Chain-of-visual-thought)
مدل MIO مفهومی به‌نام زنجیره‌ی تفکر بصری معرفی میکند: مدل توکن‌های تصویریِ میانی را به‌عنوان گامی از فرایند استدلال صادر میکند. مثلاً برای پاسخ به پرسش «آیا گربه در حال بالا رفتن از درخت است؟»، مدل این مراحل را طی میکند:
- توکن‌های
<image>را برای به تصویر کشیدن صحنه صادر میکند (بر اساس تصویر ورودی یا یک طرح اولیه). - متنی برای تحلیل آن طرح صادر میکند.
- پاسخ نهایی را در خروجی ارائه می‌دهد.
تصویر میانیِ تولیدشده مثل یک چرک‌نویس عمل میکند و عملکرد مدل در بنچمارک‌های استدلال فضایی بهبود می‌یابد. این ایده مشابه زنجیره‌ی تفکر (chain-of-thought) در استدلال متنی است.
رقبای معماری‌های هر-به-هر
- AnyGPT (شناسه‌ی arXiv:2402.12226): پشتیبانی از 4 مدالیته (متن، تصویر، گفتار، موسیقی) با طراحی مشابه.
- Unified-IO 2 (شناسه‌ی arXiv:2312.17172): خروجی‌های عمل بصری، عمق و بردارهای نرمال را هم اضافه میکند. تنوع وظایف در آن بیشتر اما مقیاس مدل کوچک‌تر است.
- NExT-GPT (شناسه‌ی arXiv:2309.05519): ترکیب مدل زبانی بزرگ با رمزگشاهای دیفیوژن اختصاصی برای هر مدالیته. این روش یکپارچه و تک‌مدلی نیست.
- CoDi (شناسه‌ی arXiv:2305.11846): دیفیوژن ترکیب‌پذیر؛ ارتباط هر-به-هر از طریق فضای نهان مشترک.
مدل MIO نزدیک‌ترین گزینه به رویکرد تمام‌توکنی در دنیای هر-به-هر است و AnyGPT پیش‌زمینه‌ی مفهومی آن به شمار می‌رود.
سقف تاخیر
برای یک محصول مکالمه‌محور، تاخیرِ تک‌تک بخش‌ها اهمیت دارد:
- تبدیل صدا از میکروفون به توکن‌های صوتی: حدود 50 میلیثانیه.
- مرحله‌ی پر کردن اولیه یا Prefill (توکن‌های صوتی + تاریخچه): حدود 100 میلیثانیه روی یک مدل 8B.
- تولید اولین توکن خروجی: حدود 50 میلیثانیه.
- بازسازی موازی residual-VQ و تبدیل به صدا: حدود 100 تا 150 میلیثانیه.
حداقل زمان کل تا اولین بایت صدا: حدود 300 میلیثانیه. مدل GPT-4o ادعای زمان 250 میلیثانیه را دارد و Moshi به 160 میلیثانیه رسیده است. از آنجا که نه MIO و نه AnyGPT رقم اندازه‌گیری‌شده‌ای منتشر نکرده‌اند، این سقف تاخیر را صرفاً یک تخمین بدانید، نه یک بنچمارک قطعی.
چرا مسیر هر-به-هر همچنان دشوار است؟
حتی در سال 2026، مدل‌های متن‌باز هر-به-هر در دو زمینه از مدل‌های تجاری و بسته عقب‌ترند:
- کیفیت گفتار: توکن‌ساز residual-VQ اتلاف اطلاعات دارد؛ بنابراین گفتار محاورهای در مقایسه با صداهایی در سطح ElevenLabs تا حدی رباتیک به نظر می‌رسد.
- استدلال بینامدالیته‌ای: وقتی از مدل می‌خواهید «درباره‌ی آنچه می‌بینی آواز بخوان»، احتمال شکست خیلی بیشتر از کارهای صرفاً مبتنی بر بینایی است.
این‌ها چالش‌های باز پژوهشی هستند. مدل Qwen3-Omni (درس 12.20) پیشرفته‌ترین تلاش متن‌باز در سال 2025 به شمار می‌رود.
استفاده از ابزارهای واقعی
فایل code/main.py:
- ساختار تخصیص دامنهی واژگان بین چهار مدالیته را تعریف کرده و در خروجی چاپ میکند.
- فهرستی از ورودی‌های چندوجهی (متن، تصویر، کلیپ صوتی، موسیقی) را از طریق مسیریاب (router) توکن‌ساز هدایت میکند.
- فرایند رمزگشایی استریمینگ را برای یک پاسخ «متن به گفتار» همراه با محاسبه‌ی تاخیر شبیه‌سازی میکند.
- تاخیر تخمینی تا رسیدن اولین بایت صدا را بر اساس زمان‌های رمزگذار، prefill و رمزگشا محاسبه میکند.
خروجی این درس
این درس فایل outputs/skill-any-to-any-pipeline-auditor.md را تولید میکند. این مستند با دریافت مشخصات یک محصول مکالمه‌محور (مدالیته‌های ورودی، مدالیته‌های خروجی و هدف‌گذاری تاخیر)، انتخاب‌های معماری خانواده‌ی MIO را تحلیل کرده و سقف تاخیر را حساب میکند.
تمرین‌ها
-
فرض کنید محصول شما ورودی گفتار می‌گیرد و خروجی گفتار پس می‌دهد. هدف شما برای تاخیر سرتاسری چقدر است؟ اجزایی را که باعث صرف زمان می‌شوند فهرست کنید.
-
معماری residual-VQ در SpeechTokenizer از 8 کتاب کد استفاده میکند. استدلال کنید چرا رمزگشایی موازیِ لایه‌های residual لازم است (در مقایسه با حالت متوالی) و چه مقدار صرفه‌جویی در تاخیر به همراه دارد؟
-
دامنهی واژگان شما شامل 32k توکن متنی، 8k تصویری و 4k گفتاری است. 8k توکن موسیقی و حدود 10 توکن جداکننده به آن اضافه کنید. با فرض بعد پنهان 4096، هزینه‌ی پارامتری ماتریس امبدینگ چقدر خواهد بود؟
-
در زنجیره‌ی تفکر بصری، مدل یک تصویر میانی تولید میکند. چه نوع سوالاتی از این روش سود می‌برند؟ تولید این توکن‌های اضافه به چه نوع سوالاتی آسیب می‌زند؟
-
مقاله‌ی Moshi (شناسه‌ی arXiv:2410.00037) را بخوانید. روش «تک‌گویی درونی» (inner monologue) آن را شرح دهید و با زنجیره‌ی تفکر بصری در MIO مقایسه کنید.
اصطلاحات کلیدی
| اصطلاح | در گفت‌وگوها | معنای دقیق فنی |
|---|---|---|
| هر-به-هر (Any-to-any) | «ورودی و خروجی چندوجهی» | یک مدل واحد که متن، تصویر، گفتار و موسیقی را در هر جهتی دریافت و صادر میکند |
| کوانتایزر پسماند (Residual-VQ) | «پشته‌ی توکن‌ساز گفتار» | توکن‌سازی چند کتاب‌کدی که در آن هر لایه اطلاعات جدیدی اضافه میکند؛ لایه‌ی پایه حامل محتواست و لایه‌های بعدی پروزودی را می‌سازند |
| SEED-Tokenizer | «کدهای تصویر» | توکن‌ساز گسسته‌ی تصویر با کتاب کدی شامل 8192 ورودی که به ازای هر تصویر 32 توکن صادر میکند و در MIO به کار رفته است |
| زنجیره‌ی تفکر بصری (Chain-of-visual-thought) | «چرک‌نویس بصری» | تولید یک تصویر میانی توسط مدل به‌عنوان گامی از استدلال، پیش از رسیدن به پاسخ نهایی |
| زمان تا اولین بایت صدا (Time-to-first-audio-byte) | «TTFAB» | تاخیر از لحظه‌ی صحبت کاربر تا شنیده شدن اولین خروجی صوتی؛ برای حس طبیعی در مکالمه باید کمتر از 500 میلیثانیه باشد |
| برنامه‌ی آموزشی چهارمرحله‌ای (Four-stage curriculum) | «دستورالعمل آموزش» | مراحل آموزش به‌ترتیب: هم‌ترازی ← داده‌های درهم‌تنیده ← تقویت گفتار ← SFT |