فاز 6
گفتار و صوت
نیمه‌ی دیگر ارتباط انسانی: شنیدن، فهمیدن و حرف‌زدن.
- 17 درس
- حدود 19 ساعت
- مبانی پردازش صوت — شکل‌موج، نمونه‌برداری و تبدیل فوریهدرک عمیق شکل‌موج، نرخ نمونه‌برداری، فرکانس نایکویست و تبدیل فوریه برای جلوگیری از باگ‌های پنهان در خط لوله‌های هوش مصنوعی صوتی.
- استخراج ویژگی‌های صوتی: از طیف‌نگاشت تا لاگ‌مل و MFCCراهنمای گام‌به‌گام پیش‌پردازش صوت، تبدیل فوریه زمان‌کوتاه (STFT)، ساخت بانک فیلتر مل و استخراج لاگ‌مل برای مدل‌های روز یادگیری ماشین.
- طبقه‌بندی صدا از k-NN روی MFCC تا AST و BEATsراهنمای عملی طبقه‌بندی سیگنال‌های صوتی؛ از استخراج ویژگی‌های MFCC و مدل‌های سبک k-NN و CNN تا فاین‌تیونینگ ترنسفورمرهای صوتی AST و BEATs.
- تشخیص گفتار (ASR): مقایسه‌ی معماری‌های CTC، RNN-T و Attentionراهنمای عملی و مقایسه‌ی معماری‌های سه‌گانه‌ی تشخیص گفتار (CTC، RNN-T و Encoder-Decoder) به همراه محاسبه‌ی نرخ خطای کلمه (WER) و نکات استقرار.
- معماری مدل Whisper و فاین‌تیونینگ آن برای تبدیل گفتار به متنراهنمای جامع معماری انکودر-دیکودر Whisper، رفع خطاهای رایج مانند توهم در سکوت، و آموزش فاین‌تیونینگ سریع روی دامنه‌های تخصصی با استفاده از LoRA.
- تشخیص و تأیید هویت گوینده: مبانی، مدل‌ها و پیاده‌سازی عملیراهنمای جامع پیاده‌سازی سیستم‌های تأیید هویت صوتی و دیارایزیشن با استفاده از امبدینگ‌های ECAPA-TDNN، معیار EER و کتابخانه‌های مدرن پایتون.
- تبدیل متن به گفتار (TTS)؛ از Tacotron تا F5 و Kokoroراهنمای جامع معماری‌های تبدیل متن به گفتار؛ از فرانت‌اند متنی و طیف‌نگار مل تا شبیه‌سازی بلادرنگ صدا با مدل‌های F5-TTS و Kokoro.
- شبیه‌سازی و تبدیل صدا: جداسازی هویت و واترمارک‌گذاریآموزش گام‌به‌گام شبیه‌سازی صفر-نمونه و تبدیل صدا، همراه با استانداردهای قانونی واترمارک‌گذاری و احراز رضایت.
- تولید موسیقی با هوش مصنوعی: از MusicGen و Stable Audio تا Sunoراهنمای جامع مدل‌های تولید موسیقی مبتنی بر هوش مصنوعی، تفاوت رویکردهای توکن‌محور و دیفیوژن و معماری ابزارهایی مانند MusicGen و Suno.
- مدل‌های صوتی-زبانی: Qwen2.5-Omni، Audio Flamingo و GPT-4o Audioآشنایی با ساختار سه‌بخشی مدل‌های صوتی-زبانی (انکودر، پروجکتور، LLM)، مقایسه بنچ‌مارک‌های MMAU-Pro و انتخاب مدل برتر برای درک صدا.
- پردازش بلادرنگ صدا در دستیارهای صوتی هوش مصنوعیراهنمای جامع معماری پایپ‌لاین‌های صوتی بلادرنگ، مدیریت بافر حلقوی، کاهش تاخیر به زیر 400 میلی‌ثانیه و پیاده‌سازی قابلیت Barge-in در دستیارهای صوتی.
- پیاده‌سازی پایپ‌لاین دستیار صوتی (پروژه‌ی پایانی فاز 6)راهنمای مهندسی ساخت دستیار صوتی کامل: اتصال بلادرنگ ضبط صدا، VAD، تبدیل گفتار به متن، مدل زبانی با قابلیت فراخوانی ابزار و TTS همراه با قطع کلام.
- کدک‌های صوتی عصبی: EnCodec، SNAC، Mimi و تفکیک معنایی-صوتیتبدیل امواج صوتی به توکن‌های گسسته با استفاده از کدک‌های صوتی عصبی نوین مانند EnCodec و Mimi برای آموزش مدل‌های زبانی گفتار و موسیقی.
- تشخیص فعالیت صوتی و نوبت مکالمه با Silero، Cobra و ترفند Flushآموزش گام‌به‌گام پیاده‌سازی تشخیص فعالیت صوتی (VAD) و پایان نوبت مکالمه در دستیارهای صوتی با Silero و ترفند Flush.
- گفتاربه‌گفتار استریمینگ با Moshi و Hibiki: مکالمه صوتی تمام‌دوطرفهآشنایی با معماری مدل‌های گفتاربه‌گفتار تمام‌دوطرفه مثل Moshi و Hibiki، نحوه حذف پایپ‌لاین سنتی ASR-LLM-TTS و دستیابی به تاخیر مکالمه 200 میلی‌ثانیه.
- مقابله با جعل صدا و واترمارک صوتی با ASVspoof 5 و AudioSealراهنمای گام‌به‌گام پیاده‌سازی دفاع چندلایه در برابر جعل صدا؛ از شناساگرهای AASIST و بنچمارک ASVspoof 5 تا واترمارک‌گذاری بلادرنگ با AudioSeal.
- معیارهای ارزیابی صوت در هوش مصنوعی: از WER و MOS تا لیدربوردهای 2026راهنمای جامع سنجه‌ها و لیدربوردهای ارزیابی هوش مصنوعی صوتی؛ از ASR و TTS تا شبیه‌سازی صدا و تولید موسیقی.