فاز 5
پردازش زبان طبیعی، از مبانی تا پیشرفته
زبان رابط هوشمندی است؛ همه‌ی لایه‌هایش را یاد بگیرید.
- 29 درس
- حدود 31 ساعت
- پردازش متن: توکن‌سازی، ریشه‌یابی و لماتایز کردن در NLPپیاده‌سازی گام‌به‌گام توکن‌سازی، ریشه‌یابی صرفی و لماتایز کردن متن از صفر و نحوه استفاده عملی از NLTK و spaCy در پردازش زبان طبیعی.
- پیاده‌سازی Bag of Words و TF-IDF از صفر تا scikit-learnتبدیل متن به بردار عددی با پیاده‌سازی Bag of Words و TF-IDF از صفر، بررسی پیاده‌سازی در scikit-learn و مقایسه با امبدینگ‌ها.
- پیاده‌سازی Word2Vec از صفر: بازنمایی معنایی کلمات با بردارهاپیاده‌سازی گام‌به‌گام مدل Word2Vec و ترفند Negative Sampling از پایه با پایتون برای تبدیل کلمات به بردارهای عددی با درک معنایی.
- آموزش GloVe، FastText و توکنایزرهای زیرکلمه‌ای (BPE)آموزش مقایسه‌ای GloVe ،FastText و الگوریتم BPE برای یادگیری بردارهای کلمات و حل ریشه‌ای مشکل کلمات ناشناخته (OOV) در NLP.
- تحلیل احساسات با مدل‌های کلاسیک NLP: از نایو بیز تا رگرسیون لجستیکآموزش گام‌به‌گام پیاده‌سازی تحلیل احساسات کلاسیک با نایو بیز و رگرسیون لجستیک، مدیریت نفی در جملات و معیارهای واقعی ارزیابی متن.
- بازشناسی موجودیت‌های نام‌دار (NER): از CRF تا مدل‌های زبانیراهنمای جامع استخراج موجودیت‌های متنی با روش‌های کلاسیک، یادگیری عمیق، spaCy و مدل‌های زبانی بزرگ.
- برچسب‌گذاری نقش دستوری (POS Tagging) و تجزیه نحویآموزش برچسب‌گذاری نقش دستوری (POS Tagging) و درخت‌های وابستگی نحوی از پایه‌ترین مدل‌ها تا پیاده‌سازی کاربردی با spaCy برای اعتبارسنجی خروجی LLM.
- شبکه‌های CNN و RNN برای پردازش متن: پیاده‌سازی TextCNN و LSTM در PyTorchآموزش پیاده‌سازی TextCNN و LSTM در PyTorch برای پردازش زبان طبیعی؛ راهنمای انتخاب مدل سبک برای پردازش سریع متن بدون نیاز به ترنسفورمر.
- معماری Seq2Seq: از بردار بافتار تا مکانیزم رمزگذار-رمزگشاپیاده‌سازی گام‌به‌گام مدل Seq2Seq در PyTorch، حل مسئله‌ی نگاشت توالی به توالی و درک گلوگاه بردار بافتار که جرقه‌ی تولد مکانیزم Attention شد.
- مکانیسم اتنشن (Attention Mechanism): شکستن گلوگاه مدل‌های توالی به توالیراهنمای مفهومی و عملی پیاده‌سازی مکانیسم اتنشن باداناو و لونگ برای حل محدودیت طول در مدل‌های توالی و پل ورود به ترنسفورمرها.
- ترجمه ماشینی: معماری انکودر-دیکودر، معیارهای ارزیابی و استقرار NLLBراهنمای عملی پیاده‌سازی و ارزیابی ترجمه ماشینی مدرن با مدل‌های NLLB و معیارهای BLEU، chrF و COMET.
- خلاصه‌سازی متن: روش‌های استخراجی، انتزاعی و ارزیابی فکت‌هاپیاده‌سازی سامانه‌های خلاصه‌سازی استخراجی (TextRank) و انتزاعی (BART)، بررسی تفاوت‌های آن‌ها و روش‌های سنجش توهم و ارزیابی با معیار ROUGE.
- سیستم‌های پاسخ به سوالات (QA): از مدل‌های استخراجی تا RAGراهنمای جامع پیاده‌سازی سیستم‌های پاسخ به سوالات (QA): از مدل‌های استخراجی نظیر SQuAD تا پایپ‌لاین‌های ترکیبی RAG و ارزیابی با چارچوب RAGAS.
- بازیابی اطلاعات و جست‌وجوی ترکیبی (Hybrid Search)راهنمای گام‌به‌گام پیاده‌سازی پایپ‌لاین بازیابی ترکیبی (BM25 + متراکم + RRF + کراس‌ان‌کودر) برای بهینه‌سازی کانتکست و حذف توهمات در سامانه‌های RAG.
- مدل‌سازی موضوعی با LDA و BERTopic در پایتونراهنمای عملی استخراج خودکار موضوعات از مجموعه‌های متنی بزرگ با استفاده از LDA و BERTopic در پایتون.
- تولید متن پیش از ترنسفورمرها با مدل‌های زبانی N-gramیادگیری مبانی مدل‌سازی زبان با شمارش توالی‌ها، هموارسازی Kneser-Ney و محاسبه پرپلکسیتی پیش از ورود به شبکه‌های عصبی و ترنسفورمرها.
- معماری چت‌بات‌ها: از مبتنی بر قاعده تا ایجنت‌های LLMراهنمای جامع تکامل چت‌بات‌ها از سیستم‌های مبتنی بر قاعده تا ایجنت‌های مجهز به ابزارخوانی و معماری مسیریابی ترکیبی برای محیط پروداکشن.
- پردازش زبان طبیعی چندزبانه و یادگیری انتقالی میان‌زبانیراهنمای جامع پیاده‌سازی مدل‌های پردازش زبان طبیعی چندزبانه، یادگیری انتقالی میان‌زبانی صفر-نمونه و انتخاب بهترین معماری برای زبان‌های کم‌منبع.
- توکن‌سازی زیرکلمه: راهنمای جامع BPE، WordPiece، Unigram و SentencePieceراهنمای عملی توکن‌سازی زیرکلمه (Subword) با بررسی الگوریتم‌های BPE، Unigram، WordPiece و کتابخانه‌های SentencePiece و tiktoken در مدل‌های زبانی مدرن.
- خروجی ساختاریافته و رمزگشایی مقید در مدل‌های زبانیراهنمای جامع تولید خروجی‌های ساختاریافته و تضمین تولید JSON معتبر در LLMها با دستکاری لاجیت‌ها و رمزگشایی مقید.
- استنتاج زبان طبیعی (NLI) و استلزام متنی در پایتونآموزش استنتاج زبان طبیعی (NLI) برای دسته‌بندی صفر-داده و ارزیابی وفاداری متن در سیستم‌های RAG با ترنسفورمرها.
- راهنمای جامع انتخاب مدل‌های امبدینگ در سال 2026راهنمای فنی انتخاب مدل‌های امبدینگ در سال 2026: مقایسه روش‌های متراکم، تنک، چندبرداری و تکنیک ماتریوشکا برای بازیابی دقیق در RAG.
- استراتژی‌های قطعه‌بندی متن (Chunking) در RAGراهنمای عملی انتخاب و پیاده‌سازی استراتژی‌های قطعه‌بندی متن در سیستم‌های RAG بر اساس بنچمارک‌های سال 2026.
- رفع ابهام مرجع (Coreference Resolution) در پردازش زبان طبیعیآموزش جامع رفع ابهام مرجع (Coreference Resolution) برای خوشه‌بندی ضمایر و عبارات ارجاعی به موجودیت‌های یکسان در متن با مدل‌های عصبی و LLM.
- پیونددهی و ابهام‌زدایی موجودیت‌ها در پردازش زبان طبیعیتبدیل اشاره‌های مبهم متنی به شناسه‌های یکتا در پایگاه دانش با ترکیب تولید کاندیداها و ابهام‌زدایی بر مبنای بافت متن.
- استخراج رابطه و ساخت گراف دانشتبدیل متن آزاد به سه‌گانه‌های معتبر با روش‌های مبتنی بر الگو، مدل REBEL و پرامپت‌نویسی LLM در چارچوب AEVS برای ساخت گراف دانش قابل استناد.
- ارزیابی سامانه‌های بازیابی و تولید متن با RAGAS و DeepEvalراهنمای عملی ارزیابی سیستم‌های RAG و مدل‌های زبانی با RAGAS، DeepEval و G-Eval جهت تست خودکار، جلوگیری از پسرفت عملکرد و کالیبراسیون داوری مدل.
- ارزیابی کانتکست طولانی مدل‌های زبانی: از NIAH و RULER تا LongBenchبررسی روش‌ها و بنچمارک‌های سنجش ظرفیت واقعی پنجره کانتکست در مدل‌های زبانی بزرگ برای تفکیک ادعای سازنده از کارایی عملیاتی.
- ردیابی وضعیت گفتگو (DST): تبدیل مکالمه به داده‌های ساختاریافتهراهنمای عملی پیاده‌سازی ردیابی وضعیت گفتگو (DST) برای استخراج اسلات‌های ساختاریافته از پیام‌های چندمرحله‌ای کاربر با ترکیب روش‌های کلاسیک و LLM.