فاز 9
یادگیری تقویتی
ایجنت‌هایی که با انجام‌دادن یاد می‌گیرند؛ پایه‌ی RLHF.
- 12 درس
- حدود 14 ساعت
- فرآیند تصمیم‌گیری مارکوف (MDP): وضعیت‌ها، اکشن‌ها و پاداش‌هاآموزش جامع فرآیند تصمیم‌گیری مارکوف (MDP): ساختار بنیادین یادگیری تقویتی از بازی‌ها تا RLHF، به همراه معادله بلمن و پیاده‌سازی پایتون.
- برنامه‌ریزی پویا در یادگیری تقویتی: تکرار سیاست و تکرار مقدارپیاده‌سازی دقیق الگوریتم‌های تکرار سیاست و تکرار مقدار بر پایه‌ی معادلات بلمن و تحلیل مبانی برنامه‌ریزی پویا در یادگیری تقویتی.
- روش‌های مونت‌کارلو در یادگیری تقویتی: یادگیری از اپیزودهای کاملبا کنار گذاشتن فرضیات سنگین برنامه‌ریزی پویا، یاد بگیرید چطور فقط با نمونه‌برداری از اپیزودها، مقادیر ارزش و خط‌مشی بهینه را با روش‌های مونت‌کارلو بیاموزید.
- یادگیری تفاوت زمانی: راهنمای جامع Q-Learning و SARSAمقایسه و پیاده‌سازی الگوریتم‌های بنیادی TD یعنی Q-learning و SARSA در یادگیری تقویتی و درک تفاوت روش‌های on-policy و off-policy.
- شبکه‌های کیو عمیق (DQN): پایدارسازی یادگیری تقویتی عمیقآموزش گام‌به‌گام الگوریتم DQN، حل چالش سه‌گانه‌ی مرگبار با بافر بازپخش و شبکه هدف، و پیاده‌سازی آن با کتابخانه‌ی استاندارد پایتون.
- آموزش گرادیان سیاست و پیاده‌سازی الگوریتم REINFORCE از صفرآموزش و پیاده‌سازی الگوریتم پایه‌ای REINFORCE؛ یاد بگیرید چطور سیاست را مستقیماً بهینه‌سازی کنید و بنیان الگوریتم‌های PPO، GRPO و RLHF را بشناسید.
- یادگیری تقویتی بازیگر-نقاد: پیاده‌سازی الگوریتم‌های A2C و A3Cراهنمای جامع معماری بازیگر-نقاد، پیاده‌سازی الگوریتم‌های A2C و A3C و کاهش واریانس گرادیان با تخمین تعمیم‌یافته مزیت (GAE).
- آموزش الگوریتم PPO: بهینه‌سازی خط‌مشی نزدیکالگوریتم PPO با تابع هدف برش‌خورده امکان استفاده چندباره از داده‌ها را بدون ناپایداری مدل فراهم می‌کند؛ الگوریتم استاندارد یادگیری تقویتی و RLHF.
- آموزش RLHF و مدل‌سازی پاداش در مدل‌های زبانی بزرگراهنمای جامع پیاده‌سازی پایپ‌لاین سه‌مرحله‌ای RLHF شامل آموزش مدل پاداش، بهینه‌سازی خط‌مشی با PPO و کنترل هک پاداش با جریمه‌ی KL.
- یادگیری تقویتی چندایجنتی (MARL): از بازی‌های مارکوف تا CTDEراهنمای جامع یادگیری تقویتی چندایجنتی (MARL): غلبه بر چالش محیط‌های نامانا با رویکرد CTDE، الگوریتم‌های مدرن مانند MAPPO و QMIX و پیاده‌سازی عملی در محیط شبکه.
- انتقال از شبیه‌ساز به دنیای واقعی (Sim-to-Real Transfer)راهکارهای عبور از شکاف واقعیت و انتقال موفق خط‌مشی‌های یادگیری تقویتی از شبیه‌ساز به سخت‌افزار واقعی با روش‌های DR و SI.
- یادگیری تقویتی در بازی‌ها: از AlphaZero و MuZero تا استدلال با GRPOبررسی پیوند یادگیری تقویتی بازی‌ها با استدلال LLMها؛ از AlphaZero و MuZero تا بهینه‌سازی خط‌مشی نسبی گروه (GRPO) در DeepSeek-R1.