یادگیری تقویتی چندایجنتی (MARL): بررسی MADDPG، QMIX و MAPPO

وقتی چند ایجنت هوشمند در یک محیط مشترک قرار می‌گیرند، آموزش مستقل آن‌ها با شکست مواجه می‌شود؛ چون رفتار هر ایجنت محیط را برای دیگران تغییر می‌دهد و پدیده‌ی نامانایی (Non-stationarity) شکل می‌گیرد. از طرفی کنترل متمرکز هم به دلیل مقیاس‌پذیری ضعیف و محدودیت‌های زمان اجرا شدنی نیست.

الگوی «آموزش متمرکز، اجرای نامتمرکز» (CTDE) دقیقاً برای حل همین تضاد خلق شده است. با این الگو، ایجنت‌ها در زمان آموزش به تمام داده‌ها دسترسی دارند اما هنگام عملیات کاملاً مستقل و فقط با تکیه بر مشاهدات محلی خود تصمیم می‌گیرند.

درک الگوریتم‌های شاخص این حوزه مانند MADDPG، QMIX و MAPPO نه‌تنها پایه‌ی پژوهش‌های یادگیری تقویتی چندایجنتی است، بلکه الگوی معماری مستحکمی برای هماهنگی، مسیریابی و تفکیک نقش‌ها در سیستم‌های چندایجنتی مبتنی بر مدل‌های زبانی بزرگ فراهم می‌کند.

دستاوردهای یادگیری تقویتی در هماهنگی چندایجنتی، همچنان به سیستم‌های ایجنت‌های مبتنی بر مدل‌های زبانی بزرگ (LLM) در سال 2026 جهت می‌دهد. مقاله‌ی MADDPG (لو و همکاران، NeurIPS 2017، به شماره‌ی arXiv:1706.02275) الگوی «آموزش متمرکز، اجرای نامتمرکز» (CTDE) را معرفی کرد: در زمان آموزش، نقادِ هر ایجنت وضعیت‌ها و اکشن‌های همه‌ی ایجنت‌ها را می‌بیند؛ اما هنگام آزمایش، فقط بازیگرهای محلی اجرا می‌شوند. این رویکرد در محیط‌های مشارکتی، رقابتی و ترکیبی کارایی دارد. مقاله‌ی QMIX (رشید و همکاران، ICML 2018، به شماره‌ی arXiv:1803.11485) تجزیه‌ی مقدار (value decomposition) را با یک شبکه‌ی ترکیب‌کننده‌ی یکنوا مطرح کرد؛ به‌طوری‌که مقادیر Q هر ایجنت ترکیب شده و تابع Q مشترک را می‌سازند تا محاسبه‌ی argmax به‌راحتی میان ایجنت‌ها توزیع شود — رویکردی مسلط در بنچمارک StarCraft Multi-Agent Challenge (SMAC). مقاله‌ی MAPPO (یو و همکاران، NeurIPS 2022، به شماره‌ی arXiv:2103.01955) همان الگوریتم PPO با تابع ارزش متمرکز است؛ روشی با «اثربخشی شگفت‌آور» روی محیط ذرات (particle-world)، بنچمارک SMAC، فوتبال Google Research و Hanabi با حداقل تنظیم ابرپارامترها. این روش‌ها پایه‌ی آموزش خط‌مشی‌ها برای تیم‌هایی از ایجنت‌ها هستند که باید به‌صورت نامتمرکز عمل کنند. MAPPO خط مبنای پیش‌فرض سال 2026 در MARL مشارکتی است. در این درس، هر سه الگوریتم را در یک محیط ساده و شبکه‌ای (grid-world) پیاده‌سازی می‌کنیم تا پیش از ورود به آموزش ایجنت‌های مبتنی بر LLM، این سه ایده کاملاً ملکه‌ی ذهنتان شوند.

صورت مسئله

سیستم‌های ایجنت مبتنی بر LLM روزبه‌روز بیشتر برای هماهنگی میان‌ایجنتی خط‌مشی آموزش می‌دهند: اینکه چه زمانی کار را واگذار کنند، چه زمانی اقدام کنند و کدام طرف ارتباط (Peer) را فرا بخوانند. ادبیاتی که شیوه‌ی آموزش این خط‌مشی‌ها را مشخص می‌کند، یادگیری تقویتی چندایجنتی (MARL) است؛ حوزه‌ای که پیش از موج LLM شکل گرفته و چند الگوریتم انگشت‌شمار بر آن مسلط هستند.

خواندن مقالات MARL بدون دانستن واژگان الگوهای آن عذاب‌آور است. آموزش متمرکز، اجرای نامتمرکز (CTDE)، تجزیه‌ی مقدار و نقادهای متمرکز صرفاً اصطلاحات قشنگ نیستند؛ بلکه پاسخ‌هایی مشخص به مسائلی معین‌اند:

• یادگیری تقویتی مستقل (که در آن هر ایجنت به‌تنهایی یاد می‌گیرد) از دیدگاه هر ایجنت، نامانا (non-stationary) است؛ و این مسئله آسیب می‌زند.
• یادگیری تقویتی متمرکز (که در آن یک ایجنت همه چیز را کنترل می‌کند) مقیاس‌پذیر نیست و محدودیت‌های فاز اجرا را نقض می‌کند.
• CTDE مزایای هر دو را جمع می‌کند: آموزش با اطلاعات سراسری و استقرار با خط‌مشی‌های محلی.

مفاهیم کلیدی

سه محیط مورد استفاده در مقالات

• محیط ذرات (Particle World یا multi-agent particle env): فیزیک دوبعدی ساده با وظایف مشارکتی/رقابتی؛ بستر آزمایشی اولیه‌ی MADDPG.
• چالش چندایجنتی استارکرفت (SMAC): مدیریت خرد مشارکتی با مشاهده‌پذیری جزئی؛ بستر آزمایشی QMIX با اکشن‌های گسسته و وضعیت‌های پیوسته.
• فوتبال Google Research، بازی Hanabi و MPE: خطوط مبنای MAPPO.

محیط‌های مختلف، نوع اکشن‌ها و مشاهدات متفاوتی دارند و الگوریتم‌ها متناسب با آن‌ها انتخاب می‌شوند.

الگوریتم MADDPG (سال 2017) — الگوی CTDE

هر ایجنت i یک بازیگر mu_i(o_i) دارد که مشاهده‌ی خودِ آن ایجنت را به اکشن نگاشت می‌کند. همچنین هر ایجنت یک نقاد Q_i(x, a_1, ..., a_n) دارد که هنگام آموزش، همه‌ی مشاهدات و تمام اکشن‌ها را می‌بیند. به‌روزرسانی بازیگر با گرادیان سیاست و بر مبنای ارزیابی نقاد انجام می‌شود.

actor update:    grad_theta_i J = E[grad_theta mu_i(o_i) * grad_a_i Q_i(x, a_1..n) at a_i=mu_i(o_i)]
critic update:   TD on Q_i(x, a_1..n) given next-state joint estimate

علت استفاده از CTDE: هنگام آموزش به اکشن‌های همه دسترسی داریم؛ از این موضوع برای کاهش واریانس هر نقاد استفاده می‌کنیم. در زمان استقرار، هر ایجنت فقط o_i را می‌بیند و mu_i(o_i) را صدا می‌زند.

نقطه‌ی شکست: با افزایش تعداد ایجنت‌ها (N)، ابعاد نقادها بزرگ می‌شود (ورودی شامل همه‌ی اکشن‌هاست) و بدون تقریب‌زدن، فراتر از حدود 10 ایجنت مقیاس‌پذیر نیست.

الگوریتم QMIX (سال 2018) — تجزیه‌ی مقدار

فقط مختص سناریوهای مشارکتی. ارزش اکشن مشترک (Q_tot)، تابعی از ترکیب یکنوای مقادیر Q تک‌تک ایجنت‌هاست:

$$Q_{\text{tot}}(\tau, a) = f\big(Q_1(\tau_1, a_1), \ldots, Q_n(\tau_n, a_n)\big), \quad \frac{\partial f}{\partial Q_i} \ge 0$$

شرط یکنوایی تضمین می‌کند که argmax_a Q_tot را می‌توان از طریق انتخاب مستقل argmax_{a_i} Q_i توسط هر ایجنت به دست آورد. این دقیقاً همان ویژگی اجرای نامتمرکزی است که به آن نیاز دارید. در زمان آموزش، یک شبکه‌ی ترکیب‌کننده مقدار Q_tot را بر اساس Qهای انفرادی ایجنت‌ها تولید می‌کند.

علت برتری QMIX در SMAC: مدیریت خرد مشارکتی در StarCraft ایجنت‌های همگن، مشاهدات محلی و پاداش سراسری دارد؛ وضعیتی بی‌نقص برای تجزیه‌ی مقدار.

نقطه‌ی شکست: قید یکنوایی محدودکننده است؛ ساختار پاداش در برخی وظایف قابلیت تجزیه‌ی یکنوا ندارد (مثل زمانی که یک ایجنت باید فدای تیم شود). نسخه‌های توسعه‌یافته (مانند QTRAN و QPLEX) این محدودیت را تعدیل می‌کنند.

الگوریتم MAPPO (سال 2022) — خط مبنای پیش‌فرضی که نادیده گرفته شد

الگوریتم Multi-Agent PPO در واقع PPO همراه با یک تابع ارزش متمرکز است. هر ایجنت خط‌مشی خودش را دارد؛ اما همه‌ی آن‌ها از توابع ارزشی مشترک (یا مختص هر ایجنت) بهره می‌برند که کل وضعیت را می‌بیند. یو و همکاران در سال 2022، الگوریتم MAPPO را در پنج بنچمارک با MADDPG، QMIX و بسط‌های آن‌ها مقایسه کردند و نشان دادند:

• MAPPO در محیط ذرات، SMAC، فوتبال Google Research، بازی Hanabi و MPE با روش‌های MARL خارج از خط‌مشی برابری می‌کند یا از آن‌ها جلو می‌زند.
• به حداقل تنظیم ابرپارامترها نیاز دارد.
• آموزش آن پایدار است و در سیدهای مختلف (seeds) نتایج یکسانی می‌دهد.

جامعه‌ی علمی تا پیش از این مقاله، MARL هم‌سیاست را دست‌کم می‌گرفت. در سال 2026، الگوریتم MAPPO خط مبنای پیش‌فرض MARL مشارکتی است و هر روش جدیدی باید آن را شکست دهد.

چرا مهندسان ایجنت‌های مبتنی بر LLM باید به این موضوع اهمیت دهند؟

این مبحث سه کاربرد مستقیم دارد:

1. آموزش مسیریاب (Router): یک متایجنت تصمیم می‌گیرد کدام زیرایجنت وظیفه را پیش ببرد. این سناریو، یک مسئله‌ی MARL شامل N زیرایجنت نامتمرکز و یک مسیریاب متمرکز است که MAPPO کاملاً برای آن مناسب است.
2. پدیداری نقش‌ها (Role emergence): در شبیه‌سازی ایجنت‌های زایا، آموزش ایجنت‌ها به‌گونه‌ای که در طول زمان نقش‌های مکمل یکدیگر را به دست گیرند، در عمل همان مسئله‌ی MARL است. تجزیه‌ی مقدار به سبک QMIX این هم‌افزایی را بر اساس ساختارش تضمین می‌کند.
3. فراخوانی ابزار در سیستم‌های چندایجنتی: وقتی ایجنت‌ها ابزارهای مشترک دارند و بر سر بودجه رقابت می‌کنند، آموزش آن‌ها با CTDE خط‌مشی‌های محلیِ آماده‌ی استقراری تولید می‌کند که محدودیت‌های منابع را به‌خوبی رعایت می‌کنند.

نکته‌ی تجربی در پروداکشن: در سال 2026، بیشتر سیستم‌های عملیاتی ایجنت‌های مبتنی بر LLM خط‌مشی‌های خود را با پرامپت هدایت می‌کنند تا آموزش مستقیم. MARL زمانی به کار می‌آید که (الف) حجم زیادی داده‌ی تعاملی، (ب) یک سیگنال پاداش شفاف، و (ج) تمایل به سرمایه‌گذاری روی زیرساخت آموزشی داشته باشید.

CTDE به‌مثابه‌ی الگوی طراحی فراتر از یادگیری تقویتی

CTDE حتی بدون آموزش هم یک الگوی معماری مفید است:

• در زمان طراحی، دید کامل به کل تیم را فرض بگیرید.
• در محیط اجرا، اجرای نامتمرکز را اعمال کنید: هر ایجنت باید صرفاً o_i را ببیند.

این الگو شما را ملزم می‌کند وضعیت هر ایجنت را صریح و تفکیک‌شده نگه دارید و از همان ابتدا روی مشاهده‌پذیری جزئی حساب باز کنید. در بسیاری از سیستم‌های چندایجنتی پروداکشن، به اشتباه فرض می‌شود وضعیت در همه جا به اشتراک گذاشته شده است؛ پایبندی به CTDE مانع از این خطای طراحی می‌شود.

مسئله‌ی نامانایی

وقتی چند ایجنت هم‌زمان یاد می‌گیرند، محیط هر ایجنت (که شامل خط‌مشی سایرین هم هست) نامانا می‌شود. در نتیجه، اثبات‌های کلاسیک در یادگیری تقویتی تک‌ایجنتی دیگر جواب نمی‌دهند. همه‌ی الگوریتم‌های MARL این درس به این معضل می‌پردازند:

• الگوریتم MADDPG: نقاد سراسری همه‌ی اکشن‌ها را می‌بیند؛ بنابراین تخمین ارزش آن مانا می‌ماند.
• الگوریتم QMIX: تجزیه‌ی مقدار، یادگیری را به فضای Q مشترک می‌برد؛ جایی که بهینگی کاملاً تعریف‌شده است.
• الگوریتم MAPPO: تابع ارزش متمرکز، واریانس ناشی از تغییر خط‌مشی بقیه‌ی ایجنت‌ها را مهار می‌کند.

در سیستم‌های ایجنت‌های مبتنی بر LLM، نامانایی خودش را این‌طور نشان می‌دهد: «ایجنت من ماه پیش درست کار می‌کرد، اما از وقتی ایجنت بالادستی تغییر کرده، رفتار این هم به هم ریخته است.» آموزش MARL با CTDE درمان اصولی این درد است؛ راهکارهای سطح پرامپت سریع‌تر جواب می‌دهند، ولی ماندگاری کمتری دارند.

مواردی که در این درس آموزش داده نمی‌شود

آموزش شبکه‌های عصبی واقعی مبحث فاز 09 است. در این درس، نسخه‌هایی با خط‌مشی‌های قاعده‌محور (اسکریپت‌شده) می‌سازیم تا الگوهای CTDE، تجزیه‌ی مقدار و ارزش متمرکز را بدون درگیر شدن با به‌روزرسانی گرادیان نشان دهیم. هدف این است که پیش از رفتن سراغ یک کتابخانه‌ی کامل MARL (مانند PyMARL، MARLlib و ماژول چندایجنتی RLlib)، این الگوها برایتان جا بیفتند.

پیاده‌سازی از صفر

فایل code/main.py سه الگو را در یک محیط ساده‌ی گرید 2-ایجنت مشارکتی پیاده‌سازی می‌کند:

• محیط: 2 ایجنت در یک گرید 4x4 و یک گوی پاداش. اگر هر کدام از ایجنت‌ها به گوی برسد، پاداش برابر با 1 شده و وظیفه پایان می‌یابد.
• کلاس IndependentAgents: هر ایجنت بقیه را جزئی از محیط می‌بیند. خط مبنای ما.
• کلاس MADDPGStyle: نقاد متمرکز ارزش مشترک را محاسبه می‌کند؛ خط‌مشی بازیگرها بر پایه‌ی آن به‌روزرسانی می‌شود (بهبود اسکریپت‌شده‌ی خط‌مشی).
• کلاس QMIXStyle: تجزیه‌ی مقدار با یک ترکیب‌کننده‌ی یکنوا.
• کلاس MAPPOStyle: تابع ارزش متمرکز؛ خط‌مشی‌ها بر مبنای خط مبنای مشترک به‌روزرسانی می‌شوند.

هر چهار پیاده‌سازی در اپیزودهای یکسانی اجرا می‌شوند و میانگین تعداد گام‌های رسیدن به هدف را گزارش می‌دهند. نسخه‌های CTDE نسبت به خط مبنای مستقل، به مسیرهای کوتاه‌تری همگرا می‌شوند.

دستور اجرا:

python3 code/main.py

خروجی مورد انتظار: ایجنت‌های مستقل به‌طور میانگین حدود 6 گام نیاز دارند؛ اما نسخه‌های CTDE به سمت حدود 3.5 گام همگرا می‌شوند (حالت بهینه روی گرید 4x4 برابر با 3 است). تفاوت کارایی الگوها حتی با وجود خط‌مشی‌های اسکریپت‌شده به‌خوبی نمایان می‌شود.

استفاده از ابزارهای واقعی

فایل outputs/skill-marl-picker.md مهارتی است که متناسب با وظیفه‌ی چندایجنتی، الگوریتم MARL مناسب را انتخاب می‌کند: مشارکتی در برابر رقابتی، همگن در برابر ناهمگن، نوع فضای اکشن، مقیاس سیستم و سیگنال پاداش.

خروجی این درس

استفاده از MARL در محیط عملیاتی (پروداکشن) چندان رایج نیست. هر وقت سراغ آن رفتید:

• کار را با MAPPO شروع کنید. مقاله‌ی 2022 این روش را به‌عنوان خط مبنا تثبیت کرد؛ پیاده‌سازی و بازتولید آن در گام اول، مانع از هدررفت هفته‌ها زمان برای الگوریتم‌های عجیب‌وغریب می‌شود.
• جریان مشاهدات و اکشن‌های همه‌ی ایجنت‌ها را لاگ کنید. خطایابی MARL بدون ردگیری محاسبات (Trace) برای هر ایجنت بی‌فایده است.
• کد آموزش را کاملاً از کد اجرا جدا کنید. CTDE یک نظم مهندسی است؛ مسیر اجرا واقعاً نباید چیزی جز o_i ببیند.
• مراقب شکل‌دهی پاداش (Reward Shaping) باشید. MARL نسبت به طراحی پاداش حساسیت فوق‌العاده‌ای دارد. یک باگ هماهنگی در طراحی پاداش کافی است تا ایجنت‌ها سوءاستفاده از آن را یاد بگیرند. حتماً تست‌های مخرب اجرا کنید.
• برای ایجنت‌های مبتنی بر LLM، اول سراغ خط‌مشی‌های سطح پرامپت بروید. تنها وقتی داده‌های تعاملی زیاد، سیگنال پاداش شفاف و زیرساخت آموزشی کافی داشتید برای MARL هزینه کنید.

تمرین‌ها

1. اسکریپت code/main.py را اجرا کنید. تفاوت تعداد گام‌های رسیدن به هدف را میان ایجنت‌های مستقل و ایجنت‌های سبک MAPPO بسنجید. آیا این اختلاف در یک گرید 6x6 بیشتر می‌شود یا کمتر؟
2. یک نسخه‌ی رقابتی پیاده کنید: دو ایجنت، یک گوی، و فقط اولین ایجنتی که برسد پاداش می‌گیرد. کدام الگو رقابت را تمیزتر مدیریت می‌کند؟ (از نظر تاریخی MADDPG).
3. بخش 3 از مقاله‌ی MADDPG (به شماره‌ی arXiv:1706.02275) را بخوانید. رابطه‌ی دقیق به‌روزرسانی نقاد را به‌صورت نمادین و در قالب شبه‌کد به زبان خودتان بنویسید.
4. مقاله‌ی MAPPO (به شماره‌ی arXiv:2103.01955) را بررسی کنید. چرا نویسندگان مدعی هستند ارزش متمرکز + PPO در بنچمارک‌های آن‌ها روش‌های MARL خارج از خط‌مشی را شکست می‌دهد؟ سه مورد از قوی‌ترین ادعاهای آن‌ها را فهرست کنید.
5. الگوی طراحی CTDE را روی یک سیستم فرضی از ایجنت‌های مبتنی بر LLM (مانند ایجنت پژوهشگر + خلاصه‌ساز + کدنویس) پیاده کنید. در زمان طراحی چه اطلاعات مشترکی وجود دارد که در محیط اجرا در دسترس نیست؟

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• مقاله‌ی لو و همکاران — Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments — معرفی MADDPG؛ NeurIPS 2017
• مقاله‌ی رشید و همکاران — QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning — معرفی QMIX؛ ICML 2018
• مقاله‌ی یو و همکاران — The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games — معرفی MAPPO؛ NeurIPS 2022
• پست وبلاگ BAIR درباره‌ی MAPPO — ارائه‌ای خواندنی و روشن از نتایج الگوریتم MAPPO
• مخزن SMAC — چالش چندایجنتی StarCraft (SMAC)