مناظره چندایجنت و همکاری مدل‌ها: مبانی، توپولوژی خلوت و پیاده‌سازی

اتکای صرف به یک مدل زبانی برای سنجش درستی خروجی خودش، معمولاً نتیجه‌ی رضایت‌بخشی ندارد؛ چرا که مدل‌ها به آسانی در تله‌ی سوگیری تایید یا تفکر گروهی گرفتار می‌شوند. از طرف دیگر، همیشه به ابزارهای جانبی برای اعتبارسنجی فکت‌ها دسترسی نداریم. الگوی مناظره چندایجنت (Multi-Agent Debate) این چالش را با وارد کردن چند مدل مستقل، نقد رفت‌وبرگشتی و رسیدن به همگرایی نهایی حل می‌کند.

در سیستم‌های بزرگ، ارسال تمام پیشنهادها به تک‌تک مدل‌ها (مش کامل) هزینه‌ی توکن و تاخیر سرسام‌آوری تولید می‌کند. در این درس، ضمن بررسی دقیق مکانیسم مناظره و جامعه‌ی ذهن‌ها، یاد می‌گیرید چگونه با معماری‌های خلوت‌تر مثل توپولوژی ستاره‌ای، هزینه‌ها را بدون افت کیفیت مدیریت و پیاده‌سازی کنید.

مقاله دو و همکاران (Du et al., ICML 2024, «جامعه ذهن‌ها» یا Society of Minds) تعداد N نمونه از مدل را اجرا می‌کند که مستقلاً پاسخ‌هایی پیشنهاد می‌دهند و سپس طی R راند به صورت تکرارشونده یکدیگر را نقد می‌کنند تا همگرا شوند. این کار صحت فکت‌ها (factuality)، پیروی از قوانین و استدلال را بهبود می‌دهد. توپولوژی خلوت (sparse topology) از نظر هزینه توکن، توپولوژی مش کامل (full mesh) را شکست می‌دهد.

اهداف یادگیری

• توضیح پروتکل مناظره: N پیشنهاددهنده، R راند و همگرایی روی یک پاسخ مشترک.
• شرح دلایل بهبود صحت فکت‌ها، پیروی از قوانین و استدلال به کمک مناظره.
• توضیح توپولوژی خلوت: نیازی نیست هر مناظره‌کننده خروجی همه‌ی افراد دیگر را ببیند.
• پیاده‌سازی مناظره فقط با کتابخانه‌ی استاندارد پایتون (stdlib) روی یک مدل زبانی اسکریپت‌شده با دو نسخه‌ی مش کامل و خلوت؛ سنجش هزینه توکن در برابر دقت.

صورت مسئله

روش خوداصلاحی یا Self-Refine (درس 05) بر نقد مدل توسط خودش تکیه دارد و خطر «تفکر گروهی» (groupthink) را بالا می‌برد. روش CRITIC (درس 05) نقدها را بر ابزارهای خارجی متکی می‌کند؛ ابزارهایی که همیشه در دسترس نیستند. مناظره حالت سومی را پیش می‌کشد: چند نمونه‌ی مستقل، نقد متقابل و رسیدن به همگرایی از دل اختلاف‌نظر.

مفاهیم پایه

جامعه ذهن‌ها (Du et al., ICML 2024)

• تعداد N نمونه از مدل به شکل مستقل برای یک پرسش واحد پاسخ پیشنهاد می‌دهند.
• طی R راند، هر مدل پیشنهادهای دیگران را می‌خواند و آن‌ها را نقد می‌کند.
• مدل‌ها پاسخ‌های خود را بر اساس نقدها به‌روزرسانی می‌کنند.
• پس از R راند، پاسخ همگراشده‌ی نهایی برگردانده می‌شود.

آزمایش‌های نسخه‌ی اصلی به دلیل هزینه‌ها از N=3 و R=2 استفاده کردند. روی مسائل دشوار (مانند MMLU، GSM8K، اعتبارسنجی حرکت شطرنج و تولید زندگی‌نامه)، دقت مدل با افزایش تعداد ایجنت‌ها و راندها بالا می‌رود.

ترکیب مدل‌های گوناگون بر مناظره‌های تک‌مدلی برتری دارد: عملکرد هم‌زمان ChatGPT + Bard از هر کدام به تنهایی بهتر است.

توپولوژی خلوت

مقاله «بهبود مناظره چندایجنت با توپولوژی ارتباطی خلوت» (Improving Multi-Agent Debate with Sparse Communication Topology، نسخه arXiv:2406.11776 سال‌های 2024-2025) نشان داد مناظره با مش کامل همیشه بهینه نیست. توپولوژی‌های خلوت (ستاره‌ای، حلقه‌ای، هاب و پره یا hub-and-spoke) می‌توانند با هزینه توکن کمتر به همان سطح از دقت برسند؛ در این حالت هر مناظره‌کننده فقط زیرمجموعه‌ای از طرف‌های ارتباط (peers) را می‌بیند.

پیامدها در عمل:

• مش کامل با N=5 و R=3 یعنی 5 × 3 = 15 پیشنهاد؛ هر پیشنهاد 4 طرف ارتباط را می‌خواند که می‌شود 60 عملیات نقد.
• ستاره‌ای با N=5 و R=3 (یک هاب + 4 پره) یعنی 15 پیشنهاد؛ پره‌ها فقط هاب را می‌خوانند که در مجموع می‌شود 12 عملیات نقد.

چه زمانی مناظره گره‌گشاست؟

• صحت فکت‌ها. وقتی N پیشنهاد مستقل وجود دارد، بررسی متقابل باعث کاهش توهم مدل می‌شود.
• پیروی از قوانین. برای نمونه در سنجش اعتبار حرکت شطرنج، اگر یک مدل قانونی را جا بیندازد، بقیه متوجه آن می‌شوند.
• استدلال‌های باز و چندوجهی. چارچوب‌بندی‌های مختلف در نهایت به سمت پاسخ درست همگرا می‌شوند.

چه زمانی مناظره آسیب می‌زند؟

• تجربه کاربری حساس به تاخیر. اجرای N × R راند متوالی تاخیری ایجاد می‌کند که شاید سیستم شما تاب آن را نداشته باشد.
• مقیاس‌های حساس به هزینه. مصرف N × R توکن به ازای هر پرسش.
• جستجوهای فکتی ساده. یک بار واکشی مستقیم اطلاعات بسیار ارزان‌تر از راه انداختن پنج مناظره است.

پیاده‌سازی‌های کاربردی در سال 2026

• الگوی هماهنگ‌کننده-کارگر Anthropic (درس 12) — گونه‌ای از مناظره که یک مرحله‌ی ترکیب و سنتز نهایی دارد.
• ناظر LangGraph (درس 13) — یک مسیریاب مرکزی به همراه ایجنت‌های متخصص که می‌توانند مناظره را در قالب یک نود پیاده کنند.
• OpenAI Agents SDK (درس 16) — تحویل وظایف (handoff) رفت‌وبرگشتی بین ایجنت‌ها برای نقد گام‌به‌گام.
• ارزیابی‌های چندایجنت — جفت کردن مناظره با الگوی ارزیاب-بهینه‌ساز برای تولید سیگنال ارزیابی.

نقاط شکست این الگو

• فروپاشی همگرایی (Convergence collapse). همه‌ی ایجنت‌ها روی اولین پاسخ غلط توافق می‌کنند. راهکار: اجباری کردن راندهای همراه با ابراز مخالفت.
• شکست هاب (Hub failure). در توپولوژی ستاره‌ای، اگر هاب اشتباه کند همه را به بیراهه می‌برد. راهکار: چرخشی کردن هاب یا استفاده از چند هاب هم‌زمان.
• یکنواختی پرامپت‌ها (Prompt homogenization). پرامپت یکسان برای همه‌ی ایجنت‌ها به تولید پاسخ‌های مشابه می‌انجامد. راهکار: استفاده از پرامپت‌ها یا مدل‌های متنوع.

پیاده‌سازی از صفر

فایل code/main.py مناظره را فقط با کتابخانه‌ی استاندارد پیاده می‌کند:

• کلاس Debater (مدل زبانی اسکریپت‌شده با انحراف دیدگاه مجزا به ازای هر مناظره‌کننده).
• اجراکننده‌های FullMeshDebate و SparseDebate.
• سه پرسش: یکی فکتی، یکی مبتنی بر قوانین و یکی بر پایه‌ی استدلال.
• سنجه‌ها: پاسخ همگراشده، تعداد راندها تا رسیدن به همگرایی و مجموع کل عملیات نقد.

برای اجرا:

python3 code/main.py

خروجی: دقت و هزینه به ازای هر پروتکل؛ توپولوژی خلوت در 2 پرسش از 3 پرسش با هزینه‌ی کمتر به دقت مش کامل می‌رسد.

استفاده از ابزارهای واقعی

• هماهنگ‌کننده-کارگر Anthropic برای مناظره‌های ساده میان 2 تا 3 کارگر.
• LangGraph برای مناظره‌های چندراندی دارای حالت (stateful) به همراه چک‌پوینت‌گیری (checkpointing).
• پیاده‌سازی سفارشی برای کارهای پژوهشی یا ارائه‌ی تضمین‌های خاص در درستی خروجی.

خروجی این درس

فایل outputs/skill-debate.md ساختار یک مناظره‌ی چندایجنت را با امکان تنظیم توپولوژی، مقادیر N و R و یک قاعده‌ی همگرایی اسکلت‌بندی می‌کند.

تمرین‌ها

1. یک قاعده‌ی «مخالفت اجباری» پیاده کنید: در راند 1، تک‌تک مناظره‌کنندگان باید پیشنهادی متفاوت از بقیه ارائه دهند. تاثیر آن را بر سرعت همگرایی بسنجید.
2. یک تجمیع با وزن‌دهی بر اساس اطمینان اضافه کنید: مناظره‌کننده‌ها خروجی را به شکل (پاسخ، میزان اطمینان) برمی‌گردانند و تجمیع‌کننده بر پایه‌ی اطمینان به آن‌ها وزن می‌دهد. آیا این کار کمکی می‌کند؟
3. یکی از «ایجنت‌ها» را با یک مدل زبانی اسکریپت‌شده‌ی دیگر که دیدگاه‌های متفاوتی دارد عوض کنید. آیا ناهمگونی ایجنت‌ها دقت را بالاتر می‌برد؟
4. هزینه توکن را در دو حالت مش کامل و خلوت برای آن 3 پرسش اندازه بگیرید. نمودار هزینه در برابر دقت را رسم کنید.
5. مقاله‌ی Society of Minds را بخوانید. نمونه‌ی ساده‌ی خود را به حالت N=5 و R=3 ببرید. چه بخش‌هایی از کار می‌افتند؟ چه بخش‌هایی بهتر عمل می‌کنند؟

اصطلاحات کلیدی

برای مطالعه بیشتر

• Du et al., Improving Factuality and Reasoning in Language Models through Multiagent Debate (arXiv:2305.14325) — مقاله مرجع مناظره چندایجنت
• Sparse Communication Topology (arXiv:2406.11776) — نتایج تجربی توپولوژی ارتباطی خلوت
• Anthropic, Building Effective Agents — ساختار هماهنگ‌کننده-کارگر به عنوان گونه‌ای از مناظره
• Madaan et al., Self-Refine (arXiv:2303.17651) — رویکرد متناظر خودنقدگری در قالب تک‌مدل