بسیاری از توسعه‌دهندگان تصور می‌کنند اجرای چند ایجنت هم‌زمان و رأی‌گیری میان آن‌ها همیشه دقت مدل را بالا می‌برد. با این حال، استفاده از چند نسخه از یک مدل پایه معمولاً خطاهای همبسته تولید میکند و اگر ساختار ارتباطی درستی نداشته باشید، هزینه و تاخیر توکن‌ها سر به فلک می‌کشد بدون اینکه پاسخ دقیق‌تری به دست بیاید.
در این درس یاد می‌گیرید چگونه به‌جای یک کپی‌برداری ساده، از ایجنت‌های ناهمگن (مدل‌ها و پرامپت‌های متفاوت) استفاده کنید و جریان تبادل داده میان آن‌ها را بر پایه توپولوژی‌های ستارهای، زنجیرهای، درختی یا گرافی سامان دهید. همچنین پدیده‌ای به نام «مالیات هماهنگی» را اندازه می‌گیرید تا بدانید چه زمانی افزودن ایجنت بیشتر، سیستم را کند و هزینه‌زا میکند.
ارزان‌ترین روش تجمیع: نمونه‌گیری از N ایجنت مستقل و رأی‌گیری اکثریتی. روش خودسازگاری (Self-Consistency) وانگ و همکاران در سال 2022 همین کار را با N بار نمونه‌گیری از یک مدل انجام داد. رویکرد چندایجنت با اضافه کردن ایجنت‌های ناهمگن (Heterogeneous) این ایده را گسترش می‌دهد تا از تک‌صدایی یا فرهنگ تک‌محصولی (Monoculture) خلاص شود؛ یعنی استفاده از مدل‌های مختلف، پرامپت‌های مختلف، دماهای متفاوت و کانتکست‌های گوناگون. فراتر از رأی‌گیری اکثریتی، توپولوژی مناظره نیز تعیین‌کننده است: بنچمارک MultiAgentBench (مقاله arXiv:2503.01935، کنفرانس ACL 2025) هماهنگی در الگوهای ستارهای، زنجیرهای، درختی و گرافی را ارزیابی کرد و نشان داد که گراف بهترین ساختار برای وظایف پژوهشی است، هرچند بعد از حدود 4 ایجنت «مالیات هماهنگی» (Coordination tax) ظاهر می‌شود. مقاله AgentVerse (کنفرانس ICLR 2024) دو الگوی رفتاری نوظهور را مستند میکند: رفتارهای داوطلبانه و رفتارهای همنوایی. همنوایی هم یک قابلیت مفید است (رسیدن به اجماع) و هم یک خطر جدی (تفکر گروهی، درس 24). این درس فضای توپولوژی‌ها را ترسیم میکند، هر کدام از این ساختارها را می‌سازد و مالیات هماهنگی را اندازه می‌گیرد.
صورت مسئله
مناظره می‌تواند دقت را بالا ببرد (دو و همکاران، arXiv:2305.14325). در عین حال می‌تواند باعث افت کیفیت هم بشود. اینکه مناظره کمکی میکند یا نه، به چهار تصمیم ساختاری بستگی دارد:
- چه کسی با چه کسی حرف می‌زند (توپولوژی).
- چند دور گفت‌وگو انجام می‌شود (تحقیق دو در سال 2023 نشان می‌دهد که هم تعداد دورها و هم تعداد ایجنتها مستقلاً موثرند).
- آیا ایجنتها ناهمگن هستند (مدل‌های پایه متفاوت جلوی تک‌صدایی را می‌گیرند).
- آیا صدای نقادانه‌ای حضور دارد (تقویت موضع روبه‌رو در برابر مغالطه پهلوان‌پنبه).
تیم‌هایی که بدون فکر راه‌حل «اجرای 5 ایجنت و رأی‌گیری» را به جریان کاری‌شان وصل می‌کنند، اغلب نسبت به یک ایجنت تکی پسرفت می‌کنند. این شکست‌ها اتفاقی نیستند؛ ریشه در توپولوژی انتخابی و نبود ناهمگنی دارند. این درس نقشه راه همین توپولوژی‌هاست.
مفاهیم پایه
خودسازگاری؛ خط مبنای تک‌مدلی
وانگ و همکاران در سال 2022 (مقاله «Self-Consistency Improves Chain of Thought Reasoning») از یک مدل مشخص N بار با دمای بیشتر از 0 نمونه‌گیری کردند و روی پاسخ مسیرهای استدلال، رأی‌گیری اکثریتی راه انداختند. نتیجه روی بنچمارک GSM8K مشخص بود: N=40 نمونه نسبت به یک‌بار رمزگشایی حریصانه (Greedy decode)، دقت را به شکل چشمگیری افزایش داد. خودسازگاری در واقع پیش‌درآمد تک‌ایجنتی برای رأی‌گیری چندایجنت به حساب می‌آید.
محدودیت اصلی: خودسازگاری از یک مدل پایه استفاده میکند؛ بنابراین خطاها ذاتاً با هم همبستگی دارند. اگر مدل سوگیری سیستماتیکی داشته باشد، هر N نمونه همان سوگیری را تکرار می‌کنند.
رأی‌گیری چندایجنت؛ توسعه ناهمگن
به جای N بار نمونه‌گیری از یک مدل، از N ایجنت متفاوت استفاده کنید: مدل‌های پایه مختلف (Claude، GPT، Llama)، پرامپت‌های متنوع و دسترسی به ابزارهای گوناگون. مزیت این کار مستقل شدن خطاها از یکدیگر است. هزینه‌اش: هر ایجنت هزینه مالی متفاوتی دارد و هماهنگ کردن آن‌ها بار پردازشی و تاخیر اضافی ایجاد میکند.
نام مرسوم این رویکرد در متون فنی سال 2026، روش A-HMAD یا مناظره چندایجنت ناهمگن تقابلی (Adversarial Heterogeneous Multi-Agent Debate) است. هرچند این اصطلاح هنوز همه‌گیر نشده، اما مقالات برای اشاره به «مناظره مدل‌های مختلف با هدف کاهش خطاهای همبسته ناشی از تک‌صدایی» از آن استفاده می‌کنند.
چهار توپولوژی اصلی
star chain tree graph
┌─A─┐ A─B─C─D ┌──A──┐ A───B
│ │ │ │ │ × │
B C B C D───C
│ │ / \ / \
D E D E F G (fully connected)ستارهای (Star): یک هاب مرکزی وجود دارد و بقیه فقط با هاب صحبت می‌کنند. معادل الگوی سرپرست-کارگر بدون کانال ارتباطی مستقیم بین کارگرها. زنجیرهای (Chain): خطی است؛ هر ایجنت خروجی ایجنت پیشین را می‌بیند؛ شبیه به یک پایپ‌لاین. درختی (Tree): سلسله‌مراتبی است و در سیستم‌های ایجنتی سلسله‌مراتبی کاربرد دارد (درس 06). گرافی (Graph): ارتباط هر-به-هر. شامل گراف‌های کاملاً متصل و گراف‌های جهت‌دار غیرمدور (DAG) دلخواه می‌شود.
مالیات هماهنگی (MultiAgentBench)
بنچمارک MultiAgentBench (پروژه MARBLE، کنفرانس ACL 2025، arXiv:2503.01935) چهار الگوی ستارهای، زنجیرهای، درختی و گرافی را روی مجموعه‌ای از وظایف شامل پژوهش، کدنویسی و برنامه‌ریزی سنجیده است. نتایج کلیدی این ارزیابی:
- توپولوژی گراف در وظایف پژوهشی برنده است. اطلاعات به‌صورت هر-به-هر جابه‌جا می‌شود و ایجنتها می‌توانند کار یکدیگر را نقد کنند.
- الگوی ستارهای در وظایف مبتنی بر فکتهای سریع بهترین عملکرد را دارد. هاب مرکزی داده‌ها را فیلتر و یکپارچه میکند.
- الگوی زنجیرهای در پایپ‌لاین‌های گام‌به‌گام (بهبود مرحلهبهمرحله) برنده می‌شود.
- مالیات هماهنگی در توپولوژی گراف، بعد از حدود 4 ایجنت خودش را نشان می‌دهد. هزینه توکن و زمان اجرای واقعی بسیار سریعتر از کیفیت رشد می‌کنند.
این سقف 4 ایجنت یک مشاهده تجربی است، نه یک محدودیت بنیادین ریاضی. این عدد بازتاب‌دهنده ظرفیت کانتکست مدل‌های سال 2026 است: کانتکست هر ایجنت با خروجی سایر طرف‌های ارتباط پر می‌شود و به محض اینکه همه به خروجی همه دسترسی پیدا کنند، ارزش نهایی اضافه کردن ایجنت N+1 به شدت افت میکند.
استراتژی‌های مناظره چندایجنت («آیا واقعاً به MAD نیاز داریم؟»)
مقاله arXiv:2311.17371 مروری جامع بر استراتژی‌های MAD در سال 2023 است. نتیجه کلیدی آن که پژوهشگران دیگر هم تاییدش کرده‌اند این است: گونه‌هایی از مناظره که از نظر ساختاری شبیه به خودسازگاری هستند (نمونه‌گیری مستقل + تجمیع)، با بودجه محاسباتی یکسان معمولاً عملکرد ضعیف‌تری نسبت به خودسازگاری نشان می‌دهند. مناظره چندایجنت بیشترین کاربرد را زمانی دارد که ایجنتها واقعاً ناهمگن باشند و ساختار مناظره حالت تقابلی داشته باشد (حداقل یک ایجنت نقش مخالف را بازی کند).
الگوهای نوظهور در AgentVerse
مقاله AgentVerse (کنفرانس ICLR 2024، نشانی: https://proceedings.iclr.cc/paper_files/paper/2024/file/578e65cdee35d00c708d4c64bce32971-Paper-Conference.pdf) دو رفتاری را مستند میکند که بدون برنامه‌ریزی قبلی، از دل مناظره چندایجنت سر برمی‌آورند:
- رفتار داوطلبانه (Volunteer): یک ایجنت بدون اینکه از او خواسته شود، پیشنهاد کمک می‌دهد («من می‌توانم مرحله بعد را انجام دهم»). این ویژگی مفیدی است، چون کارها را به توانمندترین ایجنت برای آن زیروظیفه واگذار میکند.
- رفتار همنوایی (Conformity): ایجنت موضع خود را تغییر می‌دهد تا با منتقد هم‌نظر شود، حتی وقتی منتقد اشتباه می‌گوید. این پدیده معادل تملق‌گویی و بله‌قربان‌گویی (Sycophancy) در محیط‌های مناظره است (درس 14).
به خاطر همین همنوایی است که استراتژی «مناظره تا رسیدن به توافق کامل»، به رفتارهای سلطه‌جویانه پاداش می‌دهد. محدود کردن تعداد دورها و استفاده از یک قاضی جداگانه این آسیب را کاهش می‌دهد.
ناهمگنی؛ اهرم واقعی برای جابه‌جا کردن مرز دقت
یک الگوی تکرارشونده در ادبیات کاربردی سال‌های 2024 تا 2026 این است: تعویض یکی از N ایجنت با یک مدل پایه متفاوت، جهش بسیار بزرگ‌تری در دقت ایجاد میکند تا اینکه بخواهید N را یک واحد افزایش دهید. منطق آن ساده است: هر منبع مستقلِ خطای جدید، ارزشی بیشتر از یک نمونه اضافی و همبسته با مدل قبلی دارد.
در نهایت، ناهمگنی بر تعداد غلبه میکند. سه مدل متفاوت در بیشتر وظایفی که داده واقعی (Ground truth) مشخصی دارند، عملکرد بهتری نسبت به پنج نسخه از یک مدل واحد ثبت می‌کنند.
روش‌های هیئت ژوری
چارچوب Sibyl (که در مقالات Minsky-LLM به آن ارجاع داده می‌شود) ساختاری شبیه به «هیئت ژوری» تعریف میکند: گروه کوچکی از ایجنت‌های تخصصی که با رأی‌گیری در هر مرحله پاسخ‌ها را صیقل می‌دهند. ژوری برخلاف رأی‌گیری اکثریتی ساده، نقش‌های مشخصی دارد: یک ایجنت سوال‌پیچ میکند، یک ایجنت کانتکست و زمینه را فراهم می‌آورد و ایجنت دیگر میزان معقول بودن پاسخ را می‌سنجد. روش‌های هیئت ژوری نقطه‌ای میانی میان رأی‌گیری ساده (ارزان اما مستعد تک‌صدایی) و مناظره کامل MAD (گران و مستعد همنوایی) هستند.
چه زمانی مناظره همراه‌با رأی‌گیری برنده است؟
- سوال داده واقعی مشخصی دارد (فکت تاریخی، ریاضی، رفتار کد). در این حالت، همگرایی آرا معنا دارد.
- ایجنتها به منابع یا ابزارهای مختلفی دسترسی دارند (امکان پیاده‌سازی ناهمگنی فراهم است).
- تعداد دورهای مناظره محدود است (معمولاً 2 تا 3 دور) و یک قاضی یا مدل اعتبارسنج (Verifier) جداگانه حضور دارد.
- بودجه اجازه استفاده از 3 تا 5 ایجنت را می‌دهد. فراتر از 5 تا 7 ایجنت در توپولوژی گراف، مالیات هماهنگی سیستم را فلج میکند.
چه زمانی مناظره همراه‌با رأی‌گیری آسیب می‌زند؟
- سوال ماهیت سلیقه‌ای یا نظری دارد. در این حالت ایجنتها به جای درست‌ترین پاسخ، دور پاسخی جمع می‌شوند که با اعتمادبه‌نفس بیشتری بیان شده است.
- همه ایجنتها از یک مدل پایه مشترک استفاده می‌کنند. در وضعیت تک‌صدایی، اجماع هیچ اعتباری ندارد.
- دورهای گفت‌وگو نامحدود است. در این شرایط، همنوایی همیشه برنده می‌شود.
- وظیفه پیش‌پاافتاده و ساده است. یک ایجنت واحد با تکنیک خودسازگاری در N=5 هم ارزان‌تر تمام می‌شود و هم همان میزان دقت را به دست می‌دهد.
پیاده‌سازی از صفر
فایل code/main.py این بخش‌ها را پیاده‌سازی میکند:
run_star(agents, hub, question)— هاب از هر کارگر نظر می‌خواهد و پاسخ‌ها را تجمیع میکند.run_chain(agents, question)— بهبود متوالی و زنجیرهای پاسخ.run_tree(root, children, question)— ساختار سلسله‌مراتبی با تجمیع در عمق 2.run_graph(agents, question, rounds)— مناظره همهباهم با تعداد دورهای محدود.- اهرم شبیه‌سازی ناهمگنی: هر ایجنت متغیری به نام
error_biasدارد که میزان خطای سیستماتیک آن را تعیین میکند. - یک بستر آزمایشی (Harness) که هر توپولوژی را روی N=3، 5 و 7 اجرا کرده و سه شاخص دقت، تعداد کل توکن‌ها و زمان اجرای شبیه‌سازی‌شده را گزارش می‌دهد.
اجرا:
python3 code/main.pyخروجی مورد انتظار: جدولی از ماتریس توپولوژی در تعداد N → (دقت، توکن‌ها، تاخیر). گراف در N=3 تا 5 روی وظایف سبک پژوهشی برنده می‌شود؛ مدل ستارهای در وظایف فکتی و سریع دست بالا را دارد؛ و گراف در N=7 نشان‌دهنده شروع مالیات هماهنگی است (تاخیر بسیار سریعتر از دقت افزایش پیدا میکند).
استفاده از ابزارهای واقعی
فایل outputs/skill-topology-picker.md مهارتی است که شرح یک وظیفه را می‌خواند و بهترین توپولوژی (ستارهای / زنجیرهای / درختی / گرافی)، تعداد ایجنت مناسب (N)، الگوی ناهمگنی (مدل‌های پایه‌ای که باید استفاده شوند) و سقف دورهای گفت‌وگو را پیشنهاد می‌دهد.
خروجی این درس
برای هر نوع انسمبل (Ensemble):
- کار را با خودسازگاری در N=5 با استفاده از یک مدل پایه قوی شروع کنید. این ارزان‌ترین خط مبنای شماست.
- اگر دقت خروجی اهمیت دارد، سیستم را به رأی‌گیری ناهمگن با N=3 ارتقا دهید. اختلاف دقت را ثبت و اندازه بگیرید.
- فقط در شرایطی سراغ توپولوژی مناظره بروید که وظیفه ساختارمند باشد (پژوهشی، چندمرحله‌ای) و امکان تعریف سقف برای دورهای گفت‌وگو وجود داشته باشد.
- همیشه دسته‌ای را که در اقلیت قرار گرفته‌اند ثبت کنید. اگر یک گروه اقلیت مداوماً پاسخ درست می‌دهند، نشانه‌ای از تنوع موثر دیدگاه‌ها پیدا کرده‌اید.
- هم‌زمان با دقت، زمان اجرا و مصرف توکن را بنچمارک کنید. به دست آوردن «دقت بهتر به بهای هزینه 10 برابری» یک تصمیم تجاری و مالی است، نه صرفاً یک انتخاب مهندسی.
تمرین‌ها
- اسکریپت
code/main.pyرا اجرا کنید. نمودار مالیات هماهنگی را برای توپولوژی گراف رسم کنید: دقت بر حسب N، و توکن‌ها بر حسب N. نمودار در چه مقداری از N دچار نقطه عطف می‌شود؟ - روش A-HMAD را بسازید: سه ایجنت با خطاهای سیستماتیک تعمداً متفاوت. عملکرد این ساختار را با خط مبنایی که همه ایجنت‌هایش سوگیری یکسانی دارند، روی حمله تک‌صدایی درس 14 مقایسه کنید.
- یک نقش «قاضی» به توپولوژی گراف اضافه کنید؛ ایجنتی که حق رأی ندارد و فقط به اجماع نهایی امتیاز می‌دهد. آیا این تغییر رفتار همنوایی نوظهور را تعدیل میکند؟
- مقاله AgentVerse (کنفرانس ICLR 2024) را بخوانید. بررسی کنید پیاده‌سازی شما کدام رفتار نوظهور را پررنگ‌تر نشان می‌دهد؟ آیا می‌توانید تنها با تغییر پرامپت، رفتار معکوس آن را فعال کنید؟
- بخش 4 مقاله MultiAgentBench (arXiv:2503.01935) درباره آزمایش‌های توپولوژی را مطالعه کنید. نتیجه «برتری گراف در پژوهش» را روی یکی از وظایف مقاله و با استفاده از بستر آزمایشی خودتان بازتولید کنید.
اصطلاحات کلیدی
| اصطلاح | در گفت‌وگوهای عامیانه | معنای دقیق فنی |
|---|---|---|
| خودسازگاری (Self-consistency) | «N بار خروجی بگیر و رأی‌گیری کن» | مقاله وانگ 2022؛ یک مدل واحد، N بار نمونه‌گیری با دمای بزرگ‌تر از صفر، رأی‌گیری اکثریتی روی مسیرهای استدلال. |
| ناهمگنی (Heterogeneity) | «مدل‌های مختلف» | انسمبلی از مدل‌های پایه متفاوت یا خانواده‌های پرامپت گوناگون؛ شکستن سد تک‌صدایی. |
| مناظره چندایجنت (MAD) | «بحث و تبادل نظر ایجنتها» | اصطلاحی کلی برای تبادل نقدها و استدلال‌ها میان ایجنتها در چند دور؛ به مقاله دو (2023) مراجعه کنید. |
| مناظره ناهمگن تقابلی (A-HMAD) | «مناظره ایجنت‌های ناهمگن تقابلی» | نوعی از MAD با تاکید بر ترکیب مدل‌های ناهمگن همراه با ساختار نقد مخالف. |
| توپولوژی (Topology) | «چه کسی با چه کسی حرف می‌زند» | ساختارهای ستارهای، زنجیرهای، درختی و گرافی؛ تعیین‌کننده مسیر جریان اطلاعات. |
| مالیات هماهنگی (Coordination tax) | «بازده نزولی سیستم» | در توپولوژی گراف، با گذر از حدود 4 ایجنت، هزینه‌ها بسیار سریعتر از کیفیت خروجی رشد می‌کنند. |
| رفتار داوطلبانه (Volunteer behavior) | «کمک خودجوش» | الگوی نوظهور AgentVerse؛ ایجنت بدون دریافت دستور، انجام مرحله بعدی را بر عهده می‌گیرد. |
| رفتار همنوایی (Conformity behavior) | «توافق زیر فشار جمع» | الگوی نوظهور AgentVerse؛ هم‌سو شدن ایجنت با منتقد حتی در صورت اشتباه بودن نقد. |
| هیئت ژوری (Jury) | «پنل تخصصی کوچک» | انسمبلی شبیه چارچوب Sibyl با نقش‌های معین (پرسش‌گر، ارائه‌دهنده زمینه، ارزیاب اعتبار). |
برای مطالعه‌ی بیشتر
- مقاله وانگ و همکاران — Self-Consistency Improves Chain of Thought Reasoning — خط مبنای تک‌مدلی
- مقاله دو و همکاران — Improving Factuality and Reasoning via Multiagent Debate — بررسی تاثیر مستقل تعداد ایجنتها و دورهای گفت‌وگو
- بنچمارک MultiAgentBench / MARBLE — ارزیابی توپولوژی‌ها با اثبات برتری گراف در وظایف پژوهشی و زنجیرهای در پایپ‌لاین‌ها
- Should we be going MAD? — مرور جامع استراتژی‌های MAD؛ نشان می‌دهد مناظره با بودجه یکسان اغلب به خودسازگاری می‌بازد
- مقاله AgentVerse (کنفرانس ICLR 2024) — بررسی الگوهای رفتاری نوظهور داوطلبانه و همنوایی
- مخزن گیت‌هاب MARBLE — پیاده‌سازی مرجع بنچمارک توپولوژی‌ها