طی سال‌های گذشته ادعاهای فراوانی درباره‌ی برتری سیستمهای چندایجنتی نسبت به تک‌مدل‌های زبانی مطرح شده است؛ اما بخش عمده‌ای از این ادعاها بر پایه‌ی آزمون‌های سلیقه‌ای، بدون خط مبنای معتبر و با دادههای آلوده شکل گرفته‌اند. اگر در حال طراحی یک سامانه‌ی چندایجنتی برای حل مسائل واقعی هستید، باید بدانید که افزودن ایجنت‌های بیشتر همیشه به معنای افزایش دقت نیست و اغلب سربار هماهنگی و هزینه‌ی توکن‌ها را به شدت بالا می‌برد.
در سال‌های 2025 و 2026، مجموعه‌ای از بنچمارک‌های معیار مانند MARBLE و SWE-bench Pro عرضه شدند تا وضعیت واقعی سیستم‌ها را بدون تورم کاذب ناشی از نشت دادهها بسنجند. این درس به شما چارچوبی عملی و نقادانه میدهد تا پیش از اتخاذ تصمیم‌های پرهزینه در محیط عملیاتی، عملکرد واقعی معماری‌ها و توپولوژی‌های چندایجنتی را با معیارهای استاندارد و نسبت هزینه به دقت ارزیابی کنید.
پنج بنچمارک مربوط به سال‌های 2025 و 2026 حوزه‌ی ارزیابی چندایجنتی را پوشش میدهند. MultiAgentBench / MARBLE (کنفرانس ACL 2025، با شناسه‌ی arXiv:2503.01935) توپولوژی‌های ستاره‌ای، زنجیره‌ای، درختی و گرافی را با شاخص‌های کلیدی عملکرد (KPI) مبتنی بر مایل‌استون ارزیابی میکند؛ گراف برای سناریوهای پژوهشی بهترین گزینه است و برنامه‌ریزی شناختی حدود 3% به نرخ دستیابی به مایل‌استون‌ها اضافه میکند. COMMA هماهنگی اطلاعات نامتقارن چندوجهی را میسنجد؛ مدلهای پیشرو (SOTA) از جمله GPT-4o برای شکست دادن خط مبنای (baseline) تصادفی به سختی تقلا میکنند. MedAgentBoard (با شناسه‌ی arXiv:2505.12371) چهار دسته‌ی وظایف پزشکی را پوشش میدهد و در بسیاری از موارد نشان میدهد رویکرد چندایجنتی برتری خاصی نسبت به تکمدل زبانی ندارد. AgentArch (با شناسه‌ی arXiv:2509.10769) معماری‌های ایجنتی سازمانی را که فراخوانی ابزار (tool use)، حافظه و ارکستراسیون (orchestration) را ترکیب میکنند ارزیابی میکند. SWE-bench Pro (arXiv:2509.16941) شامل 1865 مسئله در 41 مخزن از برنامه‌های کاربردی تجاری، سرویس‌های B2B و ابزارهای توسعه‌دهنده است؛ مدلهای پیشرو روی نسخه‌ی Pro امتیاز حدود 23% را ثبت میکنند، در حالی که روی Verified به بالای 70% می‌رسند؛ این فاصله‌ی زیاد، هشداری جدی درباره‌ی پدیده‌ی آلودگی (contamination) دادهها است. مدل Claude Opus 4.7 (آوریل 2026) همراه با هماهنگی صریح تیم‌های ایجنتی، امتیاز 64.3% را روی Pro گزارش کرده است (هنوز هیچ منبع رسمی و اولیه‌ای از سمت Anthropic منتشر نشده و باید آن را موقتی در نظر گرفت)؛ از سوی دیگر Verdent (یک داربست ایجنتی) به امتیاز 76.1% pass@1 روی Verified دست یافته است (گزارش فنی Verdent). برنامه‌ی رابط AAAI 2026 تحت عنوان AAAI 2026 Bridge Program WMAC (نشانی: https://multiagents.org/2026/) نقطه‌ی کانونی جامعه‌ی پژوهشی در سال 2026 به شمار می‌رود. این درس بر پایه‌ی معیارهای MARBLE بنا شده، مقایسه‌ای جامع بین توپولوژی‌ها و معیارها اجرا میکند و این اصل بنیادین را تثبیت می‌نماید: «صرفاً قبول شدن در SWE-bench Verified شواهدی (evidence) برای تعمیم‌پذیری نیست».
مسئله
وقتی مقاله‌ای ادعا میکند «سیستم چندایجنتی ما بهتر عمل میکند»، سوال اصلی این است: بهتر از چه چیزی، در چه وظیفه‌ای، و سنجیده‌شده با چه معیاری؟ دوره‌ی ارزیابی سیستمهای چندایجنتی در سال‌های 2023 و 2024 در هرج‌ومرج کامل گذشت؛ هر کس معیارهای خودش، خطوط مبنای خودش و مجموعه‌وظایف دلخواه خودش را برمی‌گزید. بنچمارک‌های سال‌های 2025 و 2026 به این فضا ساختار دادند.
بدون بنچمارک‌های مشترک، نمی‌توانید دو سیستم چندایجنتی را به شکل معناداری با یکدیگر مقایسه کنید. بدتر از آن، اگر بنچمارک‌های تفکیک‌شده و نادیده (hold-out) نداشته باشید، مدلهای پیشرو ممکن است دچار آلودگی دادهها شوند. تا میانه‌های سال 2025، دادههای SWE-bench Verified تا حدی وارد مجموعههای آموزشی مدلها شد و به آن آلوده گشت؛ در نتیجه، نمرات مدلهای پیشرو به شکل کاذب بالا رفت. بنچمارک Pro دقیقاً به عنوان یک آزمون واقع‌سنجی بدون آلودگی طراحی شد.
این درس پنج بنچمارک استاندارد سال 2026 را معرفی میکند، مشخص می‌سازد هر کدام چه چیزی را اندازه می‌گیرند، و به شما یاد میدهد که چگونه ادعاهای مطرح‌شده در بنچمارک‌ها را با دیدی نقادانه بررسی کنید.
مفهوم
بنچمارک MultiAgentBench (MARBLE) — کنفرانس ACL 2025
شناسه‌ی arXiv:2503.01935. این بنچمارک چهار توپولوژی هماهنگی (ستاره‌ای، زنجیره‌ای، درختی و گرافی) را روی وظایف پژوهشی، کدنویسی و برنامه‌ریزی ارزیابی میکند. شاخص‌های کلیدی عملکرد بر پایه‌ی مایل‌استون به جای تکیه بر موفقیت نهاییِ صرف، میزان پیشرفت گام‌به‌گام را ردیابی میکنند.
نتایج سنجیده‌شده:
- توپولوژی گرافی برای سناریوهای پژوهشی بهترین است؛ زیرا از نقد هر-به-هر (any-to-any) پشتیبانی میکند.
- توپولوژی زنجیره‌ای برای کدنویسی با رویکرد بهبود تدریجی بهترین نتیجه را میدهد.
- توپولوژی ستاره‌ای برای جمع‌بندی سریع اطلاعات مبتنی بر واقعیت ایده‌آل است.
- وقتی تعداد ایجنت‌ها در توپولوژی گرافی از حدود 4 عبور میکند، هزینه‌ی هماهنگی پدیدار می‌شود.
- افزودن برنامه‌ریزی شناختی، دستیابی به مایل‌استون‌ها را در تمام توپولوژی‌ها حدود 3% افزایش میدهد.
چه زمانی استفاده کنیم: وقتی می‌خواهید توپولوژی‌های هماهنگی را در شرایط کاملاً برابر و عادلانه بسنجید. ارزیاب مربوطه در مخزن MARBLE (نشانی: https://github.com/ulab-uiuc/MARBLE) در دسترس است.
بنچمارک COMMA — اطلاعات نامتقارن چندوجهی
این بنچمارک وظایفی را پوشش میدهد که در آن‌ها ایجنت‌ها مدهای مشاهده‌ی (observation) متفاوتی دارند و باید بدون اشتراک کامل اطلاعات با یکدیگر هماهنگ شوند. نتیجه‌ی گزارش‌شده تامل‌برانگیز است: مدلهای پیشرو از جمله GPT-4o برای شکست دادن یک خط مبنای تصادفی در همکاری ایجنت با ایجنت در بنچمارک COMMA به سختی تقلا میکنند. پیام این اتفاق روشن است: مدهای چندایجنتی به اندازه‌ی کافی آموزش ندیده‌اند و ارزیابی درستی روی آن‌ها صورت نگرفته است؛ مدلهای زبانی همکاری تک‌وجهی را تا حد قابل قبولی پیش می‌برند، اما هماهنگی چندوجهی در آن‌ها دچار فروپاشی می‌شود.
چه زمانی استفاده کنیم: زمانی که سیستم شما به هماهنگی چندوجهی یا اطلاعات نامتقارن متکی است. نتیجه‌ی خنثی در بنچمارک COMMA هشداری جدی است تا قبل از هر ادعایی، ابتدا سیستم را اندازه بگیرید.
بنچمارک MedAgentBoard — آزمون فشار در دامنه‌ی تخصصی
شناسه‌ی arXiv:2505.12371. این بنچمارک چهار دسته‌ی وظیفه‌ی پزشکی را در بر می‌گیرد: تشخیص بیماری، برنامه‌ریزی درمان، تولید گزارش و ارتباط با بیمار. این ابزار سیستم چندایجنتی را در برابر تکمدل زبانی و همچنین سیستمهای سنتی مبتنی بر قانون مقایسه میکند.
یافته‌ی کلیدی: سیستم چندایجنتی در اغلب این دسته‌ها بر تکمدل زبانی غلبه نمی‌کند. مزیت چندایجنتی محدود است؛ یعنی تجزیه‌ی وظیفه زمانی موثر می‌افتد که زیروظایف کاملاً تفکیکپذیر باشند (مانند تشخیص + درمان)، اما هرگاه سربار محاسباتی هماهنگی (coordination overhead) از سود حاصل از تخصص‌گرایی پیشی بگیرد، این رویکرد ضربه می‌زند (مانند تولید گزارش).
چه زمانی استفاده کنیم: وقتی دامنه‌ی کاری شما خطوط مبنای مشخص و قوی با تکمدل زبانی دارد. اگر یافتههای MedAgentBoard قابل تعمیم باشد، می‌توان گفت بسیاری از سیستمهای چندایجنتی پیشنهادی، بیش‌ازحد مهندسی شده‌اند.
بنچمارک AgentArch — معماری‌های سازمانی
شناسه‌ی arXiv:2509.10769. محیط‌های سازمانی که در آن‌ها فراخوانی ابزار، حافظه و ارکستراسیون در لایه‌های مختلف کنار هم قرار می‌گیرند. این بنچمارک سهم هر لایه را جدا میکند: افزودن ابزارها چقدر به بهبود کمک میکند؟ افزودن حافظه چقدر؟ افزودن ارکستراسیون چندایجنتی چقدر؟
چه زمانی استفاده کنیم: وقتی در حال طراحی پشته‌ی ایجنتی سازمانی هستید و باید ضرورت تک‌تک لایه‌ها را توجیه کنید. AgentArch به شما کمک میکند سراغ قابلیت‌هایی نروید که امکان ارزیابی ارزش افزوده‌ی آن‌ها وجود ندارد.
بنچمارک SWE-bench Pro — آزمون واقع‌سنجی
شناسه‌ی arXiv:2509.16941. این بنچمارک از 1865 مسئله در 41 مخزن نرم‌افزاری تشکیل شده که برنامه‌های کاربردی تجاری، سرویس‌های B2B و ابزارهای توسعه‌دهنده را پوشش میدهند. این مجموعه طوری طراحی شده که با تاریخهای نهایی آموزش مدلها بدون آلودگی بماند. مدلهای پیشرو روی Pro امتیاز حدود 23% می‌آورند، در حالی که در Verified بالای 70% کسب میکنند. همین شکاف عمیق، نشانه‌ی بارز آلودگی دادهها است.
امتیازات آوریل 2026:
- مدل Claude Opus 4.7 روی Pro: امتیاز 64.3% (همراه با هماهنگی صریح تیم‌های ایجنتی گزارش شده است؛ هنوز منبع دست‌اول رسمی توسط Anthropic منتشر نشده و باید موقتی تلقی شود).
- ابزار Verdent (داربست ایجنتی) روی Verified: امتیاز 76.1% pass@1 (گزارش فنی).
- نمرات خام مدلهای پیشرو روی Pro بدون داربست ایجنتی: حدود 23 تا 35 درصد (مقاله‌ی SWE-bench Pro).
نتیجه‌گیری: ادعای «ما بنچمارک SWE-bench Verified را شکست دادیم» دیگر مدرکی دال بر توانمندی سیستم نیست. بنچمارک Pro فیلتر سنجش نهایی فعلی به شمار می‌آید. داربست‌بندیِ مبتنی بر تیم‌های ایجنتی جهش قابل‌سنجشی روی Pro ثبت میکند (اختلافی حدود 30 تا 40 امتیاز)؛ موضوعی که در سال 2026 یکی از محکم‌ترین شواهد تجربی به نفع هماهنگی چندایجنتی است.
کنفرانس AAAI 2026 WMAC
برنامه‌ی رابط AAAI 2026 — کارگاه هماهنگی چندایجنتی (https://multiagents.org/2026/). این کارگاه مهم‌ترین کانون توجه جامعه‌ی پژوهشی هوش مصنوعی چندایجنتی در سال 2026 است. مقالات پذیرفته‌شده و صورت‌جلسات این کارگاه، مراجع استاندارد برای ارزیابی روش‌های نوین به حساب می‌آیند؛ بنابراین برای تصمیم‌گیری‌های محیط عملیاتی (پروداکشن)، ادعاهای پذیرفته‌شده در WMAC را به پیش‌نویس‌های متفرقه در arXiv ترجیح دهید.
بررسی شکاکانه‌ی ادعاهای بنچمارک‌ها — چک‌لیست 2026
وقتی ادعایی درباره‌ی یک سیستم چندایجنتی مطرح می‌شود، این موارد را وارسی کنید:
- کدام بنچمارک و کدام بخش از دادهها (split)؟ تفاوت بین نسخه‌های Verified و Pro در SWE-bench بسیار تعیین‌کننده است. آماری که روی بخش اشتباهی از دادهها گزارش شود فاقد ارزش است.
- بررسی آلودگی دادهها. آیا تاریخ انتشار بنچمارک پس از تاریخ نهایی دادههای آموزشی مدل بوده است؟ در غیر این صورت، با احتیاط زیاد به نتایج نگاه کنید.
- مقایسه با خطوط مبنا. آیا سیستم با خط مبنای تکمدل زبانی، با حالت تصادفی و با دستاوردهای قبلی حوزه‌ی چندایجنتی مقایسه شده است؟ مقایسه با «نسخه‌ی تنظیم‌نشده‌ی همان سیستم» قابل قبول نیست.
- معناداری آماری. تعداد دفعات تکرار (N)، مقدار p-value و بازه‌ی اطمینان (confidence interval). مدلهای پیشرو واریانس بالایی دارند؛ اتکا به اجرای تک‌باره گمراه‌کننده خواهد بود.
- تنوع وظایف. ارزیابی روی یک وظیفه انجام شده یا چندین وظیفه؟ قابلیت تعمیم برای محیط عملیاتی حیاتی است.
- شفاف‌سازی هزینه‌ها. مصرف توکن به ازای هر وظیفه و زمان اجرای واقعی چقدر است؟ رسیدن به پاسخ درست در 90% مواقع با 20 برابر هزینه‌ی بیشتر، یک انتخاب کسب‌وکاری است نه اثبات توانمندی مدل.
مواردی که هیچ‌یک از بنچمارک‌ها به درستی نمی‌سنجند
- هماهنگی در افق زمانی طولانی. برهم‌کنش‌هایی که چند شبانه‌روز طول می‌کشند. تمام بنچمارک‌های کنونی وظایف را در زمان‌های کوتاه می‌بندند.
- تاب‌آوری در برابر رفتارهای خصمانه. اگر یکی از ایجنت‌ها مخرب باشد یا هک شود چه رخ میدهد؟
- افت کیفیت پس از استقرار. بنچمارک‌ها ماهیت ایستا دارند، اما با ناهماهنگی در توزیع دادهها (distribution shift) در محیط عملیاتی مواجه می‌شویم.
- عملکرد به نسبت هزینه. اکثر بنچمارک‌ها دقت خام را گزارش میکنند، نه میزان دقت به ازای هر دلار هزینه.
طراحی یک بنچمارک داخلی که دقیقاً روی اولویت‌های اصلی شما متمرکز باشد، معمولاً بهترین و هوشمندانه‌ترین گام است.
پیاده‌سازی
فایل code/main.py یک فرآیند بدون نیاز به تعامل است که:
- سه سیستم چندایجنتی را روی یک وظیفه‌ی فرضی شبیه‌سازی میکند.
- معیارهای مبتنی بر مایل‌استون را به سبک بنچمارک MARBLE برای هر یک محاسبه می‌نماید.
- با کنار گذاشتن بخشی از وظایف از مجموعه‌ی «آموزشی»، آزمون آلودگی را به اجرا درمی‌آورد.
- نتایج را به صورت صریح با یک خط مبنای تصادفی مقایسه میکند.
- جدول امتیازات و ادعاهای بنچمارک را در خروجی چاپ میکند.
اجرا:
python3 code/main.pyخروجی مورد انتظار: جدول امتیازات سیستم شامل دقت خام، دستیابی به مایل‌استون‌ها، هزینه به ازای هر وظیفه، تفاوت نسبت به خط مبنای تصادفی و یادداشت بررسی آلودگی دادهها.
کاربرد در عمل
فایل outputs/skill-benchmark-reader.md هرگونه ادعای ارائه‌شده در بنچمارک‌های چندایجنتی را دریافت میکند و با چک‌لیست نقادانه تطبیق میدهد. خروجی آن شامل یک رتبه‌بندی کیفی همراه با تذکرات و نکات احتیاطی است.
ورود به محیط عملیاتی
قواعد سخت‌گیرانه برای ارزیابی در محیط عملیاتی:
- یک بنچمارک داخلی بسازید که توزیع واقعی محیط عملیاتی شما را بازتاب دهد. بنچمارک‌های عمومی دید خوبی به شما میدهند، اما هرگز جایگزین آزمون‌های داخلی نمی‌شوند.
- یک خط مبنای تصادفی لحاظ کنید. اگر در یک وظیفه‌ی هماهنگی نمی‌توانید با اختلافی معنادار بر حالت تصادفی پیروز شوید، شاید صورت وظیفه از اساس اشتباه تعریف شده است.
- هزینه را در کنار دقت گزارش کنید. هم هزینه‌ی توکن‌ها و هم مدت‌زمان پردازش؛ تیم‌های عملیاتی به هر دوی این‌ها نیاز دارند.
- بنچمارک را به صورت فصلی بازنگری کنید. ناهماهنگی در توزیع دادهها در طول زمان اجتناب‌ناپذیر است؛ اتکا به بنچمارک‌های قدیمی دادههای غلط به همراه دارد.
- از بیش‌برازش (overfitting) روی بنچمارک‌های عمومی دوری کنید. اگر تمرکز تیم شما صرفاً روی بالا بردن اعداد در SWE-bench Pro باشد، به زودی با افت کیفیت در محیط عملیاتی مواجه خواهید شد.
تمرین‌ها
- اسکریپت
code/main.pyرا اجرا کنید. ارزیابی نمایید کدام‌یک از سه سیستم شبیه‌سازی‌شده بهترین «هزینه به ازای مایل‌استون» را به ثبت رسانده است. آیا این سیستم لزوماً همان سیستمی است که بالاترین دقت خام را دارد؟ - مقاله‌ی MultiAgentBench (با شناسه‌ی arXiv:2503.01935) را بخوانید. با توجه به دامنه‌ی وظایف مد نظر خودتان، بگویید MARBLE کدام‌یک از چهار توپولوژی را پیشنهاد میکند؟ پاسخ خود را با ارجاع به دادههای مقاله مستند سازید.
- مقاله‌ی SWE-bench Pro را مطالعه کنید. چه فاکتورهای مشخصی سبب مقاومت این بنچمارک در برابر آلودگی دادهها شده است؟ آیا می‌توان همین رویکرد را برای سایر بنچمارک‌های کاری شما به کار بست؟
- یافتههای بنچمارک COMMA را پیرامون هماهنگی چندوجهی بخوانید. یک وظیفه‌ی هماهنگی چندوجهی ساده طراحی کنید که بتوان آن را به بنچمارک داخلی سیستم خود اضافه کرد. چه سیگنالی نشان‌دهنده‌ی کارایی واقعی خواهد بود؟
- چک‌لیست اعتبارسنجی بنچمارک‌ها را روی یافته‌ی اصلی یکی از مقالات اخیر چندایجنتی پیاده کنید. بر پایه‌ی این شواهد، چه امتیازی به ادعای آن مقاله می‌دهید؟
اصطلاحات کلیدی
| اصطلاح | در گفتار عمومی | معنای دقیق فنی |
|---|---|---|
| MARBLE | «MultiAgentBench» | مقاله‌ی ACL 2025؛ سنجش توپولوژی‌های ستاره‌ای، زنجیره‌ای، درختی و گرافی با شاخص‌های کلیدی عملکرد مایل‌استون. |
| COMMA | «بنچمارک چندوجهی» | هماهنگی چندوجهی با اطلاعات نامتقارن؛ تقابل سخت مدلهای پیشرو در برابر حالت تصادفی. |
| MedAgentBoard | «آزمون فشار دامنه‌ای» | چهار دسته‌ی وظایف پزشکی؛ نشان میدهد که چندایجنتی غالباً برتری چشمگیری بر تکمدل زبانی ندارد. |
| AgentArch | «بنچمارک سازمانی» | ساختار لایه‌ای متشکل از ابزارها + حافظه + ارکستراسیون. |
| SWE-bench Pro | «مقاوم در برابر آلودگی دادهها» | 1865 مسئله، 41 مخزن؛ امتیاز حدود 23% در مقایسه با بالای 70% در Verified (نشانه‌ی قطعی آلودگی دادهها). |
| دستیابی به مایل‌استون | «نمره‌ی مرحله‌ای» | بنچمارکهایی که افزون بر خروجی نهایی، پیشرفت میانی سیستم را هم می‌سنجند. |
| آلودگی دادهها | «نشت بنچمارک به دادههای آموزشی» | ورود بنچمارک‌ها به مجموعه‌داده‌های آموزشی پس از انتشار عمومی، که باعث تورم کاذب نمرات می‌شود. |
| WMAC | «برنامه‌ی رابط AAAI 2026» | کارگاه هماهنگی چندایجنتی؛ کانون اصلی پژوهش‌های جامعه‌ی هوش مصنوعی در سال 2026. |
برای مطالعه‌ی بیشتر
- بنچمارک MultiAgentBench / MARBLE — ارزیابی توپولوژی‌ها به کمک شاخص‌های کلیدی عملکرد بر پایه‌ی مایل‌استون
- مخزن MARBLE — پیاده‌سازی مرجع
- بنچمارک MedAgentBoard — آزمون فشار تخصصی؛ نشان‌دهنده‌ی عدم برتری قاطع رویکرد چندایجنتی
- بنچمارک AgentArch — معماری‌های ایجنتی در محیط‌های سازمانی
- جدول رده‌بندی SWE-bench — امتیازات مدلهای پیشرو روی نسخه‌های Verified و Pro
- کارگاه AAAI 2026 WMAC — کانون تبادلات علمی جامعه‌ی هوش مصنوعی در سال 2026