این بنچمارک 99 وظیفه را به همراه بررسیکنندههای وضعیت روی پنج مدل محلی و دو مدل Claude اجرا کرد؛ هر وظیفه یک بار اجرا شد و نتایج با فواصل ویلسون (Wilson intervals) و فهرستی از ردیفهای نادیدهگرفتهشده ثبت شدند.
ابزارها و ساختار بنچمارک
کیت این بنچمارک مجموعهای از فایلهای Python در پوشهی bench است. این مجموعه فقط مدلهای واقعی را ارزیابی میکند؛ در پاسخ به هیچ ردیفی از مدلهای ساختگی، سرورهای استاب (کد جایگزین موقت) یا پاسخهای از پیش نوشتهشده استفاده نشده است.
| فایل | کارکرد |
|---|---|
kit/gen_tasks.py |
ساخت 100 وظیفه بر اساس دادههای ثابت: کاتالوگی شامل 12 قلم کالا، یک فروشگاه SQLite با 48 مشتری و 240 سفارش، و 26 سند ساختگی |
kit/oracle.py |
اجرای فراخوانیهای درست ابزار برای هر وظیفه و اطمینان از قبولی همهی وظایف، سپس بررسی اینکه یک ایجنت بدون فراخوانی ابزار در تمام وظایف رد شود |
kit/env.py |
ابزارهای هر دسته، که هر کدام برای ثبت ورودیها، خروجی و زمان اجرا در یک پوشش قرار گرفتهاند |
kit/harnesses.py |
چهار بستر آزمایشی: حلقهی ساده، create_agent، مدل StateGraph دستساز و create_deep_agent؛ بههمراه بستر پنجم برای FilesystemBackend |
kit/checks.py |
بررسیکنندهها و دستهبندیهای شکست |
kit/models.py |
تنظیمات مدل، شمارندهی فراخوانیها و دفتر ثبت هزینهها |
kit/run.py، kit/structured.py، kit/toolscale.py |
سه اجراکننده: مجموعهی وظایف، خروجی ساختاریافته و مقیاس تعداد ابزارها |
summarize.py |
خواندن ردیفهای خام و تولید فایل summary-mac.json، که منبع تمامی اعداد و نمودارهای بخشهای بنچمارک است |
بررسیکننده (Checker): تابعی که قبولی را بر اساس تغییرات ایجادشده توسط ابزارها تعیین میکند. این تابع، جستجوهای اجراشده و ورودیهای آنها، هش پایگاه داده، فایلهای پوشهی وظیفه و مخزن یادداشتها را بررسی میکند. متن نهایی خروجی فقط برای پرسشهایی که پاسخ مشخصی دارند خوانده میشود، آن هم تنها زمانی که مدل ابزار submit_answer را فراخوانی نکرده باشد.
دستهبندی شکست: اولین دلیل منطبق برای رد شدن، بر اساس این اولویت تعیین میشود. خطاهای سیستمی رخداده شامل loop_step_limit، parse_error یا harness_error هستند. فراخوانی ابزاری که به صورت متن عادی نوشته شده باشد malformed_output است. فراخوانی یک ابزار ناشناخته یا فراخوانی نکردن یک جستجوی ضروری، wrong_tool محسوب میشود.
اگر یک جستجوی ضروری با خطای اجرا مواجه شود، wrong_args ثبت میشود. امتناع مدل با برچسب gave_up مشخص میشود و هر حالت دیگری به عنوان wrong_final_state ثبت خواهد شد.
وظایف و نمونهگیری
مجموعهی آزمون شامل 100 وظیفه در پنج دستهی 20تایی است. در تمام جدولها sql19 کنار گذاشته شده، بنابراین مجموعه 99 وظیفه دارد. آن وظیفه دستهبندی کالایی را میخواهد که بیشترین تعداد محصول را دارد، در حالی که دو دستهبندی هر کدام 5 محصول دارند و پاسخ مورد انتظار تنها یکی از آنها را نام برده بود.
زیرمجموعهی طبقهبندیشده: 30 وظیفه با شمارههای 01، 04، 07، 10، 13 و 16 در هر دسته. مدلهایی که مجموعهی کامل روی آنها اجرا نشد، این زیرمجموعه را اجرا کردند. وظیفهی sql19 در این فهرست نیست.
| اجراکننده | مدلها | وظایف در هر خانه |
|---|---|---|
| مجموعهی وظایف، حلقهی ساده و deep agent | Qwen3 4B، Qwen3 8B، Claude Haiku 5.5 | 99 |
| مجموعهی وظایف، حلقهی ساده و deep agent | Claude Sonnet 5.5، gpt-oss 20B، Qwen3 14B، Qwen3 30B-A3B | 30 |
مجموعهی وظایف، create_agent و StateGraph |
Qwen3 4B، Qwen3 8B | 30 |
مجموعهی وظایف، FilesystemBackend |
Qwen3 4B، Qwen3 8B، Claude Haiku 5.5 | 20 وظیفهی کار با فایل |
| خروجی ساختاریافته | Qwen3 4B، Qwen3 8B، Claude Haiku 5.5 | 39، و 10 مورد برای ProviderStrategy روی Qwen3 4B |
| مقیاس ابزارها | Qwen3 4B و Claude Haiku 5.5 در 4 اندازه، Qwen3 8B در 2 اندازه | 10 وظیفهی زنجیرهای |
تنظیمات
مدلهای محلی روی Mac با Ollama 0.31.1 با دمای 0، مقدار سید (seed) برابر با 42 و طول زمینهی 16,384 توکن اجرا شدند. سقف توکنهای خروجی 1,024 و برای gpt-oss 20B و Qwen3 30B-A3B برابر با 4,096 توکن بود. قابلیت تفکر خاموش بود، بهجز حالت low در gpt-oss 20B و حالت روشن برای Qwen3 30B-A3B. مدل Qwen3 4B با نسخهی ساخت 4b-instruct-2507 در کوانتیزاسیون Q4_K_M اجرا شد.
مدلهای Claude از طریق API شرکت Anthropic از روی Mac با پکیج langchain-anthropic نسخه 1.7.10 فراخوانی شدند. API مقدار دما را برای این مدلها نپذیرفت، بنابراین کیت مقداری ارسال نکرد و Claude از تنظیمات پیشفرض نمونهگیری خود استفاده کرد. سقف خروجی 1,024 توکن بود. همهی بسترهای آزمایشی به ازای هر نوبت گفتوگو سقفی معادل 10 فراخوانی مدل داشتند که این عدد با انتخابکنندهی ابزار به 20 میرسید.
نسخهی پکیجها عبارت بود از: langchain نسخه 1.5.0، langchain-core نسخه 1.8.0، langgraph نسخه 1.2.22، deepagents نسخه 0.7.38 و langchain-ollama نسخه 1.1.0.
در Ollama یک بار اجرای حریصانه کافی است
اندازهگیری ما نشان داد که اجرای سهبارهی Qwen3 4B روی زیرمجموعهی 30 وظیفهای با دو بستر آزمایشی مختلف روی Mac، در هر سه اجرا برای تکتک وظایف نتیجهی یکسان، توکنهای یکسان و فراخوانیهای ابزار کاملاً مشابهی به همراه داشت. با دمای 0 و سید ثابت، Ollama رفتارش را تکرار میکند؛ بنابراین اجرای مجدد در حالت حریصانه (Greedy) هیچ اطلاعات جدیدی اضافه نمیکند.
همچنین حلقهی ساده را در دمای 0.7 با سیدهای 1، 2 و 3 روی همان 30 وظیفه اندازهگیری کردیم. مدل در این حالت به ترتیب در 24، 23 و 23 وظیفه قبول شد و در 5 وظیفه، نتیجه با تغییر سید تغییر کرد. نمودار همهی اجراها را نشان میدهد.
بنابراین، نتیجهی حاصل از جستجوی حریصانه یک نمونه از خروجی مدل به شمار میآید. از آنجا که وظایف ثابت هستند و هر کدام یک بار اجرا شدهاند، بازهی مربوط به هر خانه یک فاصلهی ویلسون برای نرخ موفقیت روی این مجموعه است. این بازه نوسان میان اجراهای مکرر را نشان نمیدهد و تنها مختص این مجموعهی آزمایشی است. تغییر سید یا دما تنها نتیجهی چند وظیفهی مشخص را جابهجا میکند و تغییری در نرخ کلی ایجاد نمیکند: 23 قبولی در حالت حریصانه در مقایسه با 23 تا 24 قبولی در حالت نمونهبرداری تصادفی.
فواصل اطمینان
تمام نرخهای اعلامشده در بخشهای بنچمارک همراه با فاصلهی اطمینان 95٪ ویلسون ارائه شدهاند. پهنای این بازه به تعداد نمونهها وابسته است:
| وظایف | 50٪ قبولی | 80٪ قبولی | 100٪ قبولی |
|---|---|---|---|
| 10 | 0.24 تا 0.76 | 0.49 تا 0.94 | 0.72 تا 1.00 |
| 30 | 0.33 تا 0.67 | 0.63 تا 0.90 | 0.89 تا 1.00 |
| 39 | 0.34 تا 0.64 | 0.64 تا 0.89 | 0.91 تا 1.00 |
| 99 | 0.40 تا 0.59 | 0.71 تا 0.87 | 0.96 تا 1.00 |
دو خانهای که وظایف یکسانی را ارزیابی کردهاند جفتشده هستند؛ از این رو، بنچمارک تعداد وظایفی را که در آنها توافق وجود دارد نیز میشمارد. این معیار در مقایسه با بررسی دو بازه در کنار هم، دید دقیقتری میدهد.
زمان
کیت زمان هر فراخوانی مدل را از کالبک شروع تا کالبک پایان اندازه میگیرد و زمان هر ابزار را درون پوشش آن ثبت میکند. زمان فریمورک برابر است با زمان واقعی (Wall time) منهای مجموع این دو مقدار. همچنین شمارندهی فراخوانیهای کیت را نیز در بر میگیرد که در تمام بسترهای آزمایشی یکسان است.
سیستم Mac با کارهای دیگری هم به اشتراک گذاشته شده بود. همهی زمانها را به عنوان حد بالا در نظر بگیرید و مقایسهی زمانها را فقط در محدودهی یک جدول انجام دهید.
هزینه
کیت برای هر فراخوانی Claude یک ردیف در دفتر مالی ثبت میکرد که حاوی میزان مصرف گزارششده توسط API و قیمت رسمی در تاریخ 2026-11-14 بود. در صورت رسیدن هزینهها به سقف تعیینشده، پیش از فراخوانی متوقف میشد. کل بنچمارک 2,589 فراخوانی داشت و 0.93 دلار هزینه برد. اجراهای بعدی که در ادامه میآیند جداگانه محاسبه شدهاند.
دفتر ثبت برای هر فراخوانی، 0 توکن در نوشتن در کش (Cache write) ثبت کرد و قیمت این توکنها را با نرخ پایهی ورودی محاسبه نمود. اگر API برای نوشتن در کش 1.25 برابر فاکتور میزد، برآورد دلاری ما پایینتر از مقدار واقعی میبود. این حد خطا برای یک خانهی حلقهی ساده 12.7٪ است. برای خانهی deep agent این خطا حدود 6٪ است: 4.6٪ روی Haiku، 6.4٪ روی Sonnet و 6.1٪ در مجموع هر دو. در این صورت، نسبت هزینهی deep agent کمتر میشد، نه بیشتر.
بنچمارک دوم و اجراهای چندایجنت
دو اجرای بعدی از همان کیت و دادههای وظیفهی بنچمارک اول استفاده میکنند و تنها بستر آزمایشی در آنها تغییر کرده است.
| پوشه | موارد اجراشده | فایلها |
|---|---|---|
bench2/ |
پروفایلهای بسترهای آزمایشی A و B، ابزار eval با و بدون پرامپتی که آن را طلب کند، و RubricMiddleware با یک نمرهدهندهی Qwen3 14B |
اجرای kit2/run2.py، تولید summary-bench2.json با kit2/summarize2.py، خواندن جدول اسناد در docs-eval-table.json با kit2/docs_table.py |
multiagent/ |
پنج الگو روی Haiku و Qwen3 14B، و Claude Agent SDK در برابر deep agent روی Haiku | اجرای kit/run_patterns.py و kit/run_sdk.py، تولید capture/lab/summary/multiagent-mac.json با kit/summarize_patterns.py |
ردیفهای مدلهای محلی در bench2/ روی یک سرور دوم Ollama 0.31.1 که اختصاصی راهاندازی شده بود، با کش مدل مجزا اجرا شدند. در استارت اول آن از کش کلید-مقدار (KV Cache) کوانتیزهشده و فلش اتنشن (Flash Attention) استفاده شد. هشت ردیف کنترلی از آن راهاندازی اولیه ثبت شد؛ چهار مورد روی Qwen3 4B و چهار مورد روی Qwen3 8B. سپس سرور را با تنظیمات پیشفرض بنچمارک اول بازنشانی کردیم و آن هشت ردیف را در مسیر bench2/runs/excluded/ نگه داشتیم. پس از راهاندازی مجدد، سه وظیفهی کنترلی دقیقاً همان فراخوانیهای ابزار و توکنهای پرامپت بنچمارک اول را بازتولید کردند.
ردیفهای پروفایل و ارزیابی مدلهای محلی، همگی به بعد از راهاندازی مجدد مربوط هستند. خلاصه نتایج، ردیفهای حلقهی ساده و deep agent پیشفرض را از بنچمارک اول میخواند. خانههای مربوط به deep agent در Qwen3 14B و gpt-oss 20B، به 12 اجرای قدیمی و 27 اجرای جدید با همان تنظیمات میپیوندند.
نمودار تمامی خانههای بنچمارک دوم را به همراه فواصل اطمینان نشان میدهد.
مدل Haiku در bench2/ تعداد 370 فراخوانی با هزینهی 0.0695 دلار ثبت کرد که دادههای آن در bench2/runs/cost-ledger.jsonl موجود است. اجراهای چندایجنت مدل Haiku شامل 1,518 ردیف در دفتر مالی با هزینهی 0.150 دلار است که در multiagent/runs/cost-ledger.jsonl نگهداری میشود.
ما همچنین اجرای ارزیابیهای کتابخانهی deepagents را روی Qwen3 4B آغاز کردیم.
پس از 14 آزمون (9 قبولی و 5 مردودی) آن را متوقف کردیم؛ چون هیچ گزارشی ذخیره نکرد، در این راهنما به هیچ بخشی از آن استناد نشده است.
اجرای هدایتشدهی Qwen3 8B در همان ابتدای کار شکست خورد. اجرای چندایجنت gpt-oss 20B نیز هرگز وظیفهای را آغاز نکرد. خانههای مربوط به Qwen3 14B در هر دو ارزیابی، روی Mac به صورت مشترک با سایر پردازشها اجرا شدند. بنابراین، زمانهای ثبتشده برای آنها حد بالا به شمار میآیند و هر خانه نمایانگر یک بار اجرای هر وظیفه است.
ردیفهای غیرقابل استفاده
| ردیفها | دلیل |
|---|---|
وظیفهی sql19 در همهی اجراکنندهها |
پاسخ مورد انتظار یکی از دو دستهبندی مساوی بود |
runs/excluded/anthropic-smoke-attempt1-400.jsonl |
اولین آزمون مقدماتی Claude، که مقدار دما را فرستاد و با خطای 400 متوقف شد |
runs/excluded/main-30b-a3b-think-off-leaks.jsonl |
مدل Qwen3 30B-A3B با تفکر خاموش، که فرآیند استدلال را وارد پاسخ کرد و به سقف خروجی رسید |
runs/excluded/main-files-before-sandbox-fix.jsonl |
وظایف کار با فایل پیش از اصلاح شیوهی آدرسدهی مسیر پوشهی وظایف در کیت |
bench2/runs/excluded/kvq8-profiles.jsonl، bench2/runs/excluded/kvq8-rubric.jsonl |
ردیفهای کنترلی از اولین راهاندازی سرور دوم که بنچمارک اول را تکرار نکردند |
bench2/runs/smoke.jsonl، bench2/runs/verify.jsonl |
اجراهای ارزیابی اولیه و بازبینی که در جمعبندی نهایی خوانده نمیشوند |
runs/excluded/structured-dev.jsonl، runs/excluded/toolscale-dev.jsonl |
ردیفهای ثبتشده از اجراهایی که اجراکنندهها را آزمایش کردند |
| ردیفهای خروجی ساختاریافتهی Claude | معتبر هستند، اما چون اجراکننده کش پرامپت را اعمال نکرد، هزینهی آنها با قیمت کامل ثبت شده است |
| قبولی سختگیرانه به عنوان معیار کیفیت | استفاده از submit_answer را میشمارد، در حالی که مدلهای کوچک اغلب پاسخ را در متن نوشتند |
فایل اصلی تمام ردیفهای دیگر را نگه میدارد. اسکریپت summarize.py وظیفهی sql19 را هنگام خواندن ردیفها حذف میکند، و summarize.py --check گزارش خلاصه را دوباره میسازد و مقایسه میکند.
منابع: capture/lab/bench/summary-mac.json، capture/lab/bench2/summary-bench2.json، capture/lab/bench2/kit2، capture/lab/bench2/runs، capture/lab/bench2/logs، capture/lab/summary/multiagent-mac.json، capture/lab/multiagent، capture/lab/bench/summarize.py، capture/lab/bench/summary-with-sql19.md، capture/lab/bench/runs/main.jsonl، capture/lab/bench/runs/sampling.jsonl، capture/lab/bench/runs/structured.jsonl، capture/lab/bench/runs/toolscale.jsonl، capture/lab/bench/runs/models.jsonl، capture/lab/bench/runs/cost-ledger.jsonl، capture/lab/bench/runs/excluded، capture/lab/bench/data/tasks.jsonl، capture/lab/bench/data/subset30.txt، capture/lab/bench/data/anthropic-prices.json، capture/lab/bench/data/shop.db، capture/lab/bench/kit.