سه بستر آزمایشی در 60 وظیفه از 60 وظیفهی محلی نتایج کاملاً یکسانی ثبت کردند، Claude همهی وظایف محوله را با موفقیت پشت سر گذاشت، و تنها ایجنت عمیق روی مدلهای کوچک محلی چند وظیفه را از دست داد.
فرض کنید یک حلقهی ابزار حدوداً 40 خطی بر پایهی SDK ارائهدهنده نوشتهاید و بدون نقص کار میکند. یکی از همکارانتان میخواهد آن را به create_agent منتقل کند و دیگری استفاده از Deep Agents را ترجیح میدهد. هر دو هم میگویند با این کار، کارایی ایجنت ارتقا پیدا میکند. اما هیچکدام عدد و رقمی ندارند، چون هیچکس وظایف یکسانی را روی هر کدام از این گزینهها اجرا نکرده است.
ما این کار را انجام دادیم. پس از پایان این بخش، متوجه میشوید یک بستر آزمایشی (harness) چه تغییراتی در اجرای ایجنت ایجاد میکند و چه چیزهایی را دستنخورده باقی میگذارد. همچنین میتوانید بر اساس معیارهای اندازهگیریشده مثل نرخ قبولی (pass rate)، زمان مصرفی، تعداد توکنها و هزینهی دلاری، با اطمینان بین حلقهی ساده، create_agent، گراف وضعیت (StateGraph) دستساز و Deep Agents انتخاب کنید.
دیدگاه اصلی
- کیفیت خروجی را بستر آزمایشی تعیین نمیکند؛ مدل تعیین میکند. حلقهی ساده،
create_agentوStateGraphدستساز روی دو مدل، در تمام وظایف مشترک دقیقاً نتیجهی یکسانی ثبت کردند. - برای یک مدل پیشرو (frontier model) فرقی ندارد کدام بستر آن را اجرا کند. مدل Claude Haiku 5.5 در 99 وظیفه از 99 وظیفه، هم با حلقهی ساده و هم با ایجنت عمیق قبول شد.
- این موضوع برای یک مدل کوچک محلی اهمیت دارد، و Deep Agents همان بستری است که به عملکردش آسیب میزند. مدل Qwen3 4B با حلقهی ساده در 70 وظیفه از 99 وظیفه قبول شد، اما به عنوان ایجنت عمیق این عدد به 55 وظیفه کاهش یافت.
- زمان صرفشده در فریمورک در برابر زمان پاسخدهی مدل حکم نویز را دارد. میانهی این زمان در تمام مدلها و بسترهای آزمایشی بین 5 تا 91 میلیثانیه به ازای هر وظیفه بود. نمودار اول تنها Qwen3 4B و Haiku را نشان میدهد که میانهی آنها بین 6 تا 67 میلیثانیه متغیر است. سهم فریمورک در تمام خانهها زیر 1.7% از کل زمان اجرای وظیفه بود.
- بستر آزمایشی را بر اساس قابلیتهای پیرامونی مدل انتخاب کنید. مواردی مانند ماندگاری (persistence)، استریمینگ (streaming)، تأییدیهها و ابزارهای برنامهریزی دلایل اصلی هستند؛ نه کیفیت خروجی مدل.
مجموعهی آزمون: 99 وظیفه و ارزیابهایی که وضعیت را میخوانند
مجموعه وظایف (Task suite): 99 وظیفهی بستهی آزمایشی در پنج گروهِ 20تایی دستهبندی شدهاند که یکی از آنها 19 وظیفه دارد. هر وظیفه تعدادی ابزار و یک یا چند نوبت گفتوگو (turn) در اختیار ایجنت میگذارد؛ سپس یک ارزیاب تغییرات اعمالشده توسط ابزارها را بررسی میکند.
| گروه | وظایف | ابزارهای در دسترس ایجنت | آنچه ارزیاب بررسی میکند |
|---|---|---|---|
| زنجیرهای (chain) | 20 | جستجوی کالا، نرخ ارز، نرخ شرکت حملونقل، تبدیل واحد، ماشینحساب، submit_answer |
جستجوهای انجامشده با کالای درست و عدد نهایی ارسالشده |
| پایگاه داده (sql) | 19 | فهرست جداول، توصیف ساختار، SELECT فقطخواندنی، ماشینحساب، submit_answer |
ابزار کوئری استفادهشده، هش دستنخوردهی دیتابیس و پاسخ نهایی |
| بازیابی (retrieval) | 20 | جستجوی کلیدواژهای روی 26 سند محلی، خواندن یک سند، submit_answer |
باز شدن سند پشتیبان مرتبط و پاسخ نهایی |
| فایلها (files) | 20 | فهرست کردن، خواندن، نوشتن، تغییر نام و حذف در پوشهی وظیفه | بررسی بایتبهبایت تکتک فایلهای پوشه پس از پایان اجرا |
| چندنوبته (multiturn) | 20 | مخزن یادداشت با امکانات ثبت، دریافت، حذف و فهرست، ماشینحساب، نرخ ارز | تمام کلیدها و مقادیر مخزن پس از آخرین نوبت، و پاسخ نهایی در صورت لزوم |
این وظایف بر پایهی دادههای ثابتی ساخته شدهاند: کاتالوگی شامل 12 قلم کالا، یک فروشگاه SQLite با 240 سفارش، و مجموعهای از اسناد ساختگی. یک اسکریپت بررسی میکند که توالی درست فراخوانی ابزارها در تمام وظایف قبول شود و ایجنتی که هیچ ابزاری را فراخوانی نکند در همهی وظایف مردود شود.
ما یکی از وظایف، یعنی sql19 را از تمام جدولهای این راهنما کنار گذاشتیم. این تست میپرسد کدام دستهبندی بیشترین تعداد محصول را دارد، در حالی که دو دستهبندی هر کدام 5 محصول دارند. ارزیاب فقط یکی از آنها را قبول میکرد؛ بنابراین یک پاسخ کاملاً درست ممکن بود رد شود.
ارزیابی که فقط متن نهایی را بخواند، اجراهایی را که مسیر غلطی رفتهاند هم قبول میکند. برای نمونه در وظیفهی multi13، کاربر سه عدد را در طول سه نوبت ارائه میدهد و میخواهد مجموع آنها ضرب در 3 در یادداشتها ذخیره شود. مدل Qwen3 8B اعلام کرد که نتیجه را ذخیره کرده است:
{"run_id": "724bfc7f", "tag": "main", "ts": "2026-11-14T22:54:10", "task_id": "multi13", "family": "multiturn", "harness": "plain", "model": "qwen3:8b", …"passed": false, …"checks": {"kv_state": false}, "category": "wrong_final_state", …"tool_seq": ["kv_set"], "final_text": "The result has been saved under the key 'result' in your notes.", …"final_state": {"result": "129"}}یک سطر از Qwen3 8B با حلقه ساده، خلاصه شده به خروجی، فراخوانیهای ابزار، متن نهایی و حافظه داده. مقدار مورد انتظار 150 است.
مجموع 17، 25 و 8 برابر با 50 است و نتیجه میشود 150. مدل عدد 129 را ذخیره کرد. پاسخش دربارهی اصل انجام کار درست بود اما مقدارش غلط، و این موضوع را فقط مخزن نشان میدهد.
قبولی (Pass): به این معناست که بررسیهای وظیفه در پایان اجرا معتبر باشند. اگر مقدار درست به submit_answer ارسال شود، پاسخْ ارائهشده به حساب میآید. همچنین اگر پاسخ درست درون متن نهایی بیاید و هیچ فراخوانی ابزاری به شکل متن خام نوشته نشده باشد، باز هم قبولی منظور میشود.
قبولی دقیق (Strict pass): قبولی حالتی است که در آن پاسخ الزاماً از طریق submit_answer تحویل داده شده باشد. مدل Qwen3 4B با حلقهی ساده در 70 وظیفه از 99 وظیفه قبول شد، اما فقط در 20 مورد قبولی دقیق گرفت؛ چون اغلب عدد درست را در پاسخ متنی مینوشت و اصلاً ابزار را صدا نمیزد. در مقابل، Claude Haiku 5.5 هر بار ابزار را فراخوانی کرد.
چهار بستر آزمایشی، یک پرامپت
به هر بستر آزمایشی پرامپت سیستمیِ یکسان، ابزارهای یکسان و سقف 10 فراخوانی مدل به ازای هر نوبت کاربر داده شد.
- حلقهی ساده (Plain loop): حلقهی اختصاصی خودمان روی
bind_tools. مدل را صدا میزند، هر فراخوانی ابزار را اجرا میکند، یکToolMessageضمیمه میکند و هر زمان مدل ابزاری نخواست متوقف میشود. این کد در کیت فقط 27 خط است. - دستور
create_agent: ایجنت استانداردlangchainنسخهی 1.5.0 همراه باInMemorySaver. - گراف وضعیت (
StateGraph) دستساز: شامل یک نود مدل، یکToolNodeو تابعtools_conditionاز پکیجlanggraphنسخهی 1.2.22، همراه باInMemorySaver. این دقیقاً همان گرافی است کهcreate_agentمیسازد، منتها دستی نوشته شده است. - ایجنت عمیق (Deep agent): تابع
create_deep_agentاز پکیجdeepagentsنسخهی 0.7.38 با بکاند پیشفرض و ابزارهای ما. همانطور که بخش 7.4 نشان میدهد، این حالت ابزارهای کار با فایل، ابزارtaskو لایههای میانافزار خود را اضافه میکند.
مدلهای محلی روی Ollama با مقدار دمای 0 و سید 42 اجرا شدند. مدل Claude برای این مدلها مقدار دما نمیپذیرد، بنابراین کیت هیچ مقداری نفرستاد و هر وظیفه را یک بار اجرا کرد. در Claude، پرامپت سیستمیِ حلقهی ساده برای کش کردن پرامپت (prompt caching) نشانهگذاری شد. ایجنت عمیق هم میانافزار کش اختصاصی خودش را اضافه میکند.
نتایج
ما تمام ردیفها را روی Mac اندازه گرفتیم. مدلهای محلی روی Ollama در همان دستگاه اجرا شدند و Claude هم از طریق Anthropic API از روی همان Mac فراخوانی شد. مدلهای Qwen3 4B، Qwen3 8B و Claude Haiku 5.5 تمام 99 وظیفه را اجرا کردند. سایر مدلها روی یک زیرمجموعهی طبقهبندیشدهی 30تایی (شش وظیفه از هر گروه) اجرا شدند. هر خانه حاصل یک بار اجرای هر وظیفه است و بازهی ارائهشده، فاصلهی اطمینان 95% ویلسون است.
| مدل | وظایف | حلقهی ساده | create_agent |
StateGraph |
ایجنت عمیق |
|---|---|---|---|---|---|
| Claude Haiku 5.5 | 99 | 99، 0.96 تا 1.00 | اجرا نشد | اجرا نشد | 99، 0.96 تا 1.00 |
| Qwen3 8B | 99 | 74، 0.65 تا 0.82 | اجرا نشد | اجرا نشد | 58، 0.49 تا 0.68 |
| Qwen3 4B | 99 | 70، 0.61 تا 0.79 | اجرا نشد | اجرا نشد | 55، 0.46 تا 0.65 |
| Claude Sonnet 5.5 | 30 | 30، 0.89 تا 1.00 | اجرا نشد | اجرا نشد | 30، 0.89 تا 1.00 |
| gpt-oss 20B | 30 | 28، 0.79 تا 0.98 | اجرا نشد | اجرا نشد | 24، 0.63 تا 0.91 |
| Qwen3 14B | 30 | 26، 0.70 تا 0.95 | اجرا نشد | اجرا نشد | 24، 0.63 تا 0.91 |
| Qwen3 4B | 30 | 23، 0.59 تا 0.88 | 23 | 23 | 13، 0.27 تا 0.61 |
| Qwen3 8B | 30 | 18، 0.42 تا 0.75 | 18 | 18 | 16، 0.36 تا 0.70 |
| Qwen3 30B-A3B با تفکر روشن | 30 | 15، 0.33 تا 0.67 | اجرا نشد | اجرا نشد | 15، 0.33 تا 0.67 |
سه بستر آزمایشی، یک مجموعهدرخواست یکسان
روی مدلهای Qwen3 4B و Qwen3 8B، سه حالت حلقهی ساده، create_agent و StateGraph در تمام 30 وظیفه نتایج کاملاً یکسانی به دست دادند. متن نهایی، فراخوانی ابزارها و تعداد توکنها در هر سه یکسان بود. کیت آزمایشی توکنهای پرامپت هر فراخوانی را برای 42 جفت از این وظایف ثبت کرد که هر 198 فراخوانی دقیقاً با هم تطابق داشتند.
با رمزگشایی حریصانه (greedy decoding)، خروجی یکسان یعنی مدل درخواست یکسانی دیده است. بنابراین create_agent و LangGraph هیچ پرامپت پنهان، ابزار اضافی یا تغییر ترتیبی اعمال نمیکنند. در بخش 8.3 هم با استفاده از یک پروکسی به همین تعداد توکن پرامپت رسیدیم.
بررسی Deep Agents: برابری روی Claude، پسرفت روی مدلهای کوچک
روی Claude Haiku 5.5، حلقهی ساده و ایجنت عمیق در 99 وظیفه از 99 وظیفه به یک نتیجه رسیدند. روی Claude Sonnet 5.5 هم در 30 وظیفه از 30 وظیفه توافق داشتند. از آنجا که هر دو مدل در همهی موارد قبول میشوند، این مجموعه آزمون نمیتواند تفاوتی بین آنها قائل شود.
اما روی Qwen3 4B، این دو بستر فقط در 42 وظیفه از 99 مورد همنظر بودند. حلقهی ساده بهتنهایی 36 وظیفه را پاس کرد، در حالی که ایجنت عمیق بهتنهایی فقط در 21 وظیفه قبول شد. در Qwen3 8B میزان توافق روی 73 وظیفه بود، با 21 وظیفه برای حلقهی ساده و 5 وظیفه برای ایجنت عمیق. کل این افت عملکرد به دو گروه مربوط میشود:
| گروه | Qwen3 4B ساده | Qwen3 4B عمیق | Qwen3 8B ساده | Qwen3 8B عمیق |
|---|---|---|---|---|
| فایلها | 16 از 20 | 2 از 20 | 17 از 20 | 5 از 20 |
| بازیابی | 15 از 20 | 7 از 20 | 13 از 20 | 6 از 20 |
| 59 وظیفهی دیگر | 39 | 46 | 44 | 47 |
افت عملکرد در بخش فایلها ناشی از بکاند پیشفرض Deep Agents است که ابزارهای فایل آن به جای دیسک، روی وضعیت ایجنت مینویسند. در بخش 7.4 تمام این اجراها نشان داده شده است. در بخش بازیابی نیز مدل 4B در قالب ایجنت عمیق در 6 پرسش از 20 پرسش بدون هیچ فراخوانی ابزاری پاسخ داد و گفت به دادهها دسترسی ندارد. حلقهی ساده در هیچ موردی چنین رفتاری نداشت. در 59 وظیفهی دیگر، ایجنت عمیق در وظایف بیشتری قبول شد: 46 در برابر 39 روی Qwen3 4B، و 47 در برابر 44 روی Qwen3 8B.
سه پیکربندی دیگر و Claude Agent SDK
پس از اولین بنچمارک، حالتهای دیگری را هم اجرا کردیم. جزئیات این آزمایشها در بخش 7.4 آمده است. با تغییر پروفایل بستر، ابزارهای فایل توکار را پنهان کردیم؛ با این کار، ایجنت عمیق روی Qwen3 4B در همان 55 از 99 باقی ماند، اما روی Qwen3 8B نتیجهی آن از 58 به 63 رسید. حلقهی ساده در این دو مدل به ترتیب 70 و 74 وظیفه را پاس کرد.
ابزار ارزیابی langchain-quickjs روی چهار مدل هیچ بهبودی به همراه نداشت. در بخش 4.6 میانافزار نمرهدهی را ارزیابی کردهایم.
ما عملکرد ابزار Claude Agent SDK نسخهی 0.2.182 را به همراه Claude Code CLI نسخهی 2.1.325 در برابر ایجنت عمیق روی زیرمجموعهی 30 وظیفهای سنجیدیم. هر دو روی Mac و با مدل Claude Haiku 5.5 و همان پنج ابزار وظیفه اجرا شدند (یک بار اجرا به ازای هر وظیفه). این SDK ابزارها را از طریق یک سرور MCP درونفرایندی دریافت میکرد. شکل مقایسهی این دو را نشان میدهد.
هر دو بستر در تمام 30 وظیفه به نتیجهی یکسانی رسیدند؛ بنابراین این مجموعه آزمون از نظر کیفیت نمیتواند آنها را رتبهبندی کند. بر اساس هزینهای که هر بستر گزارش کرد، اجرای این 30 وظیفه با ایجنت عمیق 0.0168 دلار و با SDK برابر با 0.0139 دلار شد.
امتیاز نهایی را مدل تعیین میکند
در زیرمجموعهی 30 وظیفهای با حلقهی ساده، پنج مدل محلی بین 15 تا 28 وظیفه را پاس کردند و هر دو مدل Claude در تمام 30 وظیفه قبول شدند. روی یک مدل مشخص، تغییر بین سه بستر ساده امتیاز نهایی را حتی به اندازهی یک وظیفه هم جابهجا نکرد. وقت و انرژی خود را قبل از بستر، روی مدل بگذارید.
اندازهی مدل بهتنهایی ملاک رتبهبندی مدلهای محلی نیست. مدل Qwen3 4B Instruct در زیرمجموعه 23 وظیفه و Qwen3 8B تعداد 18 وظیفه را پاس کردند، اما در کل 99 وظیفه امتیاز آنها 70 و 74 شد؛ بازههای اطمینان آنها همپوشانی (overlap) دارد. مدل Qwen3 30B-A3B با تفکر روشن اجرا شد و در 10 مورد از 15 شکست خود در حلقهی ساده، فراخوانی ابزار را به صورت متن خام تایپ کرد.
زمان و توکنها
زمان فریمورک: تفاوت زمان واقعی (wall time) اجرای یک وظیفه با مجموع زمان صرفشده داخل فراخوانیهای مدل و توابع ابزار. این شاخص زمان مصرفی در حلقه، گراف، چکپوینتر (checkpointer) و میانافزار را در خود دارد.
ما زمان فریمورک را برای تمام وظایف روی Mac ثبت کردیم. شکل جزئیات هر وظیفه را نشان میدهد.
در زیرمجموعهی 30 وظیفهای با Qwen3 4B، میانهی زمان حلقهی ساده 6.2 میلیثانیه و برای create_agent برابر با 22.5 میلیثانیه بود. StateGraph معادل 18.5 میلیثانیه و ایجنت عمیق 55.2 میلیثانیه زمان برد. در همین حال، مدل برای اجرای حلقهی ساده به ازای هر وظیفه 9.7 ثانیه زمان برد. در Claude Haiku 5.5 روی 99 وظیفه، میانه برای حلقهی ساده 8.4 میلیثانیه و برای ایجنت عمیق 66.5 میلیثانیه بود؛ در حالی که زمان مدل 5.0 ثانیه ثبت شد.
سهم فریمورک از زمان واقعی در تمام خانههای مدلهای محلی زیر 0.5% بود. در Claude، این رقم برای حلقهی ساده 0.24% و برای ایجنت عمیق 1.43% شد، چون مدلهای ابری سریعتر پاسخ میدهند. در Claude Sonnet 5.5 میانهی زمان ایجنت عمیق 90.8 میلیثانیه بود. در طول 498 فراخوانی مدل، ایجنت عمیق روی Haiku حدود 14 میلیثانیه به ازای هر فراخوانی زمان بیشتری نسبت به حلقهی ساده صرف کرد.
ایجنت عمیق روی تمام مدلها توکنهای بیشتری فرستاد. در وظایفی که هر دو بستر اجرا کردند، توکنهای پرامپت ایجنت عمیق 3.6 تا 4.3 برابرِ حلقهی ساده بود. علتش ارسال اسکیماهای ابزارهای اختصاصی خود فریمورک در تکتک فراخوانیهاست. روی Qwen3 4B و 8B، gpt-oss و Claude، میانهی تعداد فراخوانیهایش با حلقهی ساده برابر بود: 4 فراخوانی در مدلهای محلی و 5 فراخوانی در Claude. روی Qwen3 14B حلقهی ساده 5 و ایجنت عمیق 4 فراخوانی انجام داد. روی مدل 30B نیز حلقهی ساده 3.5 و ایجنت عمیق 4 فراخوانی ثبت کرد.
روی یک مدل محلی، این توکنهای اضافی زمان میبرند. در Qwen3 4B، میانهی زمان هر وظیفه با ایجنت عمیق 22.6 ثانیه بود، در حالی که با حلقهی ساده به 9.1 ثانیه رسید.
هزینهها
ما هزینهی دلاری هر فراخوانی Claude را از روی میزان مصرف برگشتی از API و با تعرفههای رسمی تاریخ 2026-11-14 محاسبه کردیم. هر یک میلیون توکن ورودی Claude Haiku 5.5 معادل 0.10 دلار و هر یک میلیون توکن خروجی آن 0.50 دلار هزینه دارد. Claude Sonnet 5.5 هم 2 دلار و 10 دلار قیمت دارد.
| مدل و بستر آزمایشی | وظایف | صورتحساب | به ازای هر وظیفه | با تعرفه رسمی بدون کش |
|---|---|---|---|---|
| Claude Haiku 5.5، حلقهی ساده | 99 | $0.045 | $0.00045 | $0.085 |
| Claude Haiku 5.5، ایجنت عمیق | 99 | $0.052 | $0.00053 | $0.264 |
| Claude Sonnet 5.5، حلقهی ساده | 30 | $0.263 | $0.0088 | $0.507 |
| Claude Sonnet 5.5، ایجنت عمیق | 30 | $0.327 | $0.0109 | $1.591 |
کش کردن پرامپت بخش عمدهی این فاصلهی توکنی را پر میکند. هزینهی ایجنت عمیق روی Haiku فقط 1.16 برابر و روی Sonnet حدود 1.24 برابرِ حلقهی ساده شد. اما با تعرفهی رسمی و بدون کش، هزینهاش 3.10 و 3.14 برابر میشد. بخش 7.4 تکتک وظایف را نشان میدهد.
کل این بنچمارک با 2,589 فراخوانی API کلاً 0.93 دلار هزینه برداشت. ارزیابیهای بخش 9.6 با 64 فراخوانی Claude معادل 0.011 دلار هزینه اضافه کرد. بنچمارک دوم با 370 فراخوانی 0.069 دلار، و اجراهای چندایجنت در بخش 6.7 با 1,518 فراخوانی 0.150 دلار دیگر به آن افزود.
جدول مستندات دربارهی مدلها چه میگوید؟
صفحهی مدلها در مستندات Deep Agents نمرات یک مجموعهی ارزیابی را برای 13 مدل نشان میدهد {{docs oss/python/deepagents/models}}. ما این صفحه را در تاریخ 2026-11-15 بررسی و ارقامش را ثبت کردیم. خودمان این مدلها را اجرا نکردیم. جدول زیر سه ستون از هفت ستون را آورده است.
| مدل | کلی | استفاده از ابزار | عملیات فایل | دفعات اجرای CI در ردیف |
|---|---|---|---|---|
google_genai:gemini-3.6-flash |
0.82 | 0.90 | 1.00 | 2 |
openai:gpt-5.4 |
0.18 | 0.18 | 1.00 | 3 |
openai:gpt-5.5 |
0.80 | 0.84 | 0.92 | 2 |
anthropic:claude-opus-4-6 |
0.26 | 0.26 | 0.92 | 3 |
anthropic:claude-opus-4-7 |
0.80 | 0.82 | 1.00 | 1 |
baseten:moonshotai/Kimi-K2.6 |
0.79 | 0.84 | 0.92 | 1 |
baseten:zai-org/GLM-5 |
0.77 | 0.89 | 1.00 | 2 |
fireworks:accounts/fireworks/models/glm-5p1 |
0.81 | 0.87 | 1.00 | 1 |
fireworks:accounts/fireworks/models/minimax-m2p7 |
0.79 | 0.85 | 1.00 | 1 |
ollama:minimax-m2.7:cloud |
0.73 | 0.82 | 0.92 | 2 |
openrouter:deepseek/deepseek-v4-flash |
0.81 | 0.90 | 1.00 | 1 |
openrouter:minimax/minimax-m2.7 |
0.80 | 0.89 | 0.92 | 1 |
openrouter:z-ai/glm-5.1 |
0.89 | 0.89 | 0.92 | 5 |
هیچکدام از ردیفها مربوط به یک مدل محلی 20B پارامتری یا کمتر نیست؛ بنابراین این صفحه نمیتواند رفتار مدلهای کوچکتر را نشان دهد. در هفت ردیف، خانهها حاصل تلفیق دو تا پنج اجرای متفاوت در CI هستند.
هفت ردیف اصلاً امتیازی برای حافظه ندارند. وضعیت دو ردیف هم عجیب است: openai:gpt-5.4 و anthropic:claude-opus-4-6. امتیاز کلی آنها (0.18 و 0.26) دقیقاً با نمرهی استفاده از ابزارشان (Tool Use) برابر است؛ در حالی که خانههای عملیات فایل، بازیابی و خلاصهسازی آنها بین 0.92 تا 1.00 قرار دارد.
دفتر ثبت، این مورد را با عنوان تعارض D137 ثبت کرده است. به این صفحه صرفاً به چشم یک رتبهبندی از مدلهای بزرگ ابری در یک آزمون خاص نگاه کنید و برای هر کار دیگری، وظایف اختصاصی خودتان را بسنجید.
کدام را انتخاب کنیم؟
| شرایط کاری شما | انتخاب مناسب | دلیل مبتنی بر داده |
|---|---|---|
| یک فراخوانی مدل، بدون ابزار، بدون وضعیت | استفاده از SDK ارائهدهنده | هیچ بستری چیزی برای اضافه کردن ندارد |
| حلقهی ابزار در یک فرایند، بدون توقف، بدون ادامهی اجرا، بدون حفظ تاریخچه بین ریستارتها | حلقهی ساده | نتیجه، توکنها و متن کاملاً یکسان با create_agent در 60 وظیفه از 60 وظیفه، و فقط 6 میلیثانیه زمان برای هر وظیفه |
| نیاز به چکپوینتر، حالتهای استریمینگ، تأییدیهها یا میانافزار | create_agent |
همان درخواستهای حلقهی ساده، 12 تا 16 میلیثانیه زمان بیشتر برای هر وظیفه، 0.20% تا 0.25% از زمان وظیفه |
| نیاز به شاخهها (branches)، نودهای موازی یا زیرگرافها | StateGraph دستساز |
همان درخواستهای create_agent روی ساختار حلقه، با 18.5 میلیثانیه زمان برای هر وظیفه |
| مدل پیشرو با کش کردن پرامپت، و نیاز به ابزارهای فایل و سابایجنتها | Deep Agents | 99 از 99 در Haiku، 30 از 30 در Sonnet، با 1.16 تا 1.24 برابر هزینهی دلاری |
| مدل محلی روی Ollama | حلقهی ساده یا create_agent، اما هرگز ایجنت عمیق پیشفرض نه |
15 و 16 وظیفهی کمتر از 99 در Qwen3 4B و 8B؛ 2 تا 4 وظیفهی کمتر از 30 در 14B و 20B |
| مدل پیشرو با حلقهی ابزار Claude بدون وابستگی به فریمورک | Claude Agent SDK | 30 از 30 در Haiku، میانهی 9.3 هزار توکن ورودی در برابر 23.7 هزار برای ایجنت عمیق |
| میخواهید نمرهی بهتری بگیرید | مدل بهتر | 15 تا 30 از 30 در مدلهای مختلف، در برابر تفاوت صفر بین سه بستر ساده |
بخش 2 نشان میدهد create_agent در ازای این چند میلیثانیه چه امکاناتی فراهم میکند: حلقهی سوپراستپ (superstep loop)، چکپوینتها و استریمها. بخش 9 دستور create_agent را در یک سرویس با امکان تأیید، چکپوینتر متصل به Postgres و اسپنها (spans) روی سه مدل واقعی پیادهسازی میکند.
آنچه این مجموعه آزمون به شما نمیگوید
ردیفهای Claude به سقف امتیاز رسیدهاند. آزمونی که هر دو مدل Claude در آن نمرهی کامل میگیرند نمیتواند آنها را رتبهبندی کند و قادر نیست اثر چند درصدی بستر آزمایشی را روی آنها نشان دهد. یک آزمون سختتر این تفاوت را آشکار میکرد؛ ما برای اینکه هزینهی API را پایین نگه داریم چنین کاری نکردیم.
هر وظیفهی Claude یک بار و با تنظیمات سمپلینگ پیشفرض API اجرا شد. وظایف محلی هم هرکدام یک بار اجرا شدند و یادداشت روششناسی نشان میدهد چرا یک بار اجرای حریصانه در آنجا کفایت میکند. این مجموعه آزمون وظایف کوتاهی با 1 تا 12 فراخوانی مدل را با میانهی 4 میسنجد. بنابراین چیزی دربارهی رشتهگفتوگوهای چندصدنوبتی نمیگوید که بخش 5.5 به آن میپردازد. همچنین چیزی دربارهی رفتار یک سرویس زیر بار کاری بالا به ما نمیگوید؛ آزمونی که در بخش 9.7 سنجیده شده است.
منابع: capture/lab/bench/summary-mac.json، capture/lab/bench/summarize.py، capture/lab/bench2/docs-eval-table.json، capture/lab/bench2/summary-bench2.json، capture/lab/summary/multiagent-mac.json، capture/lab/multiagent/runs/n9-sdk-haiku.jsonl، capture/lab/multiagent/runs/n9-deep-haiku.jsonl، capture/lab/bench/runs/main.jsonl، capture/lab/bench/runs/models.jsonl، capture/lab/bench/runs/cost-ledger.jsonl، capture/lab/bench/data/tasks.jsonl، capture/lab/bench/data/subset30.txt، capture/lab/bench/data/anthropic-prices.json، capture/lab/bench/kit/harnesses.py، capture/lab/bench/kit/checks.py، capture/lab/bench/kit/env.py، capture/lab/bench/kit/gen_tasks.py، capture/lab/bench/kit/oracle.py، capture/lab/bench/kit/run.py، capture/lab/bench/kit/models.py؛ libs/langchain_v1/langchain/agents/factory.py در langchain==1.5.0؛ libs/langgraph/langgraph/prebuilt در langgraph 1.2.22؛ libs/deepagents/deepagents/graph.py در deepagents==0.7.38؛ صفحهی تعرفهی Anthropic، مشاهدهشده در 2026-11-14؛ مستندات docs.langchain.com در commit مستندات 04d4d4a (oss/python/deepagents/models).