بخش 1.2 · تصمیم‌گیری

آیا به LangChain نیاز دارید؟ مقایسه‌ی چهار بستر آزمایشی روی یک مجموعه وظیفه

Do you need LangChain? Four harnesses on one task suite

فهرست مطالب
  1. دیدگاه اصلی
  2. مجموعه‌ی آزمون: 99 وظیفه و ارزیاب‌هایی که وضعیت را می‌خوانند
  3. چهار بستر آزمایشی، یک پرامپت
  4. نتایج
  5. سه بستر آزمایشی، یک مجموعه‌درخواست یکسان
  6. بررسی Deep Agents: برابری روی Claude، پسرفت روی مدل‌های کوچک
  7. سه پیکربندی دیگر و Claude Agent SDK
  8. امتیاز نهایی را مدل تعیین می‌کند
  9. زمان و توکن‌ها
  10. هزینه‌ها
  11. جدول مستندات درباره‌ی مدل‌ها چه می‌گوید؟
  12. کدام را انتخاب کنیم؟
  13. آنچه این مجموعه آزمون به شما نمی‌گوید

سه بستر آزمایشی در 60 وظیفه از 60 وظیفه‌ی محلی نتایج کاملاً یکسانی ثبت کردند، Claude همه‌ی وظایف محوله را با موفقیت پشت سر گذاشت، و تنها ایجنت عمیق روی مدل‌های کوچک محلی چند وظیفه را از دست داد.

فرض کنید یک حلقه‌ی ابزار حدوداً 40 خطی بر پایه‌ی SDK ارائه‌دهنده نوشته‌اید و بدون نقص کار می‌کند. یکی از همکارانتان می‌خواهد آن را به create_agent منتقل کند و دیگری استفاده از Deep Agents را ترجیح می‌دهد. هر دو هم می‌گویند با این کار، کارایی ایجنت ارتقا پیدا می‌کند. اما هیچ‌کدام عدد و رقمی ندارند، چون هیچ‌کس وظایف یکسانی را روی هر کدام از این گزینه‌ها اجرا نکرده است.

ما این کار را انجام دادیم. پس از پایان این بخش، متوجه می‌شوید یک بستر آزمایشی (harness) چه تغییراتی در اجرای ایجنت ایجاد می‌کند و چه چیزهایی را دست‌نخورده باقی می‌گذارد. همچنین می‌توانید بر اساس معیارهای اندازه‌گیری‌شده مثل نرخ قبولی (pass rate)، زمان مصرفی، تعداد توکن‌ها و هزینه‌ی دلاری، با اطمینان بین حلقه‌ی ساده، create_agent، گراف وضعیت (StateGraph) دست‌ساز و Deep Agents انتخاب کنید.

دیدگاه اصلی

  • کیفیت خروجی را بستر آزمایشی تعیین نمی‌کند؛ مدل تعیین می‌کند. حلقه‌ی ساده، create_agent و StateGraph دست‌ساز روی دو مدل، در تمام وظایف مشترک دقیقاً نتیجه‌ی یکسانی ثبت کردند.
  • برای یک مدل پیشرو (frontier model) فرقی ندارد کدام بستر آن را اجرا کند. مدل Claude Haiku 5.5 در 99 وظیفه از 99 وظیفه، هم با حلقه‌ی ساده و هم با ایجنت عمیق قبول شد.
  • این موضوع برای یک مدل کوچک محلی اهمیت دارد، و Deep Agents همان بستری است که به عملکردش آسیب می‌زند. مدل Qwen3 4B با حلقه‌ی ساده در 70 وظیفه از 99 وظیفه قبول شد، اما به عنوان ایجنت عمیق این عدد به 55 وظیفه کاهش یافت.
  • زمان صرف‌شده در فریم‌ورک در برابر زمان پاسخ‌دهی مدل حکم نویز را دارد. میانه‌ی این زمان در تمام مدل‌ها و بسترهای آزمایشی بین 5 تا 91 میلی‌ثانیه به ازای هر وظیفه بود. نمودار اول تنها Qwen3 4B و Haiku را نشان می‌دهد که میانه‌ی آن‌ها بین 6 تا 67 میلی‌ثانیه متغیر است. سهم فریم‌ورک در تمام خانه‌ها زیر 1.7% از کل زمان اجرای وظیفه بود.
  • بستر آزمایشی را بر اساس قابلیت‌های پیرامونی مدل انتخاب کنید. مواردی مانند ماندگاری (persistence)، استریمینگ (streaming)، تأییدیه‌ها و ابزارهای برنامه‌ریزی دلایل اصلی هستند؛ نه کیفیت خروجی مدل.

مجموعه‌ی آزمون: 99 وظیفه و ارزیاب‌هایی که وضعیت را می‌خوانند

مجموعه وظایف (Task suite): 99 وظیفه‌ی بسته‌ی آزمایشی در پنج گروهِ 20تایی دسته‌بندی شده‌اند که یکی از آن‌ها 19 وظیفه دارد. هر وظیفه تعدادی ابزار و یک یا چند نوبت گفت‌وگو (turn) در اختیار ایجنت می‌گذارد؛ سپس یک ارزیاب تغییرات اعمال‌شده توسط ابزارها را بررسی می‌کند.

گروه وظایف ابزارهای در دسترس ایجنت آنچه ارزیاب بررسی می‌کند
زنجیره‌ای (chain) 20 جستجوی کالا، نرخ ارز، نرخ شرکت حمل‌ونقل، تبدیل واحد، ماشین‌حساب، submit_answer جستجوهای انجام‌شده با کالای درست و عدد نهایی ارسال‌شده
پایگاه داده (sql) 19 فهرست جداول، توصیف ساختار، SELECT فقط‌خواندنی، ماشین‌حساب، submit_answer ابزار کوئری استفاده‌شده، هش دست‌نخورده‌ی دیتابیس و پاسخ نهایی
بازیابی (retrieval) 20 جستجوی کلیدواژه‌ای روی 26 سند محلی، خواندن یک سند، submit_answer باز شدن سند پشتیبان مرتبط و پاسخ نهایی
فایل‌ها (files) 20 فهرست کردن، خواندن، نوشتن، تغییر نام و حذف در پوشه‌ی وظیفه بررسی بایت‌به‌بایت تک‌تک فایل‌های پوشه پس از پایان اجرا
چندنوبته (multiturn) 20 مخزن یادداشت با امکانات ثبت، دریافت، حذف و فهرست، ماشین‌حساب، نرخ ارز تمام کلیدها و مقادیر مخزن پس از آخرین نوبت، و پاسخ نهایی در صورت لزوم

این وظایف بر پایه‌ی داده‌های ثابتی ساخته شده‌اند: کاتالوگی شامل 12 قلم کالا، یک فروشگاه SQLite با 240 سفارش، و مجموعه‌ای از اسناد ساختگی. یک اسکریپت بررسی می‌کند که توالی درست فراخوانی ابزارها در تمام وظایف قبول شود و ایجنتی که هیچ ابزاری را فراخوانی نکند در همه‌ی وظایف مردود شود.

ما یکی از وظایف، یعنی sql19 را از تمام جدول‌های این راهنما کنار گذاشتیم. این تست می‌پرسد کدام دسته‌بندی بیشترین تعداد محصول را دارد، در حالی که دو دسته‌بندی هر کدام 5 محصول دارند. ارزیاب فقط یکی از آن‌ها را قبول می‌کرد؛ بنابراین یک پاسخ کاملاً درست ممکن بود رد شود.

ارزیابی که فقط متن نهایی را بخواند، اجراهایی را که مسیر غلطی رفته‌اند هم قبول می‌کند. برای نمونه در وظیفه‌ی multi13، کاربر سه عدد را در طول سه نوبت ارائه می‌دهد و می‌خواهد مجموع آن‌ها ضرب در 3 در یادداشت‌ها ذخیره شود. مدل Qwen3 8B اعلام کرد که نتیجه را ذخیره کرده است:

اجرایی که مدعی ذخیره نتیجه است، و وضعیت حافظه پس از آن capture/lab/bench/runs/main.jsonl
{"run_id": "724bfc7f", "tag": "main", "ts": "2026-11-14T22:54:10", "task_id": "multi13", "family": "multiturn", "harness": "plain", "model": "qwen3:8b", …"passed": false, …"checks": {"kv_state": false}, "category": "wrong_final_state", …"tool_seq": ["kv_set"], "final_text": "The result has been saved under the key 'result' in your notes.", …"final_state": {"result": "129"}}

یک سطر از Qwen3 8B با حلقه ساده، خلاصه شده به خروجی، فراخوانی‌های ابزار، متن نهایی و حافظه داده. مقدار مورد انتظار 150 است.

مجموع 17، 25 و 8 برابر با 50 است و نتیجه می‌شود 150. مدل عدد 129 را ذخیره کرد. پاسخش درباره‌ی اصل انجام کار درست بود اما مقدارش غلط، و این موضوع را فقط مخزن نشان می‌دهد.

قبولی (Pass): به این معناست که بررسی‌های وظیفه در پایان اجرا معتبر باشند. اگر مقدار درست به submit_answer ارسال شود، پاسخْ ارائه‌شده به حساب می‌آید. همچنین اگر پاسخ درست درون متن نهایی بیاید و هیچ فراخوانی ابزاری به شکل متن خام نوشته نشده باشد، باز هم قبولی منظور می‌شود.

قبولی دقیق (Strict pass): قبولی حالتی است که در آن پاسخ الزاماً از طریق submit_answer تحویل داده شده باشد. مدل Qwen3 4B با حلقه‌ی ساده در 70 وظیفه از 99 وظیفه قبول شد، اما فقط در 20 مورد قبولی دقیق گرفت؛ چون اغلب عدد درست را در پاسخ متنی می‌نوشت و اصلاً ابزار را صدا نمی‌زد. در مقابل، Claude Haiku 5.5 هر بار ابزار را فراخوانی کرد.

چهار بستر آزمایشی، یک پرامپت

به هر بستر آزمایشی پرامپت سیستمیِ یکسان، ابزارهای یکسان و سقف 10 فراخوانی مدل به ازای هر نوبت کاربر داده شد.

  • حلقه‌ی ساده (Plain loop): حلقه‌ی اختصاصی خودمان روی bind_tools. مدل را صدا می‌زند، هر فراخوانی ابزار را اجرا می‌کند، یک ToolMessage ضمیمه می‌کند و هر زمان مدل ابزاری نخواست متوقف می‌شود. این کد در کیت فقط 27 خط است.
  • دستور create_agent: ایجنت استاندارد langchain نسخه‌ی 1.5.0 همراه با InMemorySaver.
  • گراف وضعیت (StateGraph) دست‌ساز: شامل یک نود مدل، یک ToolNode و تابع tools_condition از پکیج langgraph نسخه‌ی 1.2.22، همراه با InMemorySaver. این دقیقاً همان گرافی است که create_agent می‌سازد، منتها دستی نوشته شده است.
  • ایجنت عمیق (Deep agent): تابع create_deep_agent از پکیج deepagents نسخه‌ی 0.7.38 با بک‌اند پیش‌فرض و ابزارهای ما. همان‌طور که بخش 7.4 نشان می‌دهد، این حالت ابزارهای کار با فایل، ابزار task و لایه‌های میان‌افزار خود را اضافه می‌کند.

مدل‌های محلی روی Ollama با مقدار دمای 0 و سید 42 اجرا شدند. مدل Claude برای این مدل‌ها مقدار دما نمی‌پذیرد، بنابراین کیت هیچ مقداری نفرستاد و هر وظیفه را یک بار اجرا کرد. در Claude، پرامپت سیستمیِ حلقه‌ی ساده برای کش کردن پرامپت (prompt caching) نشانه‌گذاری شد. ایجنت عمیق هم میان‌افزار کش اختصاصی خودش را اضافه می‌کند.

نتایج

ما تمام ردیف‌ها را روی Mac اندازه گرفتیم. مدل‌های محلی روی Ollama در همان دستگاه اجرا شدند و Claude هم از طریق Anthropic API از روی همان Mac فراخوانی شد. مدل‌های Qwen3 4B، Qwen3 8B و Claude Haiku 5.5 تمام 99 وظیفه را اجرا کردند. سایر مدل‌ها روی یک زیرمجموعه‌ی طبقه‌بندی‌شده‌ی 30تایی (شش وظیفه از هر گروه) اجرا شدند. هر خانه حاصل یک بار اجرای هر وظیفه است و بازه‌ی ارائه‌شده، فاصله‌ی اطمینان 95% ویلسون است.

نتیجه هر وظیفه، به ازای هر مدل و بستر آزمایشیسطرهای حلقه ساده، create_agent و StateGraph وظیفه به وظیفه یکسانند، Claude در هر دو بستر همه‌چیز را پاس می‌کند، و ایجنت عمیق فقط روی مدل‌های محلی افت دارد.
نتیجه هر وظیفه، به ازای هر مدل و بستر آزمایشی یک شبکه با یک سطر برای هر مدل و بستر، و یک ستون برای هر وظیفه از مجموعه 99 وظیفه‌ای، دسته‌بندی‌شده بر اساس خانواده. مربع توپر نشانه قبولی، مربع صورتی نشانه رد شدن، و ستون خالی نشان‌دهنده وظیفه‌ای خارج از زیرمجموعه 30تایی آن سطر است. مدل Claude Haiku 5.5 در حلقه ساده 99 از 99 و به عنوان ایجنت عمیق 99 از 99 را پاس کرد. Qwen3 4B در حلقه ساده 70 و در حالت عمیق 55، و Qwen3 8B به ترتیب 74 و 58 را پاس کرد. در مدل‌های Qwen3 سطرهای حلقه ساده، create_agent و StateGraph دست‌ساز در تمام وظایف مشترکشان کاملاً یکسان هستند. مدل بستر تست PASS زنجیره sql بازیابی فایل‌ها چندنوبته Haiku 5.5 حلقه ساده 99/99 ایجنت عمیق 99/99 Sonnet 5.5 حلقه ساده 30/30 ایجنت عمیق 30/30 gpt-oss 20B حلقه ساده 28/30 ایجنت عمیق 24/30 Qwen3 14B حلقه ساده 26/30 ایجنت عمیق 24/30 Qwen3 8B حلقه ساده 74/99 create_agent 18/30 StateGraph 18/30 ایجنت عمیق 58/99 Qwen3 4B حلقه ساده 70/99 create_agent 23/30 StateGraph 23/30 ایجنت عمیق 55/99 Qwen3 30B-A3B حلقه ساده 15/30 ایجنت عمیق 15/30 قبول، به رنگ لایه بستر آزمایشی رد: وضعیت نادرست، ابزار اشتباه یا بی‌جواب سطرهای 30تایی زیرمجموعه نمونه‌برداری‌شده را اجرا کردند؛ شش وظیفه از هر خانواده. ستون‌های خالی اجرا نشدند. سطرهای Qwen3: رمزگشایی حریصانه روی مک. سطرهای Claude: از طریق API، سمپلینگ پیش‌فرض، یک بار اجرا برای هر وظیفه.
هر ستون یک وظیفه است که بر اساس خانواده گروه‌بندی شده و هر سطر یک مدل و بستر آزمایشی است. مربع توپر نشان‌دهنده قبولی با رنگ لایه بستر و مربع صورتی نشانه رد شدن است. سطرهای با 30 وظیفه، زیرمجموعه را اجرا کرده‌اند و بقیه ستون‌هایشان خالی است. برگرفته از capture/lab/bench/summary-mac.json.
مدل وظایف حلقه‌ی ساده create_agent StateGraph ایجنت عمیق
Claude Haiku 5.5 99 99، 0.96 تا 1.00 اجرا نشد اجرا نشد 99، 0.96 تا 1.00
Qwen3 8B 99 74، 0.65 تا 0.82 اجرا نشد اجرا نشد 58، 0.49 تا 0.68
Qwen3 4B 99 70، 0.61 تا 0.79 اجرا نشد اجرا نشد 55، 0.46 تا 0.65
Claude Sonnet 5.5 30 30، 0.89 تا 1.00 اجرا نشد اجرا نشد 30، 0.89 تا 1.00
gpt-oss 20B 30 28، 0.79 تا 0.98 اجرا نشد اجرا نشد 24، 0.63 تا 0.91
Qwen3 14B 30 26، 0.70 تا 0.95 اجرا نشد اجرا نشد 24، 0.63 تا 0.91
Qwen3 4B 30 23، 0.59 تا 0.88 23 23 13، 0.27 تا 0.61
Qwen3 8B 30 18، 0.42 تا 0.75 18 18 16، 0.36 تا 0.70
Qwen3 30B-A3B با تفکر روشن 30 15، 0.33 تا 0.67 اجرا نشد اجرا نشد 15، 0.33 تا 0.67

سه بستر آزمایشی، یک مجموعه‌درخواست یکسان

روی مدل‌های Qwen3 4B و Qwen3 8B، سه حالت حلقه‌ی ساده، create_agent و StateGraph در تمام 30 وظیفه نتایج کاملاً یکسانی به دست دادند. متن نهایی، فراخوانی ابزارها و تعداد توکن‌ها در هر سه یکسان بود. کیت آزمایشی توکن‌های پرامپت هر فراخوانی را برای 42 جفت از این وظایف ثبت کرد که هر 198 فراخوانی دقیقاً با هم تطابق داشتند.

با رمزگشایی حریصانه (greedy decoding)، خروجی یکسان یعنی مدل درخواست یکسانی دیده است. بنابراین create_agent و LangGraph هیچ پرامپت پنهان، ابزار اضافی یا تغییر ترتیبی اعمال نمی‌کنند. در بخش 8.3 هم با استفاده از یک پروکسی به همین تعداد توکن پرامپت رسیدیم.

بررسی Deep Agents: برابری روی Claude، پسرفت روی مدل‌های کوچک

روی Claude Haiku 5.5، حلقه‌ی ساده و ایجنت عمیق در 99 وظیفه از 99 وظیفه به یک نتیجه رسیدند. روی Claude Sonnet 5.5 هم در 30 وظیفه از 30 وظیفه توافق داشتند. از آنجا که هر دو مدل در همه‌ی موارد قبول می‌شوند، این مجموعه آزمون نمی‌تواند تفاوتی بین آن‌ها قائل شود.

اما روی Qwen3 4B، این دو بستر فقط در 42 وظیفه از 99 مورد هم‌نظر بودند. حلقه‌ی ساده به‌تنهایی 36 وظیفه را پاس کرد، در حالی که ایجنت عمیق به‌تنهایی فقط در 21 وظیفه قبول شد. در Qwen3 8B میزان توافق روی 73 وظیفه بود، با 21 وظیفه برای حلقه‌ی ساده و 5 وظیفه برای ایجنت عمیق. کل این افت عملکرد به دو گروه مربوط می‌شود:

گروه Qwen3 4B ساده Qwen3 4B عمیق Qwen3 8B ساده Qwen3 8B عمیق
فایل‌ها 16 از 20 2 از 20 17 از 20 5 از 20
بازیابی 15 از 20 7 از 20 13 از 20 6 از 20
59 وظیفه‌ی دیگر 39 46 44 47

افت عملکرد در بخش فایل‌ها ناشی از بک‌اند پیش‌فرض Deep Agents است که ابزارهای فایل آن به جای دیسک، روی وضعیت ایجنت می‌نویسند. در بخش 7.4 تمام این اجراها نشان داده شده است. در بخش بازیابی نیز مدل 4B در قالب ایجنت عمیق در 6 پرسش از 20 پرسش بدون هیچ فراخوانی ابزاری پاسخ داد و گفت به داده‌ها دسترسی ندارد. حلقه‌ی ساده در هیچ موردی چنین رفتاری نداشت. در 59 وظیفه‌ی دیگر، ایجنت عمیق در وظایف بیشتری قبول شد: 46 در برابر 39 روی Qwen3 4B، و 47 در برابر 44 روی Qwen3 8B.

سه پیکربندی دیگر و Claude Agent SDK

پس از اولین بنچمارک، حالت‌های دیگری را هم اجرا کردیم. جزئیات این آزمایش‌ها در بخش 7.4 آمده است. با تغییر پروفایل بستر، ابزارهای فایل توکار را پنهان کردیم؛ با این کار، ایجنت عمیق روی Qwen3 4B در همان 55 از 99 باقی ماند، اما روی Qwen3 8B نتیجه‌ی آن از 58 به 63 رسید. حلقه‌ی ساده در این دو مدل به ترتیب 70 و 74 وظیفه را پاس کرد.

ابزار ارزیابی langchain-quickjs روی چهار مدل هیچ بهبودی به همراه نداشت. در بخش 4.6 میان‌افزار نمره‌دهی را ارزیابی کرده‌ایم.

ما عملکرد ابزار Claude Agent SDK نسخه‌ی 0.2.182 را به همراه Claude Code CLI نسخه‌ی 2.1.325 در برابر ایجنت عمیق روی زیرمجموعه‌ی 30 وظیفه‌ای سنجیدیم. هر دو روی Mac و با مدل Claude Haiku 5.5 و همان پنج ابزار وظیفه اجرا شدند (یک بار اجرا به ازای هر وظیفه). این SDK ابزارها را از طریق یک سرور MCP درون‌فرایندی دریافت می‌کرد. شکل مقایسه‌ی این دو را نشان می‌دهد.

مقایسه Claude Agent SDK و ایجنت‌های عمیق روی 30 وظیفه یکسانهر دو بستر 30 از 30 وظیفه را روی Haiku پاس کردند، و SDK به ازای هر وظیفه 9.3 هزار توکن ورودی خواند در مقابل 23.7 هزار توکن برای ایجنت عمیق.
مقایسه Deep Agents و Claude Agent SDK روی 30 وظیفه یکسان نمودار نقطه‌ای برای Claude Haiku 5.5 با ابزارها و پرامپت سیستم کاملاً یکسان در هر دو بستر. در Deep Agents: قبولی 30 از 30، میانه 5 فراخوانی مدل و 23.7 هزار توکن ورودی به ازای هر وظیفه، 0.0168 دلار برای کل وظایف؛ در Claude Agent SDK: قبولی 30 از 30، میانه 4.5 فراخوانی مدل و 9.3 هزار توکن ورودی به ازای هر وظیفه، 0.0139 دلار برای کل وظایف. هر دو بستر در نتیجه 30 از 30 وظیفه هم‌نظر بودند. در پایین، هر نقطه نشان‌دهنده توکن‌های ورودی یک وظیفه است. وظایف قبول‌شده OF 30 فراخوانی مدل به ازای وظیفه توکن‌های ورودی به ازای وظیفه هزینه (دلار) برای 30 وظیفه Deep Agents 30 5 23.7k $0.0168 Claude Agent SDK 30 4.5 9.3k $0.0139 توکن‌های ورودی به ازای وظیفه 0k 10k 20k 30k 40k 50k 60k
سطرهای بالا تعداد قبولی، میانه فراخوانی‌های مدل، میانه توکن‌های ورودی، و هزینه دلاری 30 وظیفه را نشان می‌دهند. هر نقطه در پایین نمایانگر یک وظیفه است. مقادیر بر اساس گزارش هر بستر ثبت شده است. برگرفته از capture/lab/summary/multiagent-mac.json.

هر دو بستر در تمام 30 وظیفه به نتیجه‌ی یکسانی رسیدند؛ بنابراین این مجموعه آزمون از نظر کیفیت نمی‌تواند آن‌ها را رتبه‌بندی کند. بر اساس هزینه‌ای که هر بستر گزارش کرد، اجرای این 30 وظیفه با ایجنت عمیق 0.0168 دلار و با SDK برابر با 0.0139 دلار شد.

امتیاز نهایی را مدل تعیین می‌کند

در زیرمجموعه‌ی 30 وظیفه‌ای با حلقه‌ی ساده، پنج مدل محلی بین 15 تا 28 وظیفه را پاس کردند و هر دو مدل Claude در تمام 30 وظیفه قبول شدند. روی یک مدل مشخص، تغییر بین سه بستر ساده امتیاز نهایی را حتی به اندازه‌ی یک وظیفه هم جابه‌جا نکرد. وقت و انرژی خود را قبل از بستر، روی مدل بگذارید.

اندازه‌ی مدل به‌تنهایی ملاک رتبه‌بندی مدل‌های محلی نیست. مدل Qwen3 4B Instruct در زیرمجموعه 23 وظیفه و Qwen3 8B تعداد 18 وظیفه را پاس کردند، اما در کل 99 وظیفه امتیاز آن‌ها 70 و 74 شد؛ بازه‌های اطمینان آن‌ها همپوشانی (overlap) دارد. مدل Qwen3 30B-A3B با تفکر روشن اجرا شد و در 10 مورد از 15 شکست خود در حلقه‌ی ساده، فراخوانی ابزار را به صورت متن خام تایپ کرد.

زمان و توکن‌ها

زمان فریم‌ورک: تفاوت زمان واقعی (wall time) اجرای یک وظیفه با مجموع زمان صرف‌شده داخل فراخوانی‌های مدل و توابع ابزار. این شاخص زمان مصرفی در حلقه، گراف، چک‌پوینتر (checkpointer) و میان‌افزار را در خود دارد.

ما زمان فریم‌ورک را برای تمام وظایف روی Mac ثبت کردیم. شکل جزئیات هر وظیفه را نشان می‌دهد.

زمان صرف‌شده خارج از مدل، و توکن‌های پرامپت ایجنت عمیقفریم‌ورک در میانه 6 تا 67 میلی‌ثانیه به ازای هر وظیفه زمان برد در مقابل چند ثانیه زمان مدل، و ایجنت عمیق 3.6 تا 4.3 برابر توکن فرستاد.
زمان خارج از مدل، و توکن‌های پرامپت ایجنت عمیق دو نمودار نقطه‌ای. چپ: میلی‌ثانیه‌های خارج از فراخوانی مدل و ابزارها در هر وظیفه، در مقیاس لگاریتمی، برای Qwen3 4B روی زیرمجموعه 30 وظیفه‌ای با چهار بستر و برای Claude Haiku 5.5 روی 99 وظیفه با دو بستر. میانه‌ها: برای Qwen3 4B در حلقه ساده 6.2 میلی‌ثانیه، در create 22.5 میلی‌ثانیه، در گراف 18.5 میلی‌ثانیه، و در عمیق 55.2 میلی‌ثانیه؛ برای Haiku در حلقه ساده 8.4 میلی‌ثانیه، و در عمیق 66.5 میلی‌ثانیه. مدل در هر وظیفه به طور میانه 9.7 ثانیه در Qwen3 4B و 5.0 ثانیه در Haiku زمان برد. راست: نسبت توکن‌های پرامپت ایجنت عمیق تقسیم بر حلقه ساده، وظیفه به وظیفه، برای هفت مدل. در تمام وظایف، ایجنت عمیق 3.62 تا 4.35 برابر توکن پرامپت فرستاده است. الف. خارج از مدل، به ازای هر وظیفه ب. نسبت ایجنت عمیق به حلقه ساده 1 ms 10 ms 100 ms 1000 ms 6.2 ساده 23 create 19 گراف 55 عمیق 8.4 ساده 67 عمیق Qwen3 4B، 30 وظیفه Haiku، 99 وظیفه زمان مدل به ازای وظیفه: 9.7 ثانیه در Qwen3 4B، 5.0 ثانیه در Haiku 0.5x 1x 2x 4x 8x 16x 32x 64x 4B 99 8B 99 14B 30 gpt-oss 30 30B 30 Haiku 99 Sonnet 30 خط ممتد: کل وظایف، 3.6 تا 4.3 برابر خط‌چین: توکن‌های برابر
سمت چپ، هر نقطه یک وظیفه در مقیاس لگاریتمی است و خط سیاه نشان‌دهنده میانه است. سمت راست، هر نقطه یک وظیفه است: نسبت توکن‌های پرامپت ایجنت عمیق به حلقه ساده. خط سیاه نسبت مجموع‌ها را نشان می‌دهد. برگرفته از capture/lab/bench/summary-mac.json.

در زیرمجموعه‌ی 30 وظیفه‌ای با Qwen3 4B، میانه‌ی زمان حلقه‌ی ساده 6.2 میلی‌ثانیه و برای create_agent برابر با 22.5 میلی‌ثانیه بود. StateGraph معادل 18.5 میلی‌ثانیه و ایجنت عمیق 55.2 میلی‌ثانیه زمان برد. در همین حال، مدل برای اجرای حلقه‌ی ساده به ازای هر وظیفه 9.7 ثانیه زمان برد. در Claude Haiku 5.5 روی 99 وظیفه، میانه برای حلقه‌ی ساده 8.4 میلی‌ثانیه و برای ایجنت عمیق 66.5 میلی‌ثانیه بود؛ در حالی که زمان مدل 5.0 ثانیه ثبت شد.

سهم فریم‌ورک از زمان واقعی در تمام خانه‌های مدل‌های محلی زیر 0.5% بود. در Claude، این رقم برای حلقه‌ی ساده 0.24% و برای ایجنت عمیق 1.43% شد، چون مدل‌های ابری سریع‌تر پاسخ می‌دهند. در Claude Sonnet 5.5 میانه‌ی زمان ایجنت عمیق 90.8 میلی‌ثانیه بود. در طول 498 فراخوانی مدل، ایجنت عمیق روی Haiku حدود 14 میلی‌ثانیه به ازای هر فراخوانی زمان بیشتری نسبت به حلقه‌ی ساده صرف کرد.

ایجنت عمیق روی تمام مدل‌ها توکن‌های بیشتری فرستاد. در وظایفی که هر دو بستر اجرا کردند، توکن‌های پرامپت ایجنت عمیق 3.6 تا 4.3 برابرِ حلقه‌ی ساده بود. علتش ارسال اسکیماهای ابزارهای اختصاصی خود فریم‌ورک در تک‌تک فراخوانی‌هاست. روی Qwen3 4B و 8B، gpt-oss و Claude، میانه‌ی تعداد فراخوانی‌هایش با حلقه‌ی ساده برابر بود: 4 فراخوانی در مدل‌های محلی و 5 فراخوانی در Claude. روی Qwen3 14B حلقه‌ی ساده 5 و ایجنت عمیق 4 فراخوانی انجام داد. روی مدل 30B نیز حلقه‌ی ساده 3.5 و ایجنت عمیق 4 فراخوانی ثبت کرد.

روی یک مدل محلی، این توکن‌های اضافی زمان می‌برند. در Qwen3 4B، میانه‌ی زمان هر وظیفه با ایجنت عمیق 22.6 ثانیه بود، در حالی که با حلقه‌ی ساده به 9.1 ثانیه رسید.

هزینه‌ها

ما هزینه‌ی دلاری هر فراخوانی Claude را از روی میزان مصرف برگشتی از API و با تعرفه‌های رسمی تاریخ 2026-11-14 محاسبه کردیم. هر یک میلیون توکن ورودی Claude Haiku 5.5 معادل 0.10 دلار و هر یک میلیون توکن خروجی آن 0.50 دلار هزینه دارد. Claude Sonnet 5.5 هم 2 دلار و 10 دلار قیمت دارد.

مدل و بستر آزمایشی وظایف صورت‌حساب به ازای هر وظیفه با تعرفه رسمی بدون کش
Claude Haiku 5.5، حلقه‌ی ساده 99 $0.045 $0.00045 $0.085
Claude Haiku 5.5، ایجنت عمیق 99 $0.052 $0.00053 $0.264
Claude Sonnet 5.5، حلقه‌ی ساده 30 $0.263 $0.0088 $0.507
Claude Sonnet 5.5، ایجنت عمیق 30 $0.327 $0.0109 $1.591

کش کردن پرامپت بخش عمده‌ی این فاصله‌ی توکنی را پر می‌کند. هزینه‌ی ایجنت عمیق روی Haiku فقط 1.16 برابر و روی Sonnet حدود 1.24 برابرِ حلقه‌ی ساده شد. اما با تعرفه‌ی رسمی و بدون کش، هزینه‌اش 3.10 و 3.14 برابر می‌شد. بخش 7.4 تک‌تک وظایف را نشان می‌دهد.

کل این بنچمارک با 2,589 فراخوانی API کلاً 0.93 دلار هزینه برداشت. ارزیابی‌های بخش 9.6 با 64 فراخوانی Claude معادل 0.011 دلار هزینه اضافه کرد. بنچمارک دوم با 370 فراخوانی 0.069 دلار، و اجراهای چندایجنت در بخش 6.7 با 1,518 فراخوانی 0.150 دلار دیگر به آن افزود.

جدول مستندات درباره‌ی مدل‌ها چه می‌گوید؟

صفحه‌ی مدل‌ها در مستندات Deep Agents نمرات یک مجموعه‌ی ارزیابی را برای 13 مدل نشان می‌دهد {{docs oss/python/deepagents/models}}. ما این صفحه را در تاریخ 2026-11-15 بررسی و ارقامش را ثبت کردیم. خودمان این مدل‌ها را اجرا نکردیم. جدول زیر سه ستون از هفت ستون را آورده است.

مدل کلی استفاده از ابزار عملیات فایل دفعات اجرای CI در ردیف
google_genai:gemini-3.6-flash 0.82 0.90 1.00 2
openai:gpt-5.4 0.18 0.18 1.00 3
openai:gpt-5.5 0.80 0.84 0.92 2
anthropic:claude-opus-4-6 0.26 0.26 0.92 3
anthropic:claude-opus-4-7 0.80 0.82 1.00 1
baseten:moonshotai/Kimi-K2.6 0.79 0.84 0.92 1
baseten:zai-org/GLM-5 0.77 0.89 1.00 2
fireworks:accounts/fireworks/models/glm-5p1 0.81 0.87 1.00 1
fireworks:accounts/fireworks/models/minimax-m2p7 0.79 0.85 1.00 1
ollama:minimax-m2.7:cloud 0.73 0.82 0.92 2
openrouter:deepseek/deepseek-v4-flash 0.81 0.90 1.00 1
openrouter:minimax/minimax-m2.7 0.80 0.89 0.92 1
openrouter:z-ai/glm-5.1 0.89 0.89 0.92 5

هیچ‌کدام از ردیف‌ها مربوط به یک مدل محلی 20B پارامتری یا کمتر نیست؛ بنابراین این صفحه نمی‌تواند رفتار مدل‌های کوچک‌تر را نشان دهد. در هفت ردیف، خانه‌ها حاصل تلفیق دو تا پنج اجرای متفاوت در CI هستند.

هفت ردیف اصلاً امتیازی برای حافظه ندارند. وضعیت دو ردیف هم عجیب است: openai:gpt-5.4 و anthropic:claude-opus-4-6. امتیاز کلی آن‌ها (0.18 و 0.26) دقیقاً با نمره‌ی استفاده از ابزارشان (Tool Use) برابر است؛ در حالی که خانه‌های عملیات فایل، بازیابی و خلاصه‌سازی آن‌ها بین 0.92 تا 1.00 قرار دارد.

دفتر ثبت، این مورد را با عنوان تعارض D137 ثبت کرده است. به این صفحه صرفاً به چشم یک رتبه‌بندی از مدل‌های بزرگ ابری در یک آزمون خاص نگاه کنید و برای هر کار دیگری، وظایف اختصاصی خودتان را بسنجید.

کدام را انتخاب کنیم؟

شرایط کاری شما انتخاب مناسب دلیل مبتنی بر داده
یک فراخوانی مدل، بدون ابزار، بدون وضعیت استفاده از SDK ارائه‌دهنده هیچ بستری چیزی برای اضافه کردن ندارد
حلقه‌ی ابزار در یک فرایند، بدون توقف، بدون ادامه‌ی اجرا، بدون حفظ تاریخچه بین ریستارت‌ها حلقه‌ی ساده نتیجه، توکن‌ها و متن کاملاً یکسان با create_agent در 60 وظیفه از 60 وظیفه، و فقط 6 میلی‌ثانیه زمان برای هر وظیفه
نیاز به چک‌پوینتر، حالت‌های استریمینگ، تأییدیه‌ها یا میان‌افزار create_agent همان درخواست‌های حلقه‌ی ساده، 12 تا 16 میلی‌ثانیه زمان بیشتر برای هر وظیفه، 0.20% تا 0.25% از زمان وظیفه
نیاز به شاخه‌ها (branches)، نودهای موازی یا زیرگراف‌ها StateGraph دست‌ساز همان درخواست‌های create_agent روی ساختار حلقه، با 18.5 میلی‌ثانیه زمان برای هر وظیفه
مدل پیشرو با کش کردن پرامپت، و نیاز به ابزارهای فایل و ساب‌ایجنت‌ها Deep Agents 99 از 99 در Haiku، 30 از 30 در Sonnet، با 1.16 تا 1.24 برابر هزینه‌ی دلاری
مدل محلی روی Ollama حلقه‌ی ساده یا create_agent، اما هرگز ایجنت عمیق پیش‌فرض نه 15 و 16 وظیفه‌ی کمتر از 99 در Qwen3 4B و 8B؛ 2 تا 4 وظیفه‌ی کمتر از 30 در 14B و 20B
مدل پیشرو با حلقه‌ی ابزار Claude بدون وابستگی به فریم‌ورک Claude Agent SDK 30 از 30 در Haiku، میانه‌ی 9.3 هزار توکن ورودی در برابر 23.7 هزار برای ایجنت عمیق
می‌خواهید نمره‌ی بهتری بگیرید مدل بهتر 15 تا 30 از 30 در مدل‌های مختلف، در برابر تفاوت صفر بین سه بستر ساده

بخش 2 نشان می‌دهد create_agent در ازای این چند میلی‌ثانیه چه امکاناتی فراهم می‌کند: حلقه‌ی سوپراستپ (superstep loop)، چک‌پوینت‌ها و استریم‌ها. بخش 9 دستور create_agent را در یک سرویس با امکان تأیید، چک‌پوینتر متصل به Postgres و اسپن‌ها (spans) روی سه مدل واقعی پیاده‌سازی می‌کند.

آنچه این مجموعه آزمون به شما نمی‌گوید

ردیف‌های Claude به سقف امتیاز رسیده‌اند. آزمونی که هر دو مدل Claude در آن نمره‌ی کامل می‌گیرند نمی‌تواند آن‌ها را رتبه‌بندی کند و قادر نیست اثر چند درصدی بستر آزمایشی را روی آن‌ها نشان دهد. یک آزمون سخت‌تر این تفاوت را آشکار می‌کرد؛ ما برای اینکه هزینه‌ی API را پایین نگه داریم چنین کاری نکردیم.

هر وظیفه‌ی Claude یک بار و با تنظیمات سمپلینگ پیش‌فرض API اجرا شد. وظایف محلی هم هرکدام یک بار اجرا شدند و یادداشت روش‌شناسی نشان می‌دهد چرا یک بار اجرای حریصانه در آنجا کفایت می‌کند. این مجموعه آزمون وظایف کوتاهی با 1 تا 12 فراخوانی مدل را با میانه‌ی 4 می‌سنجد. بنابراین چیزی درباره‌ی رشته‌گفت‌وگوهای چندصدنوبتی نمی‌گوید که بخش 5.5 به آن می‌پردازد. همچنین چیزی درباره‌ی رفتار یک سرویس زیر بار کاری بالا به ما نمی‌گوید؛ آزمونی که در بخش 9.7 سنجیده شده است.

منابع: capture/lab/bench/summary-mac.json، capture/lab/bench/summarize.py، capture/lab/bench2/docs-eval-table.json، capture/lab/bench2/summary-bench2.json، capture/lab/summary/multiagent-mac.json، capture/lab/multiagent/runs/n9-sdk-haiku.jsonl، capture/lab/multiagent/runs/n9-deep-haiku.jsonl، capture/lab/bench/runs/main.jsonl، capture/lab/bench/runs/models.jsonl، capture/lab/bench/runs/cost-ledger.jsonl، capture/lab/bench/data/tasks.jsonl، capture/lab/bench/data/subset30.txt، capture/lab/bench/data/anthropic-prices.json، capture/lab/bench/kit/harnesses.py، capture/lab/bench/kit/checks.py، capture/lab/bench/kit/env.py، capture/lab/bench/kit/gen_tasks.py، capture/lab/bench/kit/oracle.py، capture/lab/bench/kit/run.py، capture/lab/bench/kit/models.py؛ libs/langchain_v1/langchain/agents/factory.py در langchain==1.5.0؛ libs/langgraph/langgraph/prebuilt در langgraph 1.2.22؛ libs/deepagents/deepagents/graph.py در deepagents==0.7.38؛ صفحه‌ی تعرفه‌ی Anthropic، مشاهده‌شده در 2026-11-14؛ مستندات docs.langchain.com در commit مستندات 04d4d4a (oss/python/deepagents/models).