بخش 7.4 · اکوسیستم

Deep Agents: بستر آزمایشی کِی به کار می‌آید؟

Deep Agents: when the harness helps

فهرست مطالب
  1. موضع ما
  2. تابع create_deep_agent چه می‌سازد؟
  3. ابزارهای یک دیپ ایجنت در 0.7.38
  4. مدل کوچک، مدل پیشرو
  5. بک‌اند پیش‌فرض فایل‌ها را در وضعیت نگه می‌دارد
  6. پروفایل بستری که ابزارهای فایلی را پنهان می‌کند
  7. ابزار سنجش و فراخوانی برنامه‌نویسی‌شده‌ی ابزارها
  8. توکن‌ها و تأثیر کش بر آن‌ها
  9. تغییرات در 0.7
  10. کاهش پرامپت از 0.6 به 0.7
  11. بستر آزمایشی کِی به کار می‌آید؟

یک دیپ ایجنت (deep agent) روی Claude با 1.16 تا 1.24 برابر هزینه، همان نتایج حلقه‌ی ساده را ثبت کرد؛ اما روی مدل‌های کوچک محلی، عمدتاً به‌خاطر فایل‌سیستم پیش‌فرضِ مبتنی بر وضعیت (in-state)، بازی را باخت.

حتماً خوانده‌اید که یک دیپ ایجنت برنامه‌ریزی می‌کند، فایل‌ها را نگه می‌دارد و ساب‌ایجنت (subagent) راه می‌اندازد؛ بنابراین با deepagents نسخه‌ی 0.7.38 یکی از آن‌ها را می‌سازید. روی Claude، هر وظیفه‌ای (task) را که حلقه‌ی ساده‌تان پاس کند، این ایجنت هم پاس می‌کند. اما روی Qwen3 4B در 18 وظیفه از 20 وظیفه‌ی کار با فایل شکست می‌خورد؛ جالب اینکه در بعضی از آن‌ها به شما می‌گوید فایل را تغییر داده، در حالی که فایل روی دیسک دست‌نخورده باقی مانده است.

در پایان این بخش، متوجه می‌شوید تابع create_deep_agent در نسخه‌ی 0.7.38 چه مواردی را به create_agent اضافه می‌کند و این تغییرات کِی مفیدند. همچنین می‌توانید برای ابزارهای فایلی آن یک بک‌اند (backend) مناسب انتخاب کنید و مصرف توکن‌هایش را با و بدون کش کردن پرامپت (prompt caching) بودجه‌بندی کنید.

موضع ما

  • از Deep Agentها در کنار یک مدل پیشرو (frontier model) و کش کردن پرامپت استفاده کنید. روی مدل Claude، این ایجنت در 99 وظیفه از 99 وظیفه و 30 وظیفه از 30 وظیفه موفق شد؛ دقیقاً مشابه یک حلقه‌ی ساده، اما با 1.16 و 1.24 برابر هزینه.
  • دیپ ایجنت پیش‌فرض را از مدل‌های کوچک محلی دور نگه دارید. مدل Qwen3 4B در قالب دیپ ایجنت 55 وظیفه از 99 وظیفه، و با حلقه‌ی ساده 70 وظیفه از 99 وظیفه را پاس کرد. مدل Qwen3 8B نیز به ترتیب 58 و 74 وظیفه را با موفقیت پشت سر گذاشت.
  • اگر کار روی فایل‌های واقعی است، FilesystemBackend را پاس دهید. بک‌اند پیش‌فرض، فایل‌ها را در وضعیت ایجنت نگه می‌دارد. با اعمال FilesystemBackend روی پوشه‌ی وظیفه، موفقیت Qwen3 4B در وظایف فایلی از 2 به 16 (از مجموع 20 وظیفه) جهش کرد.
  • پنهان کردن ابزارهای فایلی پیش‌فرض، عملکرد مدل کوچک را در وظایف فایلی بالا می‌برد اما در سایر بخش‌ها به آن ضربه می‌زند. استفاده از یک پروفایل، عملکرد Qwen3 4B را در وظایف فایلی از 2 به 14 (از 20) رساند، ولی مجموع قبولی‌هایش روی همان 55 از 99 ثابت ماند.
  • پیش از اتکا به ابزار سنجش (eval tool)، حتماً آن را تست کنید. مدل Claude Haiku 5.5 با آن 39 وظیفه از 39 وظیفه را پاس کرد و تا زمانی که پرامپت نخواسته بود اصلاً صدایش نزد؛ سه مدل محلی هم هرگز آن را فراخوانی نکردند.
  • مصرف توکن‌های پرامپت را 3.6 تا 4.3 برابر بودجه‌بندی کنید. روی ارائه‌دهنده‌ای با قابلیت کش، این کار هزینه‌ی مالی چندانی ندارد. اما روی یک مدل محلی زمان می‌برد: 22.6 ثانیه به ازای هر وظیفه در برابر 9.1 ثانیه روی Qwen3 4B.

تابع create_deep_agent چه می‌سازد؟

دیپ ایجنت: ایجنتی که با create_deep_agent از پکیج deepagents ساخته می‌شود. این در واقع یک گراف create_agent است با مجموعه‌ای ثابت از میدل‌ورها (middleware) پیرامون میدل‌ورهای اختصاصی شما.

تابع create_deep_agent همان آرگومان‌های اصلی create_agent را می‌گیرد: مدل، ابزارها، پرامپت سیستم، میدل‌ورها، چک‌پوینتر (checkpointer) و استور (store). این تابع گزینه‌های subagents، skills، memory، permissions، backend و interrupt_on را اضافه می‌کند {{code libs/deepagents/deepagents/graph.py}} و گراف کامپایل‌شده‌ی create_agent را برمی‌گرداند.

گروه اصلی میدل‌ورها در ابتدا و با این ترتیب می‌آیند: FilesystemMiddleware، میدل‌ور SubAgentMiddleware همراه با یک ساب‌ایجنت چندمنظوره، _ParentNotifierMiddleware، خلاصه‌سازی، و PatchToolCallsMiddleware. میدل‌ورهای اختصاصی خودتان بلافاصله پس از این گروه قرار می‌گیرند.

سپس نوبت به بخش پایانی می‌رسد: میدل‌ورهای پروفایل مدل، مهارت‌ها (skills)، کش کردن پرامپت، حافظه، و بازبینی انسانی. در انتهای صف، UnsupportedContentMiddleware و ModelRefusalMiddleware قرار دارند {{code libs/deepagents/deepagents/graph.py:921-994}}. میدل‌ور کش کردن پرامپت برای Anthropic در هر حالتی اضافه می‌شود و برای سایر ارائه‌دهنده‌ها هیچ کاری انجام نمی‌دهد {{code libs/deepagents/deepagents/graph.py:968}}. اگر میدل‌وری از طرف شما همنام با یکی از میدل‌ورهای توکار باشد، در همان جا جایگزین آن می‌شود {{code libs/deepagents/deepagents/graph.py:223-262}}. دو مورد از آن‌ها گره‌هایی به گراف اضافه می‌کنند؛ همان‌طور که اجرای بستر آزمایشی روی Qwen3 4B نشان می‌دهد:

گره‌های یک ایجنت عمیق capture/out/41-deep-agent.txt
[
  "__start__",
  "model",
  "tools",
  "_ParentNotifierMiddleware.after_agent",
  "PatchToolCallsMiddleware.before_agent",
  "__end__"
]

گره‌های model و tools همان حلقه‌ی بخش 1.3 هستند. بقیه‌ی استک درون همین دو گره، در قالب هوک‌هایی (hooks) پیرامون فراخوانی مدل و فراخوانی‌های ابزار اجرا می‌شوند.

تصویر گراف کامپایل‌شده را بر اساس متن Mermaid آن رسم می‌کند. گره model یک یال شرطی (conditional edge) بازگشتی به خودش هم دارد. تابع create_agent هر زمان که میدل‌وری هوک wrap_model_call داشته باشد، این یال را اضافه می‌کند و استک دیپ ایجنت هم چندین هوک از این دست دارد {{code libs/langchain_v1/langchain/agents/factory.py:1772-1776}}. متد get_graph(xray=True) دقیقاً همین شش گره را برمی‌گرداند؛ چرا که ساب‌ایجنت درون ابزار task اجرا می‌شود و جزو گره‌های این گراف نیست.

گراف یک ایجنت عمیقیک ایجنت عمیق دو گره قلاب (hook) در اطراف حلقه معمول اضافه می‌کند، و گره tools آن add، execute و هشت ابزار پیش‌فرض را فهرست می‌کند.
گراف یک ایجنت عمیق گراف کامپایل‌شده‌ی create_deep_agent با tools=[add]، رسم‌شده از خروجی draw_mermaid آن. این گراف 6 گره دارد. PatchToolCallsMiddleware.before_agent پیش از model اجرا می‌شود، و _ParentNotifierMiddleware.after_agent پیش از پایان اجرا می‌شود. گره tools شامل 10 ابزار است: ls، read_file، write_file، edit_file، delete، glob، grep، execute، task، add. گره model همچنین یک یال شرطی برگشتی به خودش دارد. GET_GRAPH() OF CREATE_DEEP_AGENT 6 گره، 10 ابزار __start__ model tools __tools = ls, read_file, write_file, edit_file, delete, glob, grep, execute, task, add _ParentNotifierMiddleware.after_agent PatchToolCallsMiddleware.before_agent __end__ یال ساده یال شرطی، انتخاب‌شده در زمان اجرا
از __start__ در بالا بخوانید. کادرهای آبی گره‌های قلاب هستند. حلقه کوچک روی model یال شرطی برگشتی آن به خودش است. از capture/out/53-draw-deep-agent.txt.

ابزارهای یک دیپ ایجنت در 0.7.38

بستر آزمایشی، create_deep_agent را با Qwen3 4B روی Ollama، ابزار add و پرامپت سیستم .You keep notes فراخوانی کرد. مدل در هر فراخوانیِ ایجنت اصلی، نه ابزار در اختیار داشت:

ابزارهای مقیدشده در اولین فراخوانی مدل capture/out/41-deep-agent.txt
    "call": 1,
    "tools": [
      "ls",
      "read_file",
      "write_file",
      "edit_file",
      "delete",
      "glob",
      "grep",
      "task",
      "add"
    ],
    "first message": "system: You keep notes.",
    "message count": 2

اولین فراخوانی از شش فراخوانی. فراخوانی پنجم ساب‌ایجنت است، که ابزارهایی مشابه بدون task دارد.

تصویر نشان می‌دهد که هر ابزار و هر بخش از وضعیت از کجا می‌آیند.

ابزارها و وضعیتی که create_deep_agent اضافه می‌کنددر نسخه 0.7.38، یک ایجنت عمیق هفت ابزار فایل، ابزار task، یک کانال files در وضعیت، و دو گره میدلور دریافت می‌کند، بدون لیست وظایف (todo).
ابزارها و وضعیتی که create_deep_agent اضافه می‌کند ثبت ضبط‌شده، تابع create_deep_agent را با Qwen3 4B روی Ollama، ابزار add، و پرامپت سیستم «You keep notes» فراخوانی کرد. 9 ابزار به ایجنت اصلی مقید شدند: ls، read_file، write_file، edit_file، delete، glob و grep از FilesystemMiddleware، ابزار task از SubAgentMiddleware، و add از فراخواننده. وضعیت آن یک کانال files به دست آورد که حاوی /notes.md بود. ابزار task ساب‌ایجنت عمومی را راه‌اندازی کرد، که همان ابزارها به جز task به آن مقید شده بودند، و پرامپت سیستم آن 286 کاراکتر داشت. گراف دو گره میدلور دریافت کرد: PatchToolCallsMiddleware.before_agent و _ParentNotifierMiddleware.after_agent. هیچ ابزار write_todos و ابزار execute وجود ندارد. create_deep_agent(model=llm(), tools=[add], system_prompt="You keep notes.") فراخوانی شما ابزارهای مقید در هر فراخوانی مدل اصلی: 9 FilesystemMiddleware ls, read_file, write_file, edit_file, delete, glob, grep SubAgent Middleware task مال شما add وضعیت و گراف کانال files در وضعیت /notes.md: content, encoding, created_at, modified_at دو گره میدلور PatchToolCallsMiddleware.before_agent _ParentNotifierMiddleware.after_agent ساب‌ایجنت عمومی 8 ابزار: همان، بدون task پرامپت اختصاصی، 286 کاراکتر در 0.7.38 مقید نیست: write_todos, now opt-in, and execute، که docstring فهرست کرده. از اجرای کیت روی Qwen3 4B: فراخوانی 5 از 6 ساب‌ایجنت است.
از فراخوانی در بالا به سمت پایین به سمت ابزارها، وضعیت و ساب‌ایجنت بخوانید. کادرهای سبز ابزارها هستند، کادر فیروزه‌ای وضعیت است، و فلش یک فراخوانی task است. از capture/out/41-deep-agent.txt.

فایل‌سیستم مجازی (Virtual filesystem): کانال files در وضعیت یک دیپ ایجنت. با بک‌اند پیش‌فرض یعنی StateBackend، ابزارهای فایلی روی همین کانال می‌خوانند و می‌نویسند و هرگز به دیسک دست نمی‌زنند {{code libs/deepagents/deepagents/graph.py:684}}.

مدل ابزار add را فراخوانی کرد، /notes.md را با write_file نوشت، با ls فهرست آن را گرفت و از طریق task به سراغ ساب‌ایجنت چندمنظوره رفت. مدل فقط حاصل‌جمع، یعنی 5 را درون فایل نوشت. در نهایت، فایل به همراه محتوا و دو برچسب زمانی، درون وضعیت رشته‌ی گفت‌وگو (thread) قرار گرفت:

فایل‌ها در وضعیت نهایی capture/out/41-deep-agent.txt
{
  "/notes.md": {
    "content": "5",
    "encoding": "utf-8",
    "created_at": "<time>",
    "modified_at": "<time>"
  }
}

چک‌پوینتر این کانال را در کنار بقیه‌ی وضعیت ذخیره می‌کند؛ بنابراین با ماندگاری thread، فایل‌های آن هم پس از ری‌استارت باقی می‌مانند. بخش 6.7 فراخوانی task و ساب‌ایجنت را با جزئیات دنبال می‌کند.

دو منبع با این فهرست ابزارها هم‌خوانی ندارند. در docstring تابع create_deep_agent، ابزار execute جزو ابزارهای پیش‌فرض آمده و نامی از delete نیست {{code libs/deepagents/deepagents/graph.py}}. واقعیت این است که execute فقط با بک‌اندی ظاهر می‌شود که توان اجرای دستورها را داشته باشد، و بک‌اند پیش‌فرض چنین قابلیتی ندارد. ثبت وقایع ما این مورد را به عنوان تعارض D8 ثبت کرده است. از سوی دیگر، صفحه‌ی معرفی مستندات می‌گوید Deep Agents برنامه‌ریزی را اضافه می‌کند {{docs oss/python/deepagents/overview}} که تعارض D109 است. در نسخه‌ی پین‌شده، ملاک قطعی کد است: خبری از لیست کارها (todo list) نیست، و ابزار delete حضور دارد.

مدل کوچک، مدل پیشرو

ما دیپ ایجنت را در مقایسه با یک حلقه‌ی ساده، روی مجموعه‌ی 99 وظیفه‌ایِ بخش 1.2 روی مک اندازه‌گیری کردیم. مدل‌های Qwen3 4B و Qwen3 8B روی Ollama با دمای 0 اجرا شدند و مدل‌های Claude از طریق API به کار افتادند. دیپ ایجنت به ابزارهای هر وظیفه، پرامپت سیستم ما و بک‌اند پیش‌فرض مجهز شد. تصویر همه‌ی وظایف را نشان می‌دهد.

مدل وظایف حلقه‌ی ساده دیپ ایجنت نتیجه‌ی یکسان
Claude Haiku 5.5 99 99 99 99
Claude Sonnet 5.5 30 30 30 30
gpt-oss 20B 30 28 24 26
Qwen3 14B 30 26 24 24
Qwen3 8B 99 74 58 73
Qwen3 4B 99 70 55 42

روی Claude، بستر آزمایشی هیچ تفاوتی ایجاد نکرد که با این مجموعه وظایف قابل مشاهده باشد. هر دو بستر آزمایشی تمام وظایف را پاس کردند؛ بنابراین اثرات ناچیز خود را نشان نمی‌دادند. اما روی مدل‌های محلی، دیپ ایجنت بین 2 تا 16 وظیفه عقب افتاد.

این افت ناشی از دو دسته‌ی مشخص است. در وظایف فایلی، همان‌طور که در بخش بعد می‌بینید، مقصر اصلی بک‌اند پیش‌فرض است.

در وظایف بازیابی (retrieval)، دیپ ایجنت روی Qwen3 4B به 6 پرسش از 20 پرسش بدون هیچ فراخوانی ابزاری پاسخ داد و گفت به داده‌ها دسترسی ندارد. در 59 وظیفه‌ی دیگر، دیپ ایجنت بیشتر از حلقه‌ی ساده قبول شد: 46 در برابر 39 روی Qwen3 4B، و 47 در برابر 44 روی Qwen3 8B. پس بستر آزمایشی عملکرد مدل کوچک را در همه‌چیز بدتر نمی‌کند.

بک‌اند پیش‌فرض فایل‌ها را در وضعیت نگه می‌دارد

یک وظیفه‌ی فایلی، پنج ابزار به ایجنت می‌دهد که روی یک پوشه‌ی وظیفه عمل می‌کنند، و بررسی‌کننده (checker) همان پوشه را می‌خواند. دیپ ایجنت هفت ابزار فایلی اختصاصی خودش را هم دارد. این هفت ابزار در بک‌اند پیش‌فرض، روی کانال files کار می‌کنند که در ابتدا کاملاً خالی است. بنابراین اگر مدل ابزار ls را انتخاب کند، فایلی نمی‌بیند:

ایجنت عمیقی که در سیستم فایل خالی خود جستجو کرد capture/lab/bench/runs/main.jsonl
{"run_id": "cd6b9ad2", "tag": "main", "ts": "2026-11-14T19:31:56", "task_id": "files03", "family": "files", "harness": "deep_agent", "model": "qwen3:4b-instruct-2507-q4_K_M", …"tool_seq": ["glob", "ls"], "final_text": "I see that there are no files in the current directory at all. This means there is no config.ini file to modify. …"final_state": {"config.ini": "[server]\nhost=0.0.0.0\nport=8080\nworkers=4\n"}}

یک سطر از Qwen3 4B، برش‌خورده به فراخوانی‌های ابزار، پاسخ، و پوشه پس از اجرا. وظیفه از آن می‌خواهد پورت را در config.ini تغییر دهد.

مدلی که با ابزارهای توکار بنویسد، فقط وضعیت را تغییر می‌دهد و به اشتباه اعلام موفقیت می‌کند. برای مثال، Qwen3 14B خطی را با edit_file و write_file حذف کرد، این موضوع را گزارش داد، اما فایل روی دیسک کاملاً دست‌نخورده باقی ماند:

ایجنت عمیقی که وضعیت را ویرایش کرد نه دیسک را capture/lab/bench/runs/main.jsonl
{"run_id": "3fc1e4ca", "tag": "main", "ts": "2026-11-15T02:13:58", "task_id": "files16", …"tool_seq": ["edit_file", "ls", "write_file"], "final_text": "The line `DEBUG=true` has been removed from `settings.env`, and the file has been updated.", …"final_state": {"settings.env": "HOST=localhost\nDEBUG=true\nPORT=5000\n"}}

یک سطر از Qwen3 14B، برش‌خورده به فراخوانی‌های ابزار، پاسخ، و پوشه پس از اجرا.

FilesystemBackend: بک‌اندی که ابزارهای فایلیِ دیپ ایجنت را به یک پوشه روی دیسک نگاشت می‌کند. در حالت پیش‌فرض با virtual_mode=True، مسیرها ذیل root_dir خوانده می‌شوند و مسیری که به بیرون از آن برود با امتناع مدل (refusal) مواجه می‌شود {{code libs/deepagents/deepagents/backends/filesystem.py:130-168}}. این بک‌اند مسیرها را محدود می‌کند، اما فرایندها را ایزوله نمی‌سازد.

ما 20 وظیفه‌ی فایلی را بار دوم با FilesystemBackend(root_dir=<task folder>, virtual_mode=True)، روی مک و برای همان سه مدل اندازه‌گیری کردیم. تصویر هر اجرا و ابزارهای فایلیِ به‌کاررفته در آن را نشان می‌دهد.

20 وظیفه فایل: حلقه ساده، ایجنت عمیق، و ایجنت عمیق روی دیسکروی Qwen3 4B ایجنت عمیق پیش‌فرض در 18 اجرا از 20 اجرا از ابزارهای فایل خودش استفاده کرد و 17 بار شکست خورد، و FilesystemBackend امتیاز حلقه ساده را بازگرداند.
20 وظیفه فایل: حلقه ساده، ایجنت عمیق، و ایجنت عمیق روی دیسک شبکه‌ای از 20 وظیفه فایل برای سه مدل و سه بستر آزمایشی. مربع توپر یعنی قبولی، و مربع صورتی یعنی شکست. نقطه سبز زیر مربع نشان‌دهنده اجرایی است که مدل با ابزار فایل Deep Agents در آن نوشته، و نقطه خاکستری اجرایی است که فقط با آن خوانده است. با بک‌اند پیش‌فرض، این ابزارها روی وضعیت ایجنت می‌نویسند، و بررسی‌کننده دیسک را می‌خواند. مدل Qwen3 4B در حالت ساده 16، در ایجنت عمیق پیش‌فرض 2، و با FilesystemBackend تعداد 16 وظیفه را قبول شد. مدل Qwen3 8B تعداد 17، 5 و 9 را قبول شد. کلود Haiku 5.5 به ترتیب 20، 20 و 19 قبولی داشت. مدل، بستر آزمایشی FILES01 تا FILES20 PASS پیش‌فرض Haiku 5.5 حلقه ساده 20/20 عمیق، پیش‌فرض 6/20 20/20 عمیق، روی دیسک 8/20 19/20 Qwen3 8B حلقه ساده 17/20 عمیق، پیش‌فرض 9/20 5/20 عمیق، روی دیسک 9/20 9/20 Qwen3 4B حلقه ساده 16/20 عمیق، پیش‌فرض 18/20 2/20 عمیق، روی دیسک 18/20 16/20 wrote with write_file, edit_file, or delete read only: ls, glob, read_file پیش‌فرض: StateBackend، فایل‌ها در وضعیت ایجنت قرار دارند. روی دیسک: FilesystemBackend روی پوشه وظیفه. هر سطر همچنین پنج ابزار وظیفه را داشت که در پوشه می‌نویسند. بررسی‌کننده پوشه را می‌خواند.
هر مربع یک وظیفه است؛ آبی یا بنفش برای قبولی و صورتی برای شکست. یک نقطه سبز نشان‌دهنده اجرایی است که با ابزار فایل Deep Agents نوشته، و نقطه خاکستری اجرایی است که فقط با آن خوانده است. ستون سمت راست تعداد اجراهایی را می‌شمارد که از یکی از آن‌ها استفاده کرده‌اند. از capture/lab/bench/summary-mac.json.
مدل حلقه‌ی ساده دیپ ایجنت، پیش‌فرض دیپ ایجنت، FilesystemBackend
Claude Haiku 5.5 20 از 20 20 از 20 19 از 20
Qwen3 8B 17 از 20 5 از 20 9 از 20
Qwen3 4B 16 از 20 2 از 20 16 از 20

مدل Claude Haiku 5.5 در حالت پیش‌فرض در 6 اجرا از 20 اجرا به سراغ ابزارهای فایلیِ توکار رفت (آن هم فقط glob) و بعد از ابزارهای وظیفه استفاده کرد. اما Qwen3 4B در 18 اجرا از 20 اجرا سراغ ابزار توکار رفت و در 17 تای آن‌ها شکست خورد. با بردن بک‌اند روی دیسک، باز هم در 18 اجرا ابزار توکار را صدا زد؛ منتها در 15 اجرا فایلی را با آن نوشت و 12 مورد از آن‌ها قبول شدند. جهش Qwen3 8B کمتر بود (از 5 به 9) و در 11 اجرای دیگر پوشه‌ای با وضعیت اشتباه به جا گذاشت.

بنابراین بک‌اند پیش‌فرض به مدلی که ابزارهای توکار را ترجیح می‌دهد ضربه می‌زند. به دیپ ایجنت ابزارهای فایلی‌ای بدهید که همگی روی پوشه‌ی واقعی کار کنند، و FilesystemBackend را روی همان پوشه ست کنید. ما دیپ ایجنت را صرفاً با ابزارهای توکار روی آن بک‌اند تست نکردیم.

پروفایل بستری که ابزارهای فایلی را پنهان می‌کند

پروفایل بستر آزمایشی (Harness profile): تنظیمی در deepagents که نحوه‌ی برخورد create_deep_agent با یک ارائه‌دهنده‌ی خاص را تغییر می‌دهد. یک پروفایل می‌تواند لیستی از ابزارهای مستثنی‌شده را در excluded_tools مشخص کند و با system_prompt_suffix متنی را به پرامپت سیستم بیفزاید. ثبت پروفایل با تابع register_harness_profile انجام می‌شود.

بستر آزمایشی ما دو پروفایل را برای ارائه‌دهنده‌ی ollama اجرا کرد. پروفایل A هشت ابزار فایلیِ فهرست قبلی را حذف کرد: ls، read_file، write_file، edit_file، glob، grep، delete و execute. پروفایل B علاوه بر این حذفیات، یک جمله به پرامپت اضافه کرد.

این جمله حامل سه پیام است: ابزارهای وظیفه تنها راه دسترسی به داده‌ها هستند؛ محیط کار توکار خالی است؛ و ایجنت نباید کارها را واگذار کند.

هر دو پروفایل ابزار task را در جای خود نگه داشتند. در یک وظیفه‌ی زنجیره‌ای (chain task)، اولین فراخوانی مدل 7 ابزار را لیست کرد: task، پنج ابزارِ وظیفه، و submit_answer.

ما پروفایل B را روی 99 وظیفه و پروفایل A را روی زیرمجموعه‌ی 30 وظیفه‌ای برای مدل‌های Qwen3 4B و Qwen3 8B اندازه‌گیری کردیم. سخت‌افزار مورد استفاده، Mac با پردازنده‌ی Apple M1 Max و 64 گیگابایت رم بود. مدل‌ها روی Ollama 0.31.1 با دمای 0 و seed برابر 42، با یک بار اجرا به ازای هر وظیفه اجرا شدند. پیش از اجراها، سه وظیفه بررسی شدند و دقیقاً همان فراخوانی‌های ابزار و تعداد توکن‌های پرامپتِ بنچ‌مارک اول روی همان سرور را تولید کردند.

وظایف قبول‌شده 4B ساده 4B دیپ 4B دیپ، B 8B ساده 8B دیپ 8B دیپ، B
chain، 20 9 17 6 15 17 12
sql، 19 15 11 10 10 11 8
retrieval، 20 15 7 11 13 6 10
files، 20 16 2 14 17 5 15
multiturn، 20 15 18 14 19 19 18
همگی، 99 70 55 55 74 58 63

پروفایل B به هدفی که برایش ساخته شده بود رسید. موفقیت در وظایف فایلی برای Qwen3 4B از 2 به 14 (از 20) و برای Qwen3 8B از 5 به 15 رسید. اما مجموع کل نتایج روی مدل 4B رشد نکرد؛ وظایف زنجیره‌ای از 17 به 6 سقوط کردند و در 30 اجرا فراخوانی ابزار به شکل متن ساده نوشته شد (در حالی که این اتفاق در دیپ ایجنت پیش‌فرض فقط 12 بار رخ داد). در مدل Qwen3 8B مجموع قبولی‌ها از 58 به 63 رسید که باز هم 11 تا کمتر از حلقه‌ی ساده است.

پرامپت هم لاغرتر شد. مدل Qwen3 4B در مجموع 608,010 توکن پرامپت خواند؛ در مقایسه با 1,591,270 برای دیپ ایجنت پیش‌فرض و 365,915 برای حلقه‌ی ساده. این ارقام برای Qwen3 8B به ترتیب 467,536، 1,311,726 و 353,608 توکن بود.

در زیرمجموعه‌ی 30 وظیفه‌ای، پروفایل A روی Qwen3 4B به 19 و روی Qwen3 8B به 16 قبولی رسید، در حالی که پروفایل B به ترتیب 18 و 17 وظیفه را پاس کرد. حلقه‌ی ساده روی همین وظایف به آمارهای 23 و 18 دست یافت. نمونه‌ی 30 وظیفه‌ای بازه‌ی خطای بالایی دارد، بنابراین اختلاف‌های 1 یا 2 وظیفه را نویز در نظر بگیرید. از آنجا که تست‌های پروفایل هم‌زمان با کارهای دیگر روی مک اجرا شدند، معیارهای زمانی آن‌ها را گزارش نمی‌کنیم.

ابزار سنجش و فراخوانی برنامه‌نویسی‌شده‌ی ابزارها

فراخوانی ابزار با برنامه‌نویسی (Programmatic tool calling): مدل به جای فراخوانی ابزار به ازای هر گام، یک برنامه‌ی کوچک می‌نویسد که چندین ابزار را درون خود صدا می‌زند. در کتابخانه‌ی langchain-quickjs نسخه‌ی 0.3.12، میدل‌ور CodeInterpreterMiddleware(ptc=tools) ابزاری به نام eval اضافه می‌کند. این ابزار جاوااسکریپت را در یک ساندباکس (sandbox) با موتور QuickJS اجرا کرده و ابزارهای مشخص‌شده را درون شیء tools می‌گذارد.

ما چهار رویکرد را روی 39 وظیفه‌ی chain و sql (که هر وظیفه نیازمند چند گام جست‌وجو و مقداری محاسبات ریاضی است) اندازه‌گیری کردیم. این رویکردها عبارت بودند از: حلقه‌ی ساده، دیپ ایجنت پیش‌فرض، دیپ ایجنت همراه با CodeInterpreterMiddleware(ptc=<the task tools>)، و حالت آخر با افزودن یک جمله‌ی دیگر به پرامپت. در این جمله از مدل خواسته شده تا برای هر وظیفه‌ای که بیش از یک جست‌وجو یا محاسبات ریاضی دارد، یک برنامه‌ی eval بنویسد. مدل Claude Haiku 5.5 هر چهار رویکرد را از طریق API روی مک اجرا کرد.

مدل‌های Qwen3 8B، Qwen3 14B و gpt-oss 20B سه رویکرد اول را روی Ollama با یک اجرا به ازای هر وظیفه سپری کردند. ردیف‌های حالت ساده برای Qwen3 14B و gpt-oss 20B فقط 12 وظیفه‌ی chain و sql از زیرمجموعه‌ی 30 وظیفه‌ای را پوشش می‌دهند. اجرای با پرامپت هدایت‌شده در Qwen3 8B به دلیل خطای 404 سرور برای مدل در همان ابتدا ناموفق بود و ردیفی ندارد. تصویر همه‌ی این رویکردها را نشان می‌دهد.

تعداد قبولی با و بدون ابزار eval، چهار مدل روی 39 وظیفهابزار eval تعداد قبولی را در هیچ‌کدام از چهار مدل افزایش نداد، و توکن‌های پرامپت را با ضریب 1.8 تا 2.6 برابر افزایش داد.
تعداد قبولی با و بدون ابزار eval، چهار مدل روی 39 وظیفه میله‌های نرخ قبولی در 39 وظیفه chain و sql برای یک حلقه ساده، یک ایجنت عمیق، و یک ایجنت عمیق با ابزار eval، روی Qwen3 8B، Qwen3 14B، gpt-oss 20B و Claude Haiku 5.5. هایکو 39 از 39 را با ابزار eval و 39 از 39 را وقتی پرامپت درخواست کرده بود پاس کرد، و Qwen3 8B تعداد 23 از 39 را با ابزار eval قبول شد. ستون‌ها فراخوانی‌های مدل، توکن‌های پرامپت بر حسب هزار، و میانه ثانیه‌ها به ازای هر وظیفه را نشان می‌دهند. قبولی وظایف فراخوانی پرامپت ثانیه/وظیفه Qwen3 8B، اولاما حلقه ساده 25/39 207 161k 14.0 ایجنت عمیق 28/39 186 543k 14.5 ایجنت عمیق + ابزار eval 23/39 235 1,431k 142.5 Qwen3 14B، اولاما حلقه ساده 12/12 65 49k 25.9 ایجنت عمیق 31/39 220 649k 27.4 ایجنت عمیق + ابزار eval 29/39 235 1,450k 165.0 gpt-oss 20B، اولاما حلقه ساده 12/12 60 42k 12.2 ایجنت عمیق 37/39 171 451k 13.1 ایجنت عمیق + ابزار eval 35/39 179 1,044k 14.9 Claude Haiku 5.5، API حلقه ساده 39/39 189 280k 5.8 ایجنت عمیق 39/39 184 930k 5.5 ایجنت عمیق + ابزار eval 39/39 173 1,708k 5.3 + درخواست eval 39/39 187 1,914k 6.1 سطرهای 12 وظیفه‌ای: وظایف زنجیره‌ای و sql از زیرمجموعه 30 وظیفه‌ای. هیچ مدل محلی eval را فراخوانی نکرد. هایکو در 12 مورد از 39 اجرای هدایت‌شده از آن استفاده کرد. ثانیه‌های مدل محلی مربوط به مکینتاشی است که کارهای دیگری را هم اجرا می‌کرد.
هر میله سهم وظایف قبول‌شده است و متن، تعداد را مشخص می‌کند. فراخوانی‌ها و توکن‌های پرامپت، مجموع مقادیر کل بخش هستند و ثانیه‌ها، میانه وظیفه روی مکینتاشی است که کارهای دیگری را هم اجرا می‌کرد. از capture/lab/bench2/summary-bench2.json.

مدل Claude Haiku 5.5 در هر چهار حالت، 39 وظیفه از 39 وظیفه را پاس کرد. با پرامپت معمولی، در 0 اجرا از 39 اجرا سراغ eval رفت. این ابزار اضافی فقط توکن‌های اسکیمای ابزار (tool schema) را بالا برد: 1.71 میلیون توکن پرامپت در برابر 0.93 میلیون برای دیپ ایجنت پیش‌فرض.

با اضافه‌شدن آن جمله در پرامپت، مدل در 12 اجرا از 39 اجرا در مجموع 42 بار eval را صدا زد. این 12 اجرا همگی وظایف زنجیره‌ای بودند و هر 12 مورد قبول شدند؛ البته سه فراخوانی eval با خطای SyntaxError شکست خوردند. تصویر این دو حالت را مقایسه می‌کند.

مدل Claude Haiku 5.5 با ابزار eval، با و بدون پرامپتی که آن را درخواست می‌کندبا پرامپتی که eval را درخواست می‌کند، هایکو در 12 اجرا از 39 اجرا از آن استفاده کرد، و هزینه بخش به 0.038 دلار در مقابل 0.028 دلار برای همان تعداد قبولی رسید.
مدل Claude Haiku 5.5 با ابزار eval، با و بدون پرامپتی که آن را درخواست می‌کند دو نوار از 39 وظیفه chain و sql، با یک مربع برای هر وظیفه، نشان می‌دهند کدام اجراها ابزار eval را فراخوانی کرده‌اند: 0 اجرا بدون پرامپت و 12 اجرا با پرامپت. تمام وظایف در هر دو شاخه قبول شدند. در زیر، میله‌های جفتی فراخوانی‌های مدل، توکن‌های پرامپت، توکن‌های خروجی، هزینه دلاری، فراخوانی‌های eval و خطاهای eval را در دو شاخه مقایسه می‌کنند: 173 و 187 فراخوانی، و 0.028 دلار و 0.038 دلار. هر مربع یک وظیفه است 39 وظیفه، همگی قبول شدند ابزار eval، پرامپت ساده: 0 از 39 اجرا eval را فراخوانی کردند ابزار eval، پرامپت درخواست دارد: 12 از 39 اجرا eval را فراخوانی کردند مربع تیره: اجرا eval را فراخوانی کرد. مربع روشن: مستقیماً از ابزارهای وظیفه استفاده کرد. دو شاخه، همان 39 وظیفه فراخوانی مدل 173 187 توکن‌های پرامپت 1.71M 1.91M توکن‌های خروجی 17.2k 26.2k دلار $0.028 $0.038 فراخوانی eval 0 42 خطاهای eval 0 3 سبز پرامپت ساده است و نیلی پرامپتی است که eval را درخواست می‌کند.
هر مربع یک وظیفه است. مربع تیره اجرایی است که eval را فراخوانی کرده است. میله‌های جفتی مجموع‌های دو شاخه را نشان می‌دهند که با مقدار بزرگ‌تر مقیاس شده‌اند. از capture/lab/bench2/summary-bench2.json.

این برنامه باعث صرفه‌جویی در فراخوانی‌ها نشد. در آن 12 وظیفه‌ی زنجیره‌ای، اجراهای دارای پرامپت هدایت‌شده 67 فراخوانی مدل داشتند، در حالی که اجراهای با پرامپت معمولی به 53 فراخوانی بسنده کردند. روی کل 39 وظیفه، مجموع فراخوانی‌ها به ترتیب 187 و 173 بود. هزینه‌ی حلقه‌ی ساده روی همین 39 وظیفه 0.021 دلار و برای دیپ ایجنت پیش‌فرض 0.022 دلار شد.

هیچ‌کدام از مدل‌های محلی در هیچ‌یک از 117 اجرای خود سراغ eval نرفتند. در عوض، Qwen3 8B و gpt-oss 20B در برخی اجراها ابزارهای توکار glob، ls یا grep را به کار گرفتند. تعداد قبولی‌ها برای Qwen3 8B برابر 23 از 39، برای Qwen3 14B برابر 29، و برای gpt-oss 20B معادل 35 بود؛ یعنی 5، 2 و 2 قبولی کمتر از دیپ ایجنت پیش‌فرض. از آنجا که هر خانه 39 وظیفه دارد، این تفاوت‌ها در محدوده‌ی نویز آماری است.

توکن‌های پرامپت به ترتیب 2.6، 2.2 و 2.3 برابر دیپ ایجنت پیش‌فرض بودند. میانه‌ی زمان وظیفه در Qwen3 8B به 142.5 ثانیه رسید؛ در حالی که دیپ ایجنت پیش‌فرض در 14.5 ثانیه کار را تمام کرد. این زمان‌سنجی از یک مک مشترک با بار کاری بالا به دست آمده، بنابراین آن را به عنوان یک حد بالا (upper bound) در نظر بگیرید.

توکن‌ها و تأثیر کش بر آن‌ها

یک دیپ ایجنت اسکیمای ابزارهای داخلی‌اش را در هر فراخوانی مدل ارسال می‌کند. ما این هزینه را در اجراهای پیشین روی تک‌فراخوانی‌ها اندازه گرفتیم.

ما توکن‌های پرامپت سه بستر آزمایشی را روی مک، با مشخصات Apple M1 Max، 10 هسته و 64 گیگابایت رم اندازه‌گیری کردیم. مدل مورد استفاده Qwen3 8B روی Ollama با دمای 0 و seed برابر 42 بود. هر وظیفه به ازای هر بستر سه بار تکرار شد که در مجموع 27 اجرا را شامل می‌شود. سه بستر آزمایشی عبارت بودند از: یک حلقه‌ی ساده روی کلاینت ollama، تابع create_agent و create_deep_agent. تصویر جزئیات هر فراخوانی مدل را نشان می‌دهد.

توکن‌های پرامپت هر فراخوانی مدل، سه بستر آزمایشیتابع create_agent در هر فراخوانی توکن‌های پرامپت یکسانی با حلقه ساده ارسال کرد، و Deep Agents بین 2,075 تا 2,251 توکن به هر فراخوانی افزود.
توکن‌های پرامپت هر فراخوانی مدل، سه بستر آزمایشی نمودار نقطه‌ای توکن‌های پرامپت در هر فراخوانی مدل روی مکینتاش با Qwen3 8B، سه بار اجرای هر وظیفه و بستر آزمایشی. برای وظیفه trivial، حلقه ساده و create_agent تعداد 28 توکن و Deep Agents تعداد 2279 توکن ارسال کردند. برای وظیفه tools، فراخوانی‌ها 205 و 275 در مقابل 2374 و 2444 بودند. برای وظیفه files، فراخوانی‌ها 214، 262 و 297 در مقابل 2293، 2337 و 2383 بودند. تابع create_agent در هر فراخوانی تعداد یکسانی نسبت به حلقه ساده ارسال کرد. 0 500 1k 1.5k 2k 2.5k توکن پرامپت به ازای فراخوانی مدل ساده 28 ساده 28 ایجنت 2279 عمیق ابزارها 480 ساده 480 ایجنت 4818 عمیق فایل‌ها 773 ساده 773 ایجنت 7013 عمیق هر نقطه یک فراخوانی مدل است. فراخوانی‌های یک اجرا کنار هم قرار دارند. سه اجرای یک خانه همپوشانی دارند، زیرا هر تکرار تعداد یکسانی ارسال کرد. عدد بالای هر خانه، مجموع پرامپت یک اجرا است. plain: an ollama loop. agent: create_agent. deep: create_deep_agent.
هر نقطه یک فراخوانی مدل روی مکینتاش با Qwen3 8B است، و سه اجرای هر خانه همپوشانی دارند. عدد بالای هر خانه مجموع پرامپت یک اجرا است. از capture/lab/summary/tokens-mac.json.
وظیفه فراخوانی‌های مدل حلقه‌ی ساده create_agent create_deep_agent نسبت دیپ به ساده
پاسخ تک‌کلمه‌ای 1 28 28 2,279 81.4 برابر
دو فراخوانی ابزار محاسباتی 2 480 480 4,818 10.0 برابر
نوشتن یک فایل و سپس خواندن آن 3 773 773 7,013 9.1 برابر

روی مجموعه‌ی وظایف، همان‌طور که تصویر نشان می‌دهد، این نسبت روی کل وظایف در هفت مدل بین 3.6 تا 4.3 برابر ثبت شد. دیپ ایجنت میانه‌ی تعداد فراخوانی‌های مدل یکسانی داشت. روی Claude Haiku 5.5 در هر فراخوانی حدود 3,570 توکن پرامپت بیشتر ارسال کرد و روی Qwen3 8B حدود 2,160 توکن بیشتر.

روی یک مدل محلی، تک‌تک این توکن‌ها در هر فراخوانی دوباره خوانده می‌شوند. میانه‌ی زمان اجرای وظیفه در Qwen3 4B در قالب دیپ ایجنت 22.6 ثانیه طول کشید، در حالی که با حلقه‌ی ساده 9.1 ثانیه شد. این ارقام روی Qwen3 8B به ترتیب 11.6 ثانیه و 10.1 ثانیه بود.

روی Claude، کش پرامپت این توکن‌ها را با یک‌دهم قیمت می‌خواند. ما خواندن از کش (cache read) گزارش‌شده توسط API را برای تک‌تک فراخوانی‌ها اندازه‌گیری کردیم. در کل فراخوانی‌های هر خانه، روی هایکو 96 درصد و روی سونت 94 درصد از توکن‌های پرامپت دیپ ایجنت از کش خوانده شد. این سهم برای حلقه‌ی ساده که فقط پرامپت سیستم را نشانه‌گذاری می‌کند، روی هر دو مدل 67 درصد بود. تصویر هزینه‌ی دلاری هر وظیفه را نشان می‌دهد.

دلار به ازای هر وظیفه، حلقه ساده و ایجنت عمیق، با و بدون کشبا قیمت پایه، یک ایجنت عمیق سه برابر حلقه ساده روی کلود هزینه داشت، و با کش کردن پرامپت، 1.16 برابر روی Haiku و 1.24 برابر روی Sonnet شد.
هزینه دلاری هر وظیفه، حلقه ساده و ایجنت عمیق، با و بدون کش کردن پرامپت نمودارهای نقطه‌ای هزینه دلاری هر وظیفه در مقیاس لگاریتمی، برای Claude Haiku 5.5 روی 99 وظیفه و Claude Sonnet 5.5 روی 30 وظیفه. قیمت پایه بر اساس توکن‌های ورودی و خروجی با تعرفه پایه است. صورت‌حساب شامل هزینه با احتساب خواندن از کش گزارش‌شده توسط API است. در مجموع تمام وظایف، هزینه ایجنت عمیق نسبت به حلقه ساده در Haiku به میزان 3.10 برابر با قیمت پایه و 1.16 برابر در صورت‌حساب بود، و در Sonnet به ترتیب 3.14 و 1.24 برابر شد. دلار به ازای وظیفه، مقیاس لگاریتمی همه وظایف $0.0001 $0.001 $0.01 $0.1 Claude Haiku 5.5، 99 وظیفه ساده، قیمت پایه $0.085 ساده، صورت‌حساب $0.045 عمیق، قیمت پایه $0.264 عمیق، صورت‌حساب $0.052 عمیق نسبت به ساده: 3.10x با قیمت پایه، 1.16x با صورت‌حساب Claude Sonnet 5.5، 30 وظیفه ساده، قیمت پایه $0.507 ساده، صورت‌حساب $0.263 عمیق، قیمت پایه $1.591 عمیق، صورت‌حساب $0.327 عمیق نسبت به ساده: 3.14x با قیمت پایه، 1.24x با صورت‌حساب خط سیاه: میانه وظایف. تمام وظایف در هر هشت ردیف موفق شدند.
هر نقطه یک وظیفه در مقیاس لگاریتمی است و خط تیره سیاه میانه است. قیمت پایه، توکن‌ها با نرخ اولیه است و صورت‌حساب بر اساس خواندن از کش گزارش‌شده توسط API محاسبه شده است. مجموع‌ها در سمت راست قرار دارند. از capture/lab/bench/summary-mac.json.

دیپ ایجنت روی Claude Haiku 5.5 برای 99 وظیفه 0.052 دلار هزینه داشت، در حالی که حلقه‌ی ساده 0.045 دلار تمام شد. روی Claude Sonnet 5.5 برای 30 وظیفه این هزینه 0.327 دلار در برابر 0.263 دلار بود. بدون کش و بر اساس قیمت‌های رسمی، اجرای همین وظایف 3.10 و 3.14 برابر حلقه‌ی ساده هزینه برمی‌داشت.

تغییرات در 0.7

لاگ تغییرات، موارد اصلاح‌شده در deepagents نسخه‌ی 0.7.0 را به شرح زیر فهرست می‌کند {{docs oss/python/releases/changelog}}:

  • فهرست کارها اختیاری شد. تابع create_deep_agent دیگر میدل‌ور TodoListMiddleware را اضافه نمی‌کند. برای بازگرداندن ابزار write_todos، کانال todos و پرامپت برنامه‌ریزی، باید مقدار middleware=[TodoListMiddleware()] را با ایمپورت از langchain.agents.middleware پاس دهید.
  • پرامپت پایه خالی است. پرامپت پایه‌ی نوشته‌شده حذف شده و متغیر BASE_AGENT_PROMPT تا زمان حذف کامل در 0.9.0 منسوخ (deprecated) شده است {{code libs/deepagents/deepagents/graph.py}}. با این حال یک پروفایل بستر برای مدلی شناخته‌شده همچنان می‌تواند قطعه‌متنی کوتاه بیفزاید.
  • ابزار delete. این ابزار یک فایل یا دایرکتوری را حذف می‌کند. متد write_file نیز حالا به جای خطا دادن، روی فایل موجود بازنویسی انجام می‌دهد.
  • متن جدید برای خروجی‌ها. در صورت خالی بودن نتایج، ls یا glob به جای [] عبارت No files found را برمی‌گردانند و ستون شماره‌ی خط از خروجی read_file حذف شده است. کدی که خروجی ابزارها را پارس می‌کند باید تغییر کند.
  • حذف سازنده‌های بک‌اند. باید مستقیماً یک نمونه از بک‌اند را پاس دهید، و به StoreBackend نیز یک namespace صریح اختصاص دهید.

هرچند مقداردهی model=None همچنان مجاز است و مدل Claude Sonnet 4.6 را از طریق langchain-anthropic مشخص می‌کند، اما این حالت از 0.5.3 به بعد منسوخ شده است {{code libs/deepagents/deepagents/graph.py}}. همیشه مدل را صراحتاً پاس دهید.

مدلی بدون پروفایل بستر، مانند مدلی روی Ollama، پرامپت پایه‌ی خالی دریافت می‌کند. اگر پرامپت سیستمی پاس ندهید، deepagents نسخه‌ی 0.7.38 کماکان یک شیء SystemMessage با محتوای خالی ارسال می‌کند. در اجراهای ما روی Qwen3 8B، این مورد در اولین فراخوانی به صورت دو پیام و صفر کاراکتر پرامپت سیستم ثبت شد:

اولین فراخوانی یک ایجنت عمیق روی Qwen3 8B capture/lab/T09-tokens-mac/05-analysis.txt
('trivial', 'deep_agent') n 3 ok 3 calls [1, 1, 1] in_total [2279] out_total [2] secs median 46.07
    call: in 2279 out 2 msgs 2 sys_chars 0 tools 8 schema_chars 10527 -> []

خط خلاصه وظیفه بدیهی و تک‌فراخوانی آن.

این پیام خالی هیچ توکنی مصرف نمی‌کند. در مدل Qwen3، درخواستِ همراه با آن و درخواستِ بدون آن، هر دو دقیقاً 17 توکن پرامپت شمردند.

کاهش پرامپت از 0.6 به 0.7

لاگ تغییرات می‌گوید توکن‌های ورودی در یک نوبت گردش ایجنت (agent turn) پیش‌فرض 65 درصد افت کرده و از 5,395 به 1,895 رسیده است {{docs oss/python/releases/changelog}}. همچنین ادعا می‌کند توکن‌های توضیحات ابزارها به تنهایی 43 درصد کم شده و از 4,005 به 2,302 رسیده است. البته هیچ‌کدام از این اعداد مشخص نکرده‌اند که بر اساس چه توکنایزری محاسبه شده‌اند.

ما اولین درخواست پیش‌فرض ()create_deep_agent را برای پیام hi روی مک اندازه‌گیری کردیم. این آزمون با پروفایل پیش‌فرض Claude، روی دو نسخه‌ی 0.6.12 و 0.7.38 پکیج deepagents اجرا شد و هیچ مدلی فراخوانی نشد. ما توکن‌های درخواست را با دو توکنایزر از کتابخانه‌ی tiktoken شمارش کردیم و همچنین سه بار به Qwen3 8B روی Ollama فرستادیم تا ارقام را در آنجا هم ثبت کنیم. توکنایزر اختصاصی Claude به صورت آفلاین در دسترس نیست، بنابراین طبیعی است که اعداد ما با متن لاگ تغییرات دقیقاً تطبیق نداشته باشند.

شمارش 0.6.12 0.7.38 افت
پرامپت سیستم و اسکیمای ابزارها، o200k_base 5,899 2,500 57.6%
پرامپت سیستم و اسکیمای ابزارها، cl100k_base 5,903 2,488 57.9%
کل درخواست، در Qwen3 5,814 2,543 56.3%
فقط توضیحات ابزارها، o200k_base 3,099 1,126 63.7%
توضیحات ابزارها و پارامترها، o200k_base 3,417 1,711 49.9%

جهت ادعا درست است، اما ابعاد آن نه: ما به جای 65 درصد، به افتی در حدود 56 تا 58 درصد رسیدیم. رقم 43 درصد برای توضیحات هم با هیچ‌کدام از دو مدل شمارش ما از توضیحات جور درنیامد. بخش عمده‌ی این کاهش ناشی از سه بخش است: پرامپت سیستم از 1,813 به 275 توکن افت کرد، write_todos به همراه 824 توکن توضیحاتش از مجموعه‌ی پیش‌فرض حذف شد، و توضیحات task از 1,448 به 280 توکن کاهش یافت.

بستر آزمایشی کِی به کار می‌آید؟

موقعیت شما Deep Agents؟ آمار پشت آن
مدل Claude با کش کردن پرامپت، برای وظایف نیازمند فایل، ساب‌ایجنت‌ها یا فهرست کارها بله نتیجه‌ی یکسان در 129 وظیفه از 129 وظیفه، 1.16 تا 1.24 برابر هزینه
مدل Claude، سؤال‌های کوتاه با ابزارهای اختصاصی خودتان بدون دستاورد، هزینه‌ی اندک نتیجه‌ی یکسان، حدود 3,570 توکن پرامپت بیشتر به ازای هر فراخوانی
یک مدل محلی 8B یا کوچک‌تر خیر 55 و 58 قبولی از 99 در برابر 70 و 74، و 2.5 برابر شدن زمان روی Qwen3 4B
یک مدل محلی 14B تا 20B فقط پس از تست روی وظایف خودتان 2 و 4 قبولی کمتر از حلقه‌ی ساده در یک مجموعه‌ی 30 وظیفه‌ای
کار روی فایل‌های واقعی بله، همراه با FilesystemBackend روی پوشه جهش قبولی از 2 به 16 (از 20 وظیفه) روی Qwen3 4B
مدل محلی 8B یا کوچک‌تر، و در هر صورت مایل به استفاده از دیپ ایجنت هستید ابزارهای فایلی را با یک پروفایل پنهان کنید و تست بگیرید 14 قبولی از 20 وظیفه‌ی فایلی روی Qwen3 4B؛ 63 از 99 روی Qwen3 8B در برابر 74 با حلقه‌ی ساده
می‌خواهید مدل ابزارها را از طریق کد فراخوانی کند ابتدا آن را روی وظایف خودتان تست کنید 39 قبولی از 39 روی Haiku با و بدون eval، و بدون فراخوانی eval در سه مدل محلی
ارائه‌دهنده‌ای بدون کش پرامپت توکن‌ها را بودجه‌بندی کنید با قیمت‌های پایه 3.10 تا 3.14 برابر هزینه

منابع: capture/s_integrations.py، capture/out/41-deep-agent.txt، capture/out/53-draw-deep-agent.txt، capture/s_draw.py؛ libs/langchain_v1/langchain/agents/factory.py در langchain==1.5.0؛ capture/lab/bench/summary-mac.json، capture/lab/bench/summarize.py، capture/lab/bench/runs/main.jsonl، capture/lab/bench/runs/cost-ledger.jsonl، capture/lab/bench2/summary-bench2.json، capture/lab/bench2/kit2/run2.py، capture/lab/bench2/kit2/summarize2.py، capture/lab/bench2/runs/profiles.jsonl، capture/lab/bench2/runs/ptc.jsonl، capture/lab/bench2/runs/verify.jsonl، capture/lab/bench2/runs/cost-ledger.jsonl، capture/lab/bench2/logs/q-ptc.log، capture/lab/bench/kit/harnesses.py، capture/lab/bench/kit/env.py، capture/lab/bench/kit/checks.py، capture/lab/bench/data/tasks.jsonl، capture/lab/bench/data/anthropic-prices.json؛ capture/lab/summary/tokens-mac.json، capture/lab/T09-tokens-mac/04-agent-runs.jsonl، capture/lab/T09-tokens-mac/04-agent-runs.log، capture/lab/T09-tokens-mac/05-analysis.txt، capture/lab/T09-tokens-mac/01-baseprompt-0.7.38.jsonl، capture/lab/T09-tokens-mac/02-baseprompt-0.6.12.jsonl، capture/lab/T09-tokens-mac/03-qwen3-token-counts.jsonl، capture/lab/T09-tokens-mac/00-venv-da06-freeze.txt؛ libs/deepagents/deepagents/graph.py، libs/deepagents/deepagents/backends/filesystem.py، libs/deepagents/deepagents/middleware/_prompt_caching.py، و libs/deepagents/deepagents/middleware/filesystem.py در deepagents==0.7.38؛ docs.langchain.com در commit مستندات به شناسه‌ی 04d4d4a (oss/python/releases/changelog، oss/python/deepagents/overview).

ترجمه‌ی فارسی Deep Agents: when the harness helps از راهنمای LangChain 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما