یک دیپ ایجنت (deep agent) روی Claude با 1.16 تا 1.24 برابر هزینه، همان نتایج حلقهی ساده را ثبت کرد؛ اما روی مدلهای کوچک محلی، عمدتاً بهخاطر فایلسیستم پیشفرضِ مبتنی بر وضعیت (in-state)، بازی را باخت.
حتماً خواندهاید که یک دیپ ایجنت برنامهریزی میکند، فایلها را نگه میدارد و سابایجنت (subagent) راه میاندازد؛ بنابراین با deepagents نسخهی 0.7.38 یکی از آنها را میسازید. روی Claude، هر وظیفهای (task) را که حلقهی سادهتان پاس کند، این ایجنت هم پاس میکند. اما روی Qwen3 4B در 18 وظیفه از 20 وظیفهی کار با فایل شکست میخورد؛ جالب اینکه در بعضی از آنها به شما میگوید فایل را تغییر داده، در حالی که فایل روی دیسک دستنخورده باقی مانده است.
در پایان این بخش، متوجه میشوید تابع create_deep_agent در نسخهی 0.7.38 چه مواردی را به create_agent اضافه میکند و این تغییرات کِی مفیدند. همچنین میتوانید برای ابزارهای فایلی آن یک بکاند (backend) مناسب انتخاب کنید و مصرف توکنهایش را با و بدون کش کردن پرامپت (prompt caching) بودجهبندی کنید.
موضع ما
- از Deep Agentها در کنار یک مدل پیشرو (frontier model) و کش کردن پرامپت استفاده کنید. روی مدل Claude، این ایجنت در 99 وظیفه از 99 وظیفه و 30 وظیفه از 30 وظیفه موفق شد؛ دقیقاً مشابه یک حلقهی ساده، اما با 1.16 و 1.24 برابر هزینه.
- دیپ ایجنت پیشفرض را از مدلهای کوچک محلی دور نگه دارید. مدل Qwen3 4B در قالب دیپ ایجنت 55 وظیفه از 99 وظیفه، و با حلقهی ساده 70 وظیفه از 99 وظیفه را پاس کرد. مدل Qwen3 8B نیز به ترتیب 58 و 74 وظیفه را با موفقیت پشت سر گذاشت.
- اگر کار روی فایلهای واقعی است،
FilesystemBackendرا پاس دهید. بکاند پیشفرض، فایلها را در وضعیت ایجنت نگه میدارد. با اعمالFilesystemBackendروی پوشهی وظیفه، موفقیت Qwen3 4B در وظایف فایلی از 2 به 16 (از مجموع 20 وظیفه) جهش کرد. - پنهان کردن ابزارهای فایلی پیشفرض، عملکرد مدل کوچک را در وظایف فایلی بالا میبرد اما در سایر بخشها به آن ضربه میزند. استفاده از یک پروفایل، عملکرد Qwen3 4B را در وظایف فایلی از 2 به 14 (از 20) رساند، ولی مجموع قبولیهایش روی همان 55 از 99 ثابت ماند.
- پیش از اتکا به ابزار سنجش (eval tool)، حتماً آن را تست کنید. مدل Claude Haiku 5.5 با آن 39 وظیفه از 39 وظیفه را پاس کرد و تا زمانی که پرامپت نخواسته بود اصلاً صدایش نزد؛ سه مدل محلی هم هرگز آن را فراخوانی نکردند.
- مصرف توکنهای پرامپت را 3.6 تا 4.3 برابر بودجهبندی کنید. روی ارائهدهندهای با قابلیت کش، این کار هزینهی مالی چندانی ندارد. اما روی یک مدل محلی زمان میبرد: 22.6 ثانیه به ازای هر وظیفه در برابر 9.1 ثانیه روی Qwen3 4B.
تابع create_deep_agent چه میسازد؟
دیپ ایجنت: ایجنتی که با create_deep_agent از پکیج deepagents ساخته میشود. این در واقع یک گراف create_agent است با مجموعهای ثابت از میدلورها (middleware) پیرامون میدلورهای اختصاصی شما.
تابع create_deep_agent همان آرگومانهای اصلی create_agent را میگیرد: مدل، ابزارها، پرامپت سیستم، میدلورها، چکپوینتر (checkpointer) و استور (store). این تابع گزینههای subagents، skills، memory، permissions، backend و interrupt_on را اضافه میکند {{code libs/deepagents/deepagents/graph.py}} و گراف کامپایلشدهی create_agent را برمیگرداند.
گروه اصلی میدلورها در ابتدا و با این ترتیب میآیند: FilesystemMiddleware، میدلور SubAgentMiddleware همراه با یک سابایجنت چندمنظوره، _ParentNotifierMiddleware، خلاصهسازی، و PatchToolCallsMiddleware. میدلورهای اختصاصی خودتان بلافاصله پس از این گروه قرار میگیرند.
سپس نوبت به بخش پایانی میرسد: میدلورهای پروفایل مدل، مهارتها (skills)، کش کردن پرامپت، حافظه، و بازبینی انسانی. در انتهای صف، UnsupportedContentMiddleware و ModelRefusalMiddleware قرار دارند {{code libs/deepagents/deepagents/graph.py:921-994}}. میدلور کش کردن پرامپت برای Anthropic در هر حالتی اضافه میشود و برای سایر ارائهدهندهها هیچ کاری انجام نمیدهد {{code libs/deepagents/deepagents/graph.py:968}}. اگر میدلوری از طرف شما همنام با یکی از میدلورهای توکار باشد، در همان جا جایگزین آن میشود {{code libs/deepagents/deepagents/graph.py:223-262}}. دو مورد از آنها گرههایی به گراف اضافه میکنند؛ همانطور که اجرای بستر آزمایشی روی Qwen3 4B نشان میدهد:
[
"__start__",
"model",
"tools",
"_ParentNotifierMiddleware.after_agent",
"PatchToolCallsMiddleware.before_agent",
"__end__"
]گرههای model و tools همان حلقهی بخش 1.3 هستند. بقیهی استک درون همین دو گره، در قالب هوکهایی (hooks) پیرامون فراخوانی مدل و فراخوانیهای ابزار اجرا میشوند.
تصویر گراف کامپایلشده را بر اساس متن Mermaid آن رسم میکند. گره model یک یال شرطی (conditional edge) بازگشتی به خودش هم دارد. تابع create_agent هر زمان که میدلوری هوک wrap_model_call داشته باشد، این یال را اضافه میکند و استک دیپ ایجنت هم چندین هوک از این دست دارد {{code libs/langchain_v1/langchain/agents/factory.py:1772-1776}}. متد get_graph(xray=True) دقیقاً همین شش گره را برمیگرداند؛ چرا که سابایجنت درون ابزار task اجرا میشود و جزو گرههای این گراف نیست.
ابزارهای یک دیپ ایجنت در 0.7.38
بستر آزمایشی، create_deep_agent را با Qwen3 4B روی Ollama، ابزار add و پرامپت سیستم .You keep notes فراخوانی کرد. مدل در هر فراخوانیِ ایجنت اصلی، نه ابزار در اختیار داشت:
"call": 1,
"tools": [
"ls",
"read_file",
"write_file",
"edit_file",
"delete",
"glob",
"grep",
"task",
"add"
],
"first message": "system: You keep notes.",
"message count": 2اولین فراخوانی از شش فراخوانی. فراخوانی پنجم سابایجنت است، که ابزارهایی مشابه بدون task دارد.
تصویر نشان میدهد که هر ابزار و هر بخش از وضعیت از کجا میآیند.
فایلسیستم مجازی (Virtual filesystem): کانال files در وضعیت یک دیپ ایجنت. با بکاند پیشفرض یعنی StateBackend، ابزارهای فایلی روی همین کانال میخوانند و مینویسند و هرگز به دیسک دست نمیزنند {{code libs/deepagents/deepagents/graph.py:684}}.
مدل ابزار add را فراخوانی کرد، /notes.md را با write_file نوشت، با ls فهرست آن را گرفت و از طریق task به سراغ سابایجنت چندمنظوره رفت. مدل فقط حاصلجمع، یعنی 5 را درون فایل نوشت. در نهایت، فایل به همراه محتوا و دو برچسب زمانی، درون وضعیت رشتهی گفتوگو (thread) قرار گرفت:
{
"/notes.md": {
"content": "5",
"encoding": "utf-8",
"created_at": "<time>",
"modified_at": "<time>"
}
}چکپوینتر این کانال را در کنار بقیهی وضعیت ذخیره میکند؛ بنابراین با ماندگاری thread، فایلهای آن هم پس از ریاستارت باقی میمانند. بخش 6.7 فراخوانی task و سابایجنت را با جزئیات دنبال میکند.
دو منبع با این فهرست ابزارها همخوانی ندارند. در docstring تابع create_deep_agent، ابزار execute جزو ابزارهای پیشفرض آمده و نامی از delete نیست {{code libs/deepagents/deepagents/graph.py}}. واقعیت این است که execute فقط با بکاندی ظاهر میشود که توان اجرای دستورها را داشته باشد، و بکاند پیشفرض چنین قابلیتی ندارد. ثبت وقایع ما این مورد را به عنوان تعارض D8 ثبت کرده است. از سوی دیگر، صفحهی معرفی مستندات میگوید Deep Agents برنامهریزی را اضافه میکند {{docs oss/python/deepagents/overview}} که تعارض D109 است. در نسخهی پینشده، ملاک قطعی کد است: خبری از لیست کارها (todo list) نیست، و ابزار delete حضور دارد.
مدل کوچک، مدل پیشرو
ما دیپ ایجنت را در مقایسه با یک حلقهی ساده، روی مجموعهی 99 وظیفهایِ بخش 1.2 روی مک اندازهگیری کردیم. مدلهای Qwen3 4B و Qwen3 8B روی Ollama با دمای 0 اجرا شدند و مدلهای Claude از طریق API به کار افتادند. دیپ ایجنت به ابزارهای هر وظیفه، پرامپت سیستم ما و بکاند پیشفرض مجهز شد. تصویر همهی وظایف را نشان میدهد.
| مدل | وظایف | حلقهی ساده | دیپ ایجنت | نتیجهی یکسان |
|---|---|---|---|---|
| Claude Haiku 5.5 | 99 | 99 | 99 | 99 |
| Claude Sonnet 5.5 | 30 | 30 | 30 | 30 |
| gpt-oss 20B | 30 | 28 | 24 | 26 |
| Qwen3 14B | 30 | 26 | 24 | 24 |
| Qwen3 8B | 99 | 74 | 58 | 73 |
| Qwen3 4B | 99 | 70 | 55 | 42 |
روی Claude، بستر آزمایشی هیچ تفاوتی ایجاد نکرد که با این مجموعه وظایف قابل مشاهده باشد. هر دو بستر آزمایشی تمام وظایف را پاس کردند؛ بنابراین اثرات ناچیز خود را نشان نمیدادند. اما روی مدلهای محلی، دیپ ایجنت بین 2 تا 16 وظیفه عقب افتاد.
این افت ناشی از دو دستهی مشخص است. در وظایف فایلی، همانطور که در بخش بعد میبینید، مقصر اصلی بکاند پیشفرض است.
در وظایف بازیابی (retrieval)، دیپ ایجنت روی Qwen3 4B به 6 پرسش از 20 پرسش بدون هیچ فراخوانی ابزاری پاسخ داد و گفت به دادهها دسترسی ندارد. در 59 وظیفهی دیگر، دیپ ایجنت بیشتر از حلقهی ساده قبول شد: 46 در برابر 39 روی Qwen3 4B، و 47 در برابر 44 روی Qwen3 8B. پس بستر آزمایشی عملکرد مدل کوچک را در همهچیز بدتر نمیکند.
بکاند پیشفرض فایلها را در وضعیت نگه میدارد
یک وظیفهی فایلی، پنج ابزار به ایجنت میدهد که روی یک پوشهی وظیفه عمل میکنند، و بررسیکننده (checker) همان پوشه را میخواند. دیپ ایجنت هفت ابزار فایلی اختصاصی خودش را هم دارد. این هفت ابزار در بکاند پیشفرض، روی کانال files کار میکنند که در ابتدا کاملاً خالی است. بنابراین اگر مدل ابزار ls را انتخاب کند، فایلی نمیبیند:
{"run_id": "cd6b9ad2", "tag": "main", "ts": "2026-11-14T19:31:56", "task_id": "files03", "family": "files", "harness": "deep_agent", "model": "qwen3:4b-instruct-2507-q4_K_M", …"tool_seq": ["glob", "ls"], "final_text": "I see that there are no files in the current directory at all. This means there is no config.ini file to modify. …"final_state": {"config.ini": "[server]\nhost=0.0.0.0\nport=8080\nworkers=4\n"}}یک سطر از Qwen3 4B، برشخورده به فراخوانیهای ابزار، پاسخ، و پوشه پس از اجرا. وظیفه از آن میخواهد پورت را در config.ini تغییر دهد.
مدلی که با ابزارهای توکار بنویسد، فقط وضعیت را تغییر میدهد و به اشتباه اعلام موفقیت میکند. برای مثال، Qwen3 14B خطی را با edit_file و write_file حذف کرد، این موضوع را گزارش داد، اما فایل روی دیسک کاملاً دستنخورده باقی ماند:
{"run_id": "3fc1e4ca", "tag": "main", "ts": "2026-11-15T02:13:58", "task_id": "files16", …"tool_seq": ["edit_file", "ls", "write_file"], "final_text": "The line `DEBUG=true` has been removed from `settings.env`, and the file has been updated.", …"final_state": {"settings.env": "HOST=localhost\nDEBUG=true\nPORT=5000\n"}}یک سطر از Qwen3 14B، برشخورده به فراخوانیهای ابزار، پاسخ، و پوشه پس از اجرا.
FilesystemBackend: بکاندی که ابزارهای فایلیِ دیپ ایجنت را به یک پوشه روی دیسک نگاشت میکند. در حالت پیشفرض با virtual_mode=True، مسیرها ذیل root_dir خوانده میشوند و مسیری که به بیرون از آن برود با امتناع مدل (refusal) مواجه میشود {{code libs/deepagents/deepagents/backends/filesystem.py:130-168}}. این بکاند مسیرها را محدود میکند، اما فرایندها را ایزوله نمیسازد.
ما 20 وظیفهی فایلی را بار دوم با FilesystemBackend(root_dir=<task folder>, virtual_mode=True)، روی مک و برای همان سه مدل اندازهگیری کردیم. تصویر هر اجرا و ابزارهای فایلیِ بهکاررفته در آن را نشان میدهد.
| مدل | حلقهی ساده | دیپ ایجنت، پیشفرض | دیپ ایجنت، FilesystemBackend |
|---|---|---|---|
| Claude Haiku 5.5 | 20 از 20 | 20 از 20 | 19 از 20 |
| Qwen3 8B | 17 از 20 | 5 از 20 | 9 از 20 |
| Qwen3 4B | 16 از 20 | 2 از 20 | 16 از 20 |
مدل Claude Haiku 5.5 در حالت پیشفرض در 6 اجرا از 20 اجرا به سراغ ابزارهای فایلیِ توکار رفت (آن هم فقط glob) و بعد از ابزارهای وظیفه استفاده کرد. اما Qwen3 4B در 18 اجرا از 20 اجرا سراغ ابزار توکار رفت و در 17 تای آنها شکست خورد. با بردن بکاند روی دیسک، باز هم در 18 اجرا ابزار توکار را صدا زد؛ منتها در 15 اجرا فایلی را با آن نوشت و 12 مورد از آنها قبول شدند. جهش Qwen3 8B کمتر بود (از 5 به 9) و در 11 اجرای دیگر پوشهای با وضعیت اشتباه به جا گذاشت.
بنابراین بکاند پیشفرض به مدلی که ابزارهای توکار را ترجیح میدهد ضربه میزند. به دیپ ایجنت ابزارهای فایلیای بدهید که همگی روی پوشهی واقعی کار کنند، و FilesystemBackend را روی همان پوشه ست کنید. ما دیپ ایجنت را صرفاً با ابزارهای توکار روی آن بکاند تست نکردیم.
پروفایل بستری که ابزارهای فایلی را پنهان میکند
پروفایل بستر آزمایشی (Harness profile): تنظیمی در deepagents که نحوهی برخورد create_deep_agent با یک ارائهدهندهی خاص را تغییر میدهد. یک پروفایل میتواند لیستی از ابزارهای مستثنیشده را در excluded_tools مشخص کند و با system_prompt_suffix متنی را به پرامپت سیستم بیفزاید. ثبت پروفایل با تابع register_harness_profile انجام میشود.
بستر آزمایشی ما دو پروفایل را برای ارائهدهندهی ollama اجرا کرد. پروفایل A هشت ابزار فایلیِ فهرست قبلی را حذف کرد: ls، read_file، write_file، edit_file، glob، grep، delete و execute. پروفایل B علاوه بر این حذفیات، یک جمله به پرامپت اضافه کرد.
این جمله حامل سه پیام است: ابزارهای وظیفه تنها راه دسترسی به دادهها هستند؛ محیط کار توکار خالی است؛ و ایجنت نباید کارها را واگذار کند.
هر دو پروفایل ابزار task را در جای خود نگه داشتند. در یک وظیفهی زنجیرهای (chain task)، اولین فراخوانی مدل 7 ابزار را لیست کرد: task، پنج ابزارِ وظیفه، و submit_answer.
ما پروفایل B را روی 99 وظیفه و پروفایل A را روی زیرمجموعهی 30 وظیفهای برای مدلهای Qwen3 4B و Qwen3 8B اندازهگیری کردیم. سختافزار مورد استفاده، Mac با پردازندهی Apple M1 Max و 64 گیگابایت رم بود. مدلها روی Ollama 0.31.1 با دمای 0 و seed برابر 42، با یک بار اجرا به ازای هر وظیفه اجرا شدند. پیش از اجراها، سه وظیفه بررسی شدند و دقیقاً همان فراخوانیهای ابزار و تعداد توکنهای پرامپتِ بنچمارک اول روی همان سرور را تولید کردند.
| وظایف قبولشده | 4B ساده | 4B دیپ | 4B دیپ، B | 8B ساده | 8B دیپ | 8B دیپ، B |
|---|---|---|---|---|---|---|
| chain، 20 | 9 | 17 | 6 | 15 | 17 | 12 |
| sql، 19 | 15 | 11 | 10 | 10 | 11 | 8 |
| retrieval، 20 | 15 | 7 | 11 | 13 | 6 | 10 |
| files، 20 | 16 | 2 | 14 | 17 | 5 | 15 |
| multiturn، 20 | 15 | 18 | 14 | 19 | 19 | 18 |
| همگی، 99 | 70 | 55 | 55 | 74 | 58 | 63 |
پروفایل B به هدفی که برایش ساخته شده بود رسید. موفقیت در وظایف فایلی برای Qwen3 4B از 2 به 14 (از 20) و برای Qwen3 8B از 5 به 15 رسید. اما مجموع کل نتایج روی مدل 4B رشد نکرد؛ وظایف زنجیرهای از 17 به 6 سقوط کردند و در 30 اجرا فراخوانی ابزار به شکل متن ساده نوشته شد (در حالی که این اتفاق در دیپ ایجنت پیشفرض فقط 12 بار رخ داد). در مدل Qwen3 8B مجموع قبولیها از 58 به 63 رسید که باز هم 11 تا کمتر از حلقهی ساده است.
پرامپت هم لاغرتر شد. مدل Qwen3 4B در مجموع 608,010 توکن پرامپت خواند؛ در مقایسه با 1,591,270 برای دیپ ایجنت پیشفرض و 365,915 برای حلقهی ساده. این ارقام برای Qwen3 8B به ترتیب 467,536، 1,311,726 و 353,608 توکن بود.
در زیرمجموعهی 30 وظیفهای، پروفایل A روی Qwen3 4B به 19 و روی Qwen3 8B به 16 قبولی رسید، در حالی که پروفایل B به ترتیب 18 و 17 وظیفه را پاس کرد. حلقهی ساده روی همین وظایف به آمارهای 23 و 18 دست یافت. نمونهی 30 وظیفهای بازهی خطای بالایی دارد، بنابراین اختلافهای 1 یا 2 وظیفه را نویز در نظر بگیرید. از آنجا که تستهای پروفایل همزمان با کارهای دیگر روی مک اجرا شدند، معیارهای زمانی آنها را گزارش نمیکنیم.
ابزار سنجش و فراخوانی برنامهنویسیشدهی ابزارها
فراخوانی ابزار با برنامهنویسی (Programmatic tool calling): مدل به جای فراخوانی ابزار به ازای هر گام، یک برنامهی کوچک مینویسد که چندین ابزار را درون خود صدا میزند. در کتابخانهی langchain-quickjs نسخهی 0.3.12، میدلور CodeInterpreterMiddleware(ptc=tools) ابزاری به نام eval اضافه میکند. این ابزار جاوااسکریپت را در یک ساندباکس (sandbox) با موتور QuickJS اجرا کرده و ابزارهای مشخصشده را درون شیء tools میگذارد.
ما چهار رویکرد را روی 39 وظیفهی chain و sql (که هر وظیفه نیازمند چند گام جستوجو و مقداری محاسبات ریاضی است) اندازهگیری کردیم. این رویکردها عبارت بودند از: حلقهی ساده، دیپ ایجنت پیشفرض، دیپ ایجنت همراه با CodeInterpreterMiddleware(ptc=<the task tools>)، و حالت آخر با افزودن یک جملهی دیگر به پرامپت. در این جمله از مدل خواسته شده تا برای هر وظیفهای که بیش از یک جستوجو یا محاسبات ریاضی دارد، یک برنامهی eval بنویسد. مدل Claude Haiku 5.5 هر چهار رویکرد را از طریق API روی مک اجرا کرد.
مدلهای Qwen3 8B، Qwen3 14B و gpt-oss 20B سه رویکرد اول را روی Ollama با یک اجرا به ازای هر وظیفه سپری کردند. ردیفهای حالت ساده برای Qwen3 14B و gpt-oss 20B فقط 12 وظیفهی chain و sql از زیرمجموعهی 30 وظیفهای را پوشش میدهند. اجرای با پرامپت هدایتشده در Qwen3 8B به دلیل خطای 404 سرور برای مدل در همان ابتدا ناموفق بود و ردیفی ندارد. تصویر همهی این رویکردها را نشان میدهد.
مدل Claude Haiku 5.5 در هر چهار حالت، 39 وظیفه از 39 وظیفه را پاس کرد. با پرامپت معمولی، در 0 اجرا از 39 اجرا سراغ eval رفت. این ابزار اضافی فقط توکنهای اسکیمای ابزار (tool schema) را بالا برد: 1.71 میلیون توکن پرامپت در برابر 0.93 میلیون برای دیپ ایجنت پیشفرض.
با اضافهشدن آن جمله در پرامپت، مدل در 12 اجرا از 39 اجرا در مجموع 42 بار eval را صدا زد. این 12 اجرا همگی وظایف زنجیرهای بودند و هر 12 مورد قبول شدند؛ البته سه فراخوانی eval با خطای SyntaxError شکست خوردند. تصویر این دو حالت را مقایسه میکند.
این برنامه باعث صرفهجویی در فراخوانیها نشد. در آن 12 وظیفهی زنجیرهای، اجراهای دارای پرامپت هدایتشده 67 فراخوانی مدل داشتند، در حالی که اجراهای با پرامپت معمولی به 53 فراخوانی بسنده کردند. روی کل 39 وظیفه، مجموع فراخوانیها به ترتیب 187 و 173 بود. هزینهی حلقهی ساده روی همین 39 وظیفه 0.021 دلار و برای دیپ ایجنت پیشفرض 0.022 دلار شد.
هیچکدام از مدلهای محلی در هیچیک از 117 اجرای خود سراغ eval نرفتند. در عوض، Qwen3 8B و gpt-oss 20B در برخی اجراها ابزارهای توکار glob، ls یا grep را به کار گرفتند. تعداد قبولیها برای Qwen3 8B برابر 23 از 39، برای Qwen3 14B برابر 29، و برای gpt-oss 20B معادل 35 بود؛ یعنی 5، 2 و 2 قبولی کمتر از دیپ ایجنت پیشفرض. از آنجا که هر خانه 39 وظیفه دارد، این تفاوتها در محدودهی نویز آماری است.
توکنهای پرامپت به ترتیب 2.6، 2.2 و 2.3 برابر دیپ ایجنت پیشفرض بودند. میانهی زمان وظیفه در Qwen3 8B به 142.5 ثانیه رسید؛ در حالی که دیپ ایجنت پیشفرض در 14.5 ثانیه کار را تمام کرد. این زمانسنجی از یک مک مشترک با بار کاری بالا به دست آمده، بنابراین آن را به عنوان یک حد بالا (upper bound) در نظر بگیرید.
توکنها و تأثیر کش بر آنها
یک دیپ ایجنت اسکیمای ابزارهای داخلیاش را در هر فراخوانی مدل ارسال میکند. ما این هزینه را در اجراهای پیشین روی تکفراخوانیها اندازه گرفتیم.
ما توکنهای پرامپت سه بستر آزمایشی را روی مک، با مشخصات Apple M1 Max، 10 هسته و 64 گیگابایت رم اندازهگیری کردیم. مدل مورد استفاده Qwen3 8B روی Ollama با دمای 0 و seed برابر 42 بود. هر وظیفه به ازای هر بستر سه بار تکرار شد که در مجموع 27 اجرا را شامل میشود. سه بستر آزمایشی عبارت بودند از: یک حلقهی ساده روی کلاینت ollama، تابع create_agent و create_deep_agent. تصویر جزئیات هر فراخوانی مدل را نشان میدهد.
| وظیفه | فراخوانیهای مدل | حلقهی ساده | create_agent |
create_deep_agent |
نسبت دیپ به ساده |
|---|---|---|---|---|---|
| پاسخ تککلمهای | 1 | 28 | 28 | 2,279 | 81.4 برابر |
| دو فراخوانی ابزار محاسباتی | 2 | 480 | 480 | 4,818 | 10.0 برابر |
| نوشتن یک فایل و سپس خواندن آن | 3 | 773 | 773 | 7,013 | 9.1 برابر |
روی مجموعهی وظایف، همانطور که تصویر نشان میدهد، این نسبت روی کل وظایف در هفت مدل بین 3.6 تا 4.3 برابر ثبت شد. دیپ ایجنت میانهی تعداد فراخوانیهای مدل یکسانی داشت. روی Claude Haiku 5.5 در هر فراخوانی حدود 3,570 توکن پرامپت بیشتر ارسال کرد و روی Qwen3 8B حدود 2,160 توکن بیشتر.
روی یک مدل محلی، تکتک این توکنها در هر فراخوانی دوباره خوانده میشوند. میانهی زمان اجرای وظیفه در Qwen3 4B در قالب دیپ ایجنت 22.6 ثانیه طول کشید، در حالی که با حلقهی ساده 9.1 ثانیه شد. این ارقام روی Qwen3 8B به ترتیب 11.6 ثانیه و 10.1 ثانیه بود.
روی Claude، کش پرامپت این توکنها را با یکدهم قیمت میخواند. ما خواندن از کش (cache read) گزارششده توسط API را برای تکتک فراخوانیها اندازهگیری کردیم. در کل فراخوانیهای هر خانه، روی هایکو 96 درصد و روی سونت 94 درصد از توکنهای پرامپت دیپ ایجنت از کش خوانده شد. این سهم برای حلقهی ساده که فقط پرامپت سیستم را نشانهگذاری میکند، روی هر دو مدل 67 درصد بود. تصویر هزینهی دلاری هر وظیفه را نشان میدهد.
دیپ ایجنت روی Claude Haiku 5.5 برای 99 وظیفه 0.052 دلار هزینه داشت، در حالی که حلقهی ساده 0.045 دلار تمام شد. روی Claude Sonnet 5.5 برای 30 وظیفه این هزینه 0.327 دلار در برابر 0.263 دلار بود. بدون کش و بر اساس قیمتهای رسمی، اجرای همین وظایف 3.10 و 3.14 برابر حلقهی ساده هزینه برمیداشت.
تغییرات در 0.7
لاگ تغییرات، موارد اصلاحشده در deepagents نسخهی 0.7.0 را به شرح زیر فهرست میکند {{docs oss/python/releases/changelog}}:
- فهرست کارها اختیاری شد. تابع
create_deep_agentدیگر میدلورTodoListMiddlewareرا اضافه نمیکند. برای بازگرداندن ابزارwrite_todos، کانالtodosو پرامپت برنامهریزی، باید مقدارmiddleware=[TodoListMiddleware()]را با ایمپورت ازlangchain.agents.middlewareپاس دهید. - پرامپت پایه خالی است. پرامپت پایهی نوشتهشده حذف شده و متغیر
BASE_AGENT_PROMPTتا زمان حذف کامل در 0.9.0 منسوخ (deprecated) شده است {{code libs/deepagents/deepagents/graph.py}}. با این حال یک پروفایل بستر برای مدلی شناختهشده همچنان میتواند قطعهمتنی کوتاه بیفزاید. - ابزار
delete. این ابزار یک فایل یا دایرکتوری را حذف میکند. متدwrite_fileنیز حالا به جای خطا دادن، روی فایل موجود بازنویسی انجام میدهد. - متن جدید برای خروجیها. در صورت خالی بودن نتایج،
lsیاglobبه جای[]عبارتNo files foundرا برمیگردانند و ستون شمارهی خط از خروجیread_fileحذف شده است. کدی که خروجی ابزارها را پارس میکند باید تغییر کند. - حذف سازندههای بکاند. باید مستقیماً یک نمونه از بکاند را پاس دهید، و به
StoreBackendنیز یکnamespaceصریح اختصاص دهید.
هرچند مقداردهی model=None همچنان مجاز است و مدل Claude Sonnet 4.6 را از طریق langchain-anthropic مشخص میکند، اما این حالت از 0.5.3 به بعد منسوخ شده است {{code libs/deepagents/deepagents/graph.py}}. همیشه مدل را صراحتاً پاس دهید.
مدلی بدون پروفایل بستر، مانند مدلی روی Ollama، پرامپت پایهی خالی دریافت میکند. اگر پرامپت سیستمی پاس ندهید، deepagents نسخهی 0.7.38 کماکان یک شیء SystemMessage با محتوای خالی ارسال میکند. در اجراهای ما روی Qwen3 8B، این مورد در اولین فراخوانی به صورت دو پیام و صفر کاراکتر پرامپت سیستم ثبت شد:
('trivial', 'deep_agent') n 3 ok 3 calls [1, 1, 1] in_total [2279] out_total [2] secs median 46.07
call: in 2279 out 2 msgs 2 sys_chars 0 tools 8 schema_chars 10527 -> []خط خلاصه وظیفه بدیهی و تکفراخوانی آن.
این پیام خالی هیچ توکنی مصرف نمیکند. در مدل Qwen3، درخواستِ همراه با آن و درخواستِ بدون آن، هر دو دقیقاً 17 توکن پرامپت شمردند.
کاهش پرامپت از 0.6 به 0.7
لاگ تغییرات میگوید توکنهای ورودی در یک نوبت گردش ایجنت (agent turn) پیشفرض 65 درصد افت کرده و از 5,395 به 1,895 رسیده است {{docs oss/python/releases/changelog}}. همچنین ادعا میکند توکنهای توضیحات ابزارها به تنهایی 43 درصد کم شده و از 4,005 به 2,302 رسیده است. البته هیچکدام از این اعداد مشخص نکردهاند که بر اساس چه توکنایزری محاسبه شدهاند.
ما اولین درخواست پیشفرض ()create_deep_agent را برای پیام hi روی مک اندازهگیری کردیم. این آزمون با پروفایل پیشفرض Claude، روی دو نسخهی 0.6.12 و 0.7.38 پکیج deepagents اجرا شد و هیچ مدلی فراخوانی نشد. ما توکنهای درخواست را با دو توکنایزر از کتابخانهی tiktoken شمارش کردیم و همچنین سه بار به Qwen3 8B روی Ollama فرستادیم تا ارقام را در آنجا هم ثبت کنیم. توکنایزر اختصاصی Claude به صورت آفلاین در دسترس نیست، بنابراین طبیعی است که اعداد ما با متن لاگ تغییرات دقیقاً تطبیق نداشته باشند.
| شمارش | 0.6.12 | 0.7.38 | افت |
|---|---|---|---|
پرامپت سیستم و اسکیمای ابزارها، o200k_base |
5,899 | 2,500 | 57.6% |
پرامپت سیستم و اسکیمای ابزارها، cl100k_base |
5,903 | 2,488 | 57.9% |
| کل درخواست، در Qwen3 | 5,814 | 2,543 | 56.3% |
فقط توضیحات ابزارها، o200k_base |
3,099 | 1,126 | 63.7% |
توضیحات ابزارها و پارامترها، o200k_base |
3,417 | 1,711 | 49.9% |
جهت ادعا درست است، اما ابعاد آن نه: ما به جای 65 درصد، به افتی در حدود 56 تا 58 درصد رسیدیم. رقم 43 درصد برای توضیحات هم با هیچکدام از دو مدل شمارش ما از توضیحات جور درنیامد. بخش عمدهی این کاهش ناشی از سه بخش است: پرامپت سیستم از 1,813 به 275 توکن افت کرد، write_todos به همراه 824 توکن توضیحاتش از مجموعهی پیشفرض حذف شد، و توضیحات task از 1,448 به 280 توکن کاهش یافت.
بستر آزمایشی کِی به کار میآید؟
| موقعیت شما | Deep Agents؟ | آمار پشت آن |
|---|---|---|
| مدل Claude با کش کردن پرامپت، برای وظایف نیازمند فایل، سابایجنتها یا فهرست کارها | بله | نتیجهی یکسان در 129 وظیفه از 129 وظیفه، 1.16 تا 1.24 برابر هزینه |
| مدل Claude، سؤالهای کوتاه با ابزارهای اختصاصی خودتان | بدون دستاورد، هزینهی اندک | نتیجهی یکسان، حدود 3,570 توکن پرامپت بیشتر به ازای هر فراخوانی |
| یک مدل محلی 8B یا کوچکتر | خیر | 55 و 58 قبولی از 99 در برابر 70 و 74، و 2.5 برابر شدن زمان روی Qwen3 4B |
| یک مدل محلی 14B تا 20B | فقط پس از تست روی وظایف خودتان | 2 و 4 قبولی کمتر از حلقهی ساده در یک مجموعهی 30 وظیفهای |
| کار روی فایلهای واقعی | بله، همراه با FilesystemBackend روی پوشه |
جهش قبولی از 2 به 16 (از 20 وظیفه) روی Qwen3 4B |
| مدل محلی 8B یا کوچکتر، و در هر صورت مایل به استفاده از دیپ ایجنت هستید | ابزارهای فایلی را با یک پروفایل پنهان کنید و تست بگیرید | 14 قبولی از 20 وظیفهی فایلی روی Qwen3 4B؛ 63 از 99 روی Qwen3 8B در برابر 74 با حلقهی ساده |
| میخواهید مدل ابزارها را از طریق کد فراخوانی کند | ابتدا آن را روی وظایف خودتان تست کنید | 39 قبولی از 39 روی Haiku با و بدون eval، و بدون فراخوانی eval در سه مدل محلی |
| ارائهدهندهای بدون کش پرامپت | توکنها را بودجهبندی کنید | با قیمتهای پایه 3.10 تا 3.14 برابر هزینه |
منابع: capture/s_integrations.py، capture/out/41-deep-agent.txt، capture/out/53-draw-deep-agent.txt، capture/s_draw.py؛ libs/langchain_v1/langchain/agents/factory.py در langchain==1.5.0؛ capture/lab/bench/summary-mac.json، capture/lab/bench/summarize.py، capture/lab/bench/runs/main.jsonl، capture/lab/bench/runs/cost-ledger.jsonl، capture/lab/bench2/summary-bench2.json، capture/lab/bench2/kit2/run2.py، capture/lab/bench2/kit2/summarize2.py، capture/lab/bench2/runs/profiles.jsonl، capture/lab/bench2/runs/ptc.jsonl، capture/lab/bench2/runs/verify.jsonl، capture/lab/bench2/runs/cost-ledger.jsonl، capture/lab/bench2/logs/q-ptc.log، capture/lab/bench/kit/harnesses.py، capture/lab/bench/kit/env.py، capture/lab/bench/kit/checks.py، capture/lab/bench/data/tasks.jsonl، capture/lab/bench/data/anthropic-prices.json؛ capture/lab/summary/tokens-mac.json، capture/lab/T09-tokens-mac/04-agent-runs.jsonl، capture/lab/T09-tokens-mac/04-agent-runs.log، capture/lab/T09-tokens-mac/05-analysis.txt، capture/lab/T09-tokens-mac/01-baseprompt-0.7.38.jsonl، capture/lab/T09-tokens-mac/02-baseprompt-0.6.12.jsonl، capture/lab/T09-tokens-mac/03-qwen3-token-counts.jsonl، capture/lab/T09-tokens-mac/00-venv-da06-freeze.txt؛ libs/deepagents/deepagents/graph.py، libs/deepagents/deepagents/backends/filesystem.py، libs/deepagents/deepagents/middleware/_prompt_caching.py، و libs/deepagents/deepagents/middleware/filesystem.py در deepagents==0.7.38؛ docs.langchain.com در commit مستندات به شناسهی 04d4d4a (oss/python/releases/changelog، oss/python/deepagents/overview).