تابع
create_agentبه ازای هر فراخوانی مدل حدود 5 میلیثانیه زمان اضافه میکند و هیچ توکن اضافی نسبت به یک حلقهی ساده مصرف نمیکند؛ در حالی که Deep Agentها، رشتهگفتگوهای طولانی و یک اندپوینت (endpoint) ردگیری محاسبات که با خطا مواجه شود، هزینهی بسیار بیشتری به بار میآورند.
تیم شما یک حلقهی ساده بر پایهی کلاینت openai دارد که بدون مشکل کار میکند. پیش از مهاجرت به LangChain، کسی میپرسد این تغییر چقدر هزینه خواهد داشت. پاسخ این پرسش چند بخش دارد: زمان به ازای هر فراخوانی، توکنها، بایتهای درخواست، زمان ایمپورت، دیسک، چکپوینتها و ردگیری محاسبات (tracing).
وقتی این بخش را به پایان برسانید، میتوانید بگویید هر لایه از استک چه باری به یک اجرا اضافه میکند و انتخاب کنید که منابع را کجا صرف کنید.
جدول هزینهها
ما معیارهای هر ردیف از این جدول را روی یک سیستم اندازهگیری کردهایم که نام سیستم و تعداد تکرار در هر ردیف مشخص شده است. سیستم Mac یک Apple M1 Max با 10 هسته و 64 گیگابایت حافظه است که بارهای کاری دیگری هم همزمان روی آن در حال اجرا بودهاند. سرور مهمان x86 دارای 32 پردازندهی مجازی (vCPU) و 48 گیگابایت رم است. سیستمها متفاوتاند؛ بنابراین اعداد را فقط درون یک ردیف مقایسه کنید، نه بین ردیفهای مختلف.
| هزینه | حلقهی ساده | LangChain | سیستم و تعداد تکرار | بخش |
|---|---|---|---|---|
| زمان خارج از مدل در یک اجرای شامل سه فراخوانی Qwen3 4B | 25.1 میلیثانیه (1.3٪ از اجرا) | 37.6 میلیثانیه با create_agent (2.3٪)، 15.6 میلیثانیه بیشتر در همان دور |
Mac، هر کدام 40 اجرا | همین بخش |
| توکنهای پرامپتِ سه فراخوانی آن اجرا، روی Qwen3 4B | 261، 300، 340 | کاملاً یکسان | Mac، هر کدام 40 اجرا | همین بخش |
| بایتهای درخواست آن سه فراخوانی، روی Qwen3 4B | 679، 936، 1,199 | 696، 948، 1,206 | Mac، هر کدام 40 اجرا | همین بخش |
| توکنهای پرامپت برای پاسخی تککلمهای، روی Qwen3 8B | 28 | 28 با create_agent، 2,279 با create_deep_agent |
Mac، هر کدام 3 اجرا | 7.4 |
| ایمپورتها، با بایتکدِ ذخیرهشده روی دیسک | 0.329 ثانیه برای openai |
0.831 ثانیه برای create_agent و ChatOpenAI |
Mac، هر کدام 10 اجرا | 3.1 |
| نصب پکیجها | 14 پکیج، 26,356 کیلوبایت | 44 پکیج، 54,312 کیلوبایت | Mac، یک بار نصب برای هر کدام | 3.1 |
یک بار نوشتن چکپوینت روی PostgresSaver، میانهی 10 گام آخر از 5,000 گام |
صفر | 148.65 میلیثانیه در حالت عادی، 1.13 میلیثانیه با DeltaChannel |
سرور مهمان x86، یک اجرا | 5.5 |
| زمان خارج از مدل در یک اجرای ایجنت با Qwen3 4B وقتی ردگیری فعال است، در برابر ضبطکنندهی محلی | صفر | 26.3 میلیثانیه در برابر 17.7 میلیثانیه با ردگیری خاموش، 0.5٪ از اجرا | Mac، هر کدام 60 اجرای یکدرمیان | 7.6 |
| یک هوک میانافزار، در هر بار اجرا | صفر | 183 تا 190 میکروثانیه هوک نود، 45 تا 50 میکروثانیه هوک پوششی، 0.2 تا 0.5٪ از یک اجرای واقعی Qwen3 4B | سرور مهمان x86 زیر لود 14 تا 25، 20 اجرا به ازای هر حالت | همین بخش |
ادامهی این بخش، نتایج ثبتشدهی سه ردیف اول و ردیف آخر را نشان میدهد که در هیچ بخش دیگری به طور کامل نیامدهاند. در بخش 9.7 هزینهی کل یک گفتوگوی پشتیبانی بر اساس توکنهای اندازهگیریشده محاسبه میشود: 0.61 دلار برای 1,000 گفتوگو با مدل Claude Haiku 5.5.
زمان به ازای هر اجرا
وظیفهی (task) این آزمون، پاسخی به یک پرسش است که به دو ابزار نیاز دارد: ابتدا add و سپس multiply که در مجموع به سه فراخوانی مدل (model call) منجر میشود. هشت برنامه این آزمون را با Qwen3 4B روی Ollama اجرا کردند؛ پنج برنامه از مسیر v1/ و سه برنامه از مسیر محلی (native). یک پراکسی زمان هر فراخوانی مدل را ثبت کرد. همهی اجراها به پاسخ درست رسیدند و هر برنامه همان ابزارها را با همان آرگومانها فراخوانی کرد.
زمان خارج از مدل: زمان واقعی (wall time) یک اجرا منهای زمانی که مدلها پشت پراکسی سپری کردهاند. این زمان شامل کلاینت HTTP و گام پرش (hop) به سمت پراکسی هم میشود؛ بنابراین حتی یک حلقهی ساده نیز مقداری زمان خارج از مدل دارد.
- حلقهی سادهی
openai: کلاینتopenai، فهرستی از پیامها و یک حلقه روی فراخوانیهای ابزار (tool calls). - حلقهی
ChatOpenAI.bind_tools: همان حلقه، با مدلِ ارائهشده در پکیجlangchain-openaiبه جای کلاینت خام. create_agent: ایجنت مجهز بهChatOpenAIو همان دو ابزار.create_agentباInMemorySaver: همان ایجنت به همراه یک چکپوینتر (checkpointer) و یک رشتهگفتگو.StateGraphدستساز: یک نود مدل، یکToolNodeوtools_condition؛ یعنی ساخت دستیِ همان گرافی کهcreate_agentایجاد میکند.- برنامههای مسیر محلی: یک حلقهی سادهی
ollama، تابعcreate_agentباChatOllama، وStateGraphدستساز باChatOllama، همگی روی مسیرapi/chat/.
ما 40 اجرای هر برنامه را روی Mac، پس از 2 دور گرم کردن، در 40 دور تصادفی اندازهگیری کردیم. شکل وضعیت هر اجرا را نشان میدهد. همهی اجراها پس از add(2, 3) و multiply(5, 4) به عدد 20 رسیدند. میانهی زمان خارج از مدل برای حلقهی ساده 25.1 میلیثانیه و برای حلقهی bind_tools برابر با 29.3 میلیثانیه بود. این مقدار برای create_agent به 37.6 میلیثانیه، با InMemorySaver به 37.6 میلیثانیه، و برای StateGraph دستساز به 36.7 میلیثانیه رسید. در مقایسه با حلقهی ساده در همان دور، آنها به ترتیب 6.6، 15.6، 12.2 و 11.5 میلیثانیه زمان بیشتر مصرف کردند.
در مسیر محلی، حلقهی سادهی ollama معادل 11.7 میلیثانیه زمان خارج از مدل داشت. تابع create_agent با ChatOllama حدود 29.0 میلیثانیه (13.0 میلیثانیه بیشتر) و StateGraph حدود 22.2 میلیثانیه (7.8 میلیثانیه بیشتر) زمان صرف کردند.
به ازای هر فراخوانی مدل، لایهی ایجنت حدود 4 تا 5 میلیثانیه زمان و 3 میلیثانیه پردازش CPU اضافه میکند. در مسیر v1/، زمان خارج از مدل بین 1.3 تا 2.3٪ از یک اجرای 1.7 تا 2.0 ثانیهای را تشکیل میداد. به خاطر سایر بارهای پردازشی سیستم، زمان پردازش مدل بین 1.2 تا 3.7 ثانیه به ازای هر اجرا متغیر بود؛ بنابراین زمان خارج از مدل را مقایسه کنید، نه زمان واقعی را.
توکنها و بایتهای درخواست
یک فریمورک ممکن است با اضافه کردن پرامپت سیستمی اختصاصی، فیلدهای ابزار اضافه یا یک اسکیمای ابزار (tool schema)، توکن مصرف کند. تابع create_agent هیچ توکنی اضافه نمیکند. ما میزان مصرفی را که Ollama برای هر فراخوانی بازمیگرداند، از طریق پراکسی ثبت کردیم (40 اجرا به ازای هر برنامه روی Mac). هر اجرای یک برنامه سه فراخوانیِ یکسان داشت:
| فراخوانی | حلقهی ساده: بایت، توکن پرامپت، توکن پاسخ | create_agent: بایت، توکن پرامپت، توکن پاسخ |
|---|---|---|
| 1 | 679، 261، 25 | 696، 261، 25 |
| 2 | 936، 300، 25 | 948، 300، 25 |
| 3 | 1,199، 340، 3 | 1,206، 340، 3 |
توکنها فراخوانی به فراخوانی برای هر دو برنامه یکسان بودند. درخواستِ create_agent در هر فراخوانی بین 7 تا 17 بایت حجیمتر بود.
ما بدنهی خام درخواستهای هر دو برنامه را در پراکسی برای 5 اجرا ثبت کردیم و آنها را فراخوانی به فراخوانی سنجیدیم. تمام تفاوتهای بازنگری (diff) بایتبهبایت در این گزارش آمده است:
### request 1: a_plain_openai (679 B) vs c_create_agent (696 B), round 1, raw bodies as sent
…
+15 B "stream":false added
+2 B "temperature":0 -> "temperature":0.0
ledger sum +17 B; measured +17 B
### request 2: a_plain_openai (936 B) vs c_create_agent (948 B), round 1, raw bodies as sent
…
+15 B "stream":false added
+2 B "temperature":0 -> "temperature":0.0
+2 B assistant turn 1: "content":"" -> "content":null
+3 B assistant turn 1: arguments {"a":2,"b":3} -> {"a": 2, "b": 3}
-10 B assistant turn 1: "index":0 dropped
ledger sum +12 B; measured +12 B
### request 3: a_plain_openai (1199 B) vs c_create_agent (1206 B), round 1, raw bodies as sent
…
+2 B assistant turn 2: "content":"" -> "content":null
+3 B assistant turn 2: arguments {"a":5,"b":4} -> {"a": 5, "b": 4}
-10 B assistant turn 2: "index":0 dropped
ledger sum +7 B; measured +7 Bخلاصه شده در دفتر کل هر درخواست. سایر بایتها همان کلیدها و مقادیر با ترتیبی دیگر هستند.
کلاس ChatOpenAI مقدار "stream": false را اضافه میکند و دما (temperature) را به صورت عدد اعشاری مینویسد که در هر فراخوانی 17 بایت اضافه میکند. به ازای هر فراخوانی ابزارِ قبلی در تاریخچه، این کلاس مقدار "content": null میفرستد، در حالی که حلقهی ساده رشتهی خالی Ollama را تکرار میکرد. این کلاس آرگومانها را دوباره با فاصله مینویسد و مقدار "index": 0 را که حلقهی ساده از روی model_dump() کپی کرده بود حذف میکند. این کار به ازای هر نوبت گفتوگو (turn) معادل 5 بایت صرفهجویی دارد. اسکیمای ابزارها از نظر JSON یکسان اما از نظر بایتها متفاوتاند: create_agent مقدار "type": "object" را بعد از "required" میآورد، و فیلد "content" را قبل از "role" در هر پیام قرار میدهد.
هدرها در دو فیلد تفاوت دارند. برنامههای LangChain هدر x-stainless-raw-response: true را میفرستند؛ چون ChatOpenAI کلاینت را از طریق with_raw_response فراخوانی میکند {{code libs/partners/openai/langchain_openai/chat_models/base.py}}. در درخواستهای ثبتشده، این برنامهها هدر x-stainless-read-timeout را نداشتند، در حالی که حلقهی ساده آن را ارسال میکرد.
بستر آزمایشی (harness) مربوط به Deep Agentها یک استثنا است. با مدل Qwen3 8B، تابع create_deep_agent در هر فراخوانی بین 2,075 تا 2,251 توکن پرامپتِ بیشتر نسبت به یک حلقهی ساده ارسال کرد. این مقدار برای یک پاسخ تککلمهای 81.4 برابر، برای دو فراخوانی ابزار 10.0 برابر، و برای یک وظیفهی مرتبط با فایل 9.1 برابر بود. بخش 7.4 و شکل این فراخوانیها را نشان میدهند. این توکنها را فقط وقتی هزینه کنید که به قابلیتهای برنامهریزی، فایلها یا سابایجنتها (subagents) نیاز دارید.
مجموعه وظایف بخش 1.2 همین تصویر را در مقیاس بزرگتر نشان میدهد. دیپایجنت بین 3.6 تا 4.3 برابرِ حلقهی ساده توکن پرامپت فرستاد که روی Claude Haiku 5.5 معادل حدود 3,570 توکن بیشتر در هر فراخوانی بود. کش کردن پرامپت (prompt caching) صورتحساب را کاملاً تغییر میدهد. روی Claude، دیپایجنت با کش فعال 1.16 تا 1.24 برابرِ حلقهی ساده هزینه داشت، اما بر اساس قیمت مصوب و بدون کش، هزینهی آن 3.10 تا 3.14 برابر بود.
ایمپورتها و دیسک
هزینهی شروع یک فرایند (process) برای ابزارهای خط فرمان (CLI)، اجرای آزمونها و کنترلکنندههای (handlers) سرورلس اهمیت دارد. بخش 3.1 زمانهای ایمپورت را همراه با شکل آورده است. در حالتی که بایتکدها از قبل نوشته شده باشند، ایمپورت create_agent و ChatOpenAI در میانهی دفعات 0.831 ثانیه طول کشید، در حالی که برای import openai این زمان 0.329 ثانیه بود. در اولین راهاندازی بدون بایتکد، این زمانها به ترتیب 2.64 ثانیه در برابر 1.064 ثانیه بودند. حجم نصب نیز حدود دو برابر است: 54,312 کیلوبایت در برابر 26,356 کیلوبایت.
چکپوینتها
یک چکپوینتر در هر گام کل وضعیت را مینویسد، مگر اینکه کانال فقط تغییرات را ذخیره کند. بخش 5.5 آمار ثبتشده را در شکل نشان میدهد. روی PostgresSaver با یک فهرست ساده از پیامها، میانهی 10 نوشتن آخر در گام 10 برابر با 2.88 میلیثانیه بود؛ اما در گام 5,000 این زمان به 148.65 میلیثانیه رسید.
یک رشتهگفتگو با 5,000 گام معادل 7,289 مگابایت فضا گرفت. با استفاده از DeltaChannel، زمان نوشتن در حوالی 1.1 میلیثانیه ماند و رشتهگفتگو با ذخیرهی یک اسنپشات (snapshot) در هر 100 گام، فقط 81 مگابایت فضا گرفت. رشتهگفتگوهای طولانی را خلاصه کنید و همیشه تعداد گامهای رشتهگفتگوهای خود را اندازه بگیرید.
ردگیری محاسبات
ردگیری محاسبات هم به هر اجرا زمان اضافه میکند و هم هنگام خروج از برنامه هزینه دارد. بخش 7.6 هر دو مورد را به همراه شکل بررسی میکند. در برابر یک ضبطکنندهی محلی که بلافاصله پاسخ میداد، ردگیری محاسبات 7.4 میلیثانیه به یک اجرای 1.6 ثانیهای ایجنت روی Qwen3 4B اضافه کرد. در شش فرایند از هفت فرایند، اولین اجرای همراه با ردگیری محاسبات بین 83 تا 243 میلیثانیه زمان خارج از مدل صرف کرد. یک اندپوینت خراب، خروج از برنامه را بین 10 تا 17 ثانیه معطل کرد و اندپوینتی که قطع شده و پاسخ نمیداد، فرایند را زنده نگه داشت.
در بخش 9.4 یک سرویس با اسپنهای (spans) اختصاصی OpenTelemetry ردگیری میشود. اگر LANGSMITH_TRACING روی false باشد یا تنظیم نشده باشد، ضبطکننده هیچ درخواستی دریافت نمیکرد.
هوکهای میانافزار
همانطور که بخش 4.5 نشان میدهد، هر هوک میانافزار یک نود دیگر به گراف اضافه میکند یا یک پوشش دیگر دور یک فراخوانی میکشد. یک هوک نود مانند before_model در هر بار اجرا، یک گام به حلقه اضافه میکند؛ اما یک هوک پوششی مانند wrap_model_call فقط یک فراخوانی تابع اضافه میکند و نودی به گراف نمیافزاید.
ما این هزینه را روی سرور مهمان x86 با مدل Qwen3 4B روی Ollama سنجیدیم. زمان فریمورک برابر است با زمان واقعی منهای زمان سپریشده درون فراخوانی مدل. اجرایی شامل دو فراخوانی مدل و یک فراخوانی ابزار 2.61 ثانیه طول کشید که 5.88 میلیثانیهی آن سهم فریمورک بود. شرایط مختلفی با 1، 10 یا 20 میانافزار، هر کدام با 20 اجرای زمانبندیشده در دورهای تصادفی سنجیده شدند. همهی اجراها پاسخ درست دادند و میانافزارها کار خاصی انجام ندادند. هزینهی هر فراخوانی هوک، شیب میانهی زمانها نسبت به تعداد میانافزارها است که بر تعداد فراخوانیهای آن هوک در یک اجرا تقسیم شده است.
| هوک | فراخوانی در یک اجرا | هزینهی هر فراخوانی | زمان فریمورک با 20 میانافزار | نودهای گراف با 20 میانافزار |
|---|---|---|---|---|
before_model |
2 | 183 میکروثانیه | 13.2 میلیثانیه | 24 |
after_model |
2 | 190 میکروثانیه | 13.5 میلیثانیه | 24 |
before_agent |
1 | 187 میکروثانیه | 9.6 میلیثانیه | 24 |
wrap_model_call |
2 | 45 میکروثانیه | 7.7 میلیثانیه | 4 |
wrap_tool_call |
1 | 50 میکروثانیه | 6.9 میلیثانیه | 4 |
سهم فریمورک از زمان کل، بدون میانافزار 0.2٪ و با 20 هوک نود 0.5٪ بود. میانگین بار پردازشی (load average) بین 14 تا 25 بود؛ چون Ollama از تمام هستهها استفاده میکرد. بنابراین به سهم درصدی و نسبت هوکهای نود به هوکهای پوششی نگاه کنید، نه به اعداد دقیق بر حسب میکروثانیه.
ما 9 پیکربندی مختلف از میانافزارهای داخلی را به همین روش روی سرور مهمان x86 با Qwen3 4B سنجیدیم (20 اجرا به ازای هر حالت). هفت مورد دارای یک میانافزار، یکی شامل پنج نمونه از PIIMiddleware و دیگری شامل پشتهای از پنج میانافزار مختلف بود. هیچکدام وارد عمل نشدند: نه تلاش مجددی، نه رسيدن به سقف محدودیتی، نه خلاصهسازی و نه وقفهای (interrupt).
| میانافزار، طبق پیکربندی | اضافهشده به یک اجرا | نودهای گراف |
|---|---|---|
ToolRetryMiddleware() |
0.14 میلیثانیه | 4 |
ModelRetryMiddleware() |
0.15 میلیثانیه | 4 |
SummarizationMiddleware با شرط تحریکی که هرگز اجرا نمیشود |
0.36 میلیثانیه | 5 |
ToolCallLimitMiddleware(run_limit=1000) |
0.75 میلیثانیه | 5 |
HumanInTheLoopMiddleware بدون وقفه برای ابزاری که اجرا شد |
0.86 میلیثانیه | 5 |
ModelCallLimitMiddleware(run_limit=1000) |
1.30 میلیثانیه | 6 |
PIIMiddleware("email", strategy="redact") |
1.36 میلیثانیه | 6 |
پنج نمونهی PIIMiddleware، یکی برای هر نوع |
4.77 میلیثانیه | 14 |
| پشتهای از خلاصهسازی، پاکسازی دادههای حساس، محدودیت فراخوانی مدل، تلاش مجدد ابزار و بازبینی | 3.39 میلیثانیه | 10 |
هزینه متناسب با تعداد نودها بالا میرود. تلاشهای مجدد فراخوانیها را میپوشانند و زیر 0.2 میلیثانیه اضافه میکنند؛ اما هر میانافزاری که نود داشته باشد، زمان را بین 0.4 تا 1.4 میلیثانیه افزایش میدهد. پنج نمونهی پاکسازی دادههای حساس، 4.8 میلیثانیه به یک اجرای 2.64 ثانیهای Qwen3 4B اضافه کردند (0.4٪). بنابراین میانافزار را بر اساس کاری که انجام میدهد انتخاب کنید، و نگذارید هوکهای نود وارد حلقهای شوند که هزاران فراخوانی سریع دارد.
منابع: capture/lab/summary/overhead-mac-real.json، capture/lab/T01-overhead-mac-real/01-runs.jsonl، capture/lab/T01-overhead-mac-real/t01_real.py، capture/lab/T01-overhead-mac-real/mr_common.py، capture/lab/last-two-mac/02-request-bodies.jsonl، capture/lab/last-two-mac/03-request-body-diff.txt، capture/lab/last-two-mac/lt2_body_diff.py، capture/lab/last-two-mac/lt2_diff.py، capture/lab/last-two-mac/lt_common.py؛ capture/lab/bench/summary-mac.json، capture/lab/bench/runs/main.jsonl، capture/lab/bench/runs/cost-ledger.jsonl؛ capture/lab/summary/import-times-mac.json، capture/lab/summary/install-size-mac.json، capture/lab/summary/tokens-mac.json، capture/lab/summary/checkpoint-cost-x86.json، capture/lab/summary/tracing-mac-real.json؛ capture/lab/summary/middleware-x86.json، capture/lab/T11-middleware-cost-x86/01-cost.jsonl، capture/lab/T11-middleware-cost-x86/t11_real.py؛ capture/lab/summary/middleware-mac.json؛ libs/partners/openai/langchain_openai/chat_models/base.py در langchain-openai 1.8.0.