با هر نوبت گفتوگو، رشته بزرگتر میشود؛ در نتیجه هر بار فراخوانی مدل طولانیتر و هر چکپوینت حجیمتر خواهد شد، مگر آنکه پیامها را کوتاه یا خلاصهسازی کنید و آنها را در قالب تفاضل (delta) ذخیره نمایید.
دستیار شما در ساعت اول سریع به نظر میرسد. اما پس از چند ده نوبت گفتوگو در یک رشته، پاسخ دادن به هر سؤال بیشتر طول میکشد، صورتحساب ارائهدهنده سنگینتر میشود و حجم پایگاه داده حتی سریعتر از صورتحساب رشد میکند. هیچ خطایی رخ نداده است؛ بلکه ایجنت در هر فراخوانی، کل رشته را برای مدل میفرستد و چکپوینتر نیز در هر مرحله کل رشته را ذخیره میکند.
پس از پایان این بخش، میتوانید انتخاب کنید که مدل چه دادههایی دریافت کند، برای خلاصهسازی محرک (trigger) بگذارید و روند رشد یک رشتهی طولانی را پیشبینی کنید.
مدل چه چیزی دریافت میکند؟
مهندسی بافتار (Context engineering): انتخاب اینکه مدل در هر فراخوانی چه چیزهایی دریافت کند: کدام پیامها، کدام ابزارها و چه دستورالعملهایی.
پنجرهی بافتار (Context window): بیشترین تعداد توکنی که یک مدل میتواند در یک فراخوانی بپذیرد، که مجموع ورودی و خروجی با هم است.
در بخش 5.2 دیدیم که هر فراخوانی، تمام پیامهای رشته را دریافت میکند. مستندات حافظهی کوتاهمدت سه روش برای کوتاه نگه داشتن این فهرست معرفی میکند: برش زدن (trim)، حذف پیامها، و خلاصهسازی {{docs oss/python/langchain/short-term-memory}}. هر روشی باید قاعدهی بخش 3.4 را رعایت کند: یک ToolMessage به هر فراخوانی ابزار پاسخ میدهد و هیچ ToolMessageای نباید تنها بماند.
trim_messages
trim_messages: تابعی در langchain_core.messages که پیامهای ابتدایی یا انتهایی یک فهرست را تا سقف یک سهمیهی توکن معین نگه میدارد. این تابع فهرستی را که به مدل ارسال میکنید تغییر میدهد، اما وضعیت (state) را دستنخورده باقی میگذارد.
کیت آموزشی ما پنج پیامِ بخش 3.3 را با سهمیهی سه پیام برش میزند. شمارندهی توکن همان len است، بنابراین هر پیام معادل یک توکن محاسبه میشود:
max_tokens=3, token_counter=len:
[
{
"type": "SystemMessage",
"content": "You are terse."
},
{
"type": "ToolMessage",
"content": "5",
"name": "add",
"tool_call_id": "call_1",
"status": "success"
},
{
"type": "AIMessage",
"content": "The sum is 5.",
…
]آمارهای مصرف توکن بریده شدهاند.
نتیجه به دست آمده ToolMessage مربوط به call_1 را نگه میدارد، اما پیام هوش مصنوعی (AI message) را که آن فراخوانی را ایجاد کرده بود، حذف میکند. بیشتر ارائهدهندگان چنین درخواستی را رد میکنند. با تنظیم start_on="human"، عمل برش تا رسیدن به یک پیام کاربر، پیامها را کنار میگذارد. از آنجا که دو پیام آخر هیچ پیام کاربری نداشتند، تنها پیام سیستمی باقی ماند. برش را بر اساس نوبتهای کامل گفتوگو انجام دهید و اولین پیام پس از پیام سیستمی را بررسی کنید.
لایهی میانی خلاصهسازی (SummarizationMiddleware)
پیام خلاصه (Summary message): پیام کاربری که SummarizationMiddleware به جای پیامهای قدیمی مینویسد. این پیام با عبارت Here is a summary of the conversation to date: آغاز میشود و مقدار lc_source آن برابر با summarization است.
وقتی محرک فعال شود، SummarizationMiddleware مدل دومی را فراخوانی میکند تا پیامهای قدیمی را خلاصه کرده و جدیدترینها را نگه دارد. کیت آموزشی مقادیر trigger=("messages", 6) و keep=("messages", 2) را تنظیم کرده و هفت پیام میفرستد:
{
"type": "HumanMessage",
"content": "Here is a summary of the conversation to date:\n\n## SESSION INTENT \nCalculate the sum of two numbers provided by the user.…",
"id": "<uuid-1>",
"additional_kwargs": {
"lc_source": "summarization"
}
},
{
"type": "AIMessage",
"content": "The sum is 9.",
…
{
"type": "HumanMessage",
"content": "Now 1 + 1?",خلاصه پس از بخش اولش بریده شده است. شناسههای دو پیام آخر حذف شدهاند.
سپس مدل ایجنت سه پیام دریافت کرد: خلاصه، آخرین پاسخ و سؤال جدید. این مدل ابزار add را با 1 و 1 فراخوانی کرد و پاسخ داد: The sum is 2..
خلاصه متن، خروجیِ مدل است؛ بنابراین میتواند اشتباه باشد. خلاصهساز فقط پنج پیام قدیمی را دیده بود؛ به همین دلیل نوشت که به 4 + 5 پاسخی داده نشده و فراخوانی ابزار add را برای آن فهرست کرد که در واقعیت هرگز اجرا نشده بود. پاسخِ The sum is 9. در میان دو پیامِ نگهداشتهشده قرار داشت و از دید خلاصهساز پنهان مانده بود. این لایهی میانی پیامها را در وضعیت جایگزین کرد، بنابراین نوبتهای بعدی گفتوگو از همین خلاصه آغاز میشوند.
بدون trigger، این لایهی میانی هرگز خلاصهسازی نمیکند. مستندات لایههای میانی داخلی نیز همین را میگوید {{docs oss/python/langchain/middleware/built-in}}. در کیت، مدل هر هفت پیام را دریافت کرد. حتماً محرک را تنظیم کنید. مقدار پیشفرض keep برابر با ("messages", 20) است. در بخش 4، به ContextEditingMiddleware خواهیم پرداخت که به جای خلاصهسازی، نتایج ابزارهای قدیمی را پاک میکند.
اجرای یک رشتهی طولانی روی مدل واقعی
ما سناریوی رشتههای طولانی را روی ماشین مهمان در سرور x86 با 32 هستهی vCPU و 48 گیبیبایت رم، با استفاده از create_agent و PostgresSaver روی PostgreSQL 16.15 و پایایی پیشفرض اندازه گرفتیم. مدل مورد استفاده Qwen3 4B روی Ollama با پردازندهی مرکزی (CPU)، دمای 0، مقدار seed برابر با 42 و پنجرهی بافتار 8192 توکن بود. مدل خلاصهساز نیز همان مدل بود.
هر حالت آزمایشی شامل یک اجرای 200 نوبتی روی یک رشته بود. نوبتهای 1 تا 5 شامل پنج حقیقت بودند و باقی نوبتها به صورت چرخشی میان یک پاسخ معمولی، یک فراخوانی add و دو فراخوانی موازی add جابهجا میشدند. هر 25 نوبت یکبار، پنج سؤال بازخوانی دربارهی آن حقایق روی یک fork از رشته اجرا میشد تا هرگز وارد رشتهی اصلی نشوند. اسکریپت به هر حالت آزمایشی حدود 70 دقیقه زمان داد.
| حالت آزمایشی | تعداد خلاصهها | میانه زمان نوبت بدون / با فراخوانی خلاصه | بزرگترین پرامپت | درستی نوبتهای جمع | بازخوانی 5 حقیقت | حجم رشته |
|---|---|---|---|---|---|---|
| بدون خلاصهسازی | 0 | 7.4 ثانیه، و از نوبت 88 بین 308 تا 621 ثانیه | 8,191 توکن، کل بافتار | 59 از 59 | 5 از 5 تا نوبت 75، سپس 0 از 4 پس از نوبت 94، و پنجمی با خطای HTTP 400 | 20.52 مگابایت در نوبت 90 |
("messages", 60) با نگهداری 7 |
13 | 5.5 ثانیه / 55.2 ثانیه | 2,146 توکن | 126 از 130 | 5 از 5 در هر 8 آزمون ارزیابی | 12.42 مگابایت در نوبت 200 |
("tokens", 6000) با نگهداری 1,500 توکن |
4 | 7.5 ثانیه / 108.4 ثانیه | 5,985 توکن | 130 از 130 | 5 از 5 تا نوبت 50، 0 از 5 از نوبت 75 | 38.00 مگابایت در نوبت 200 |
("messages", 20) با نگهداری 1 |
39 | 5.4 ثانیه / 57.3 ثانیه | 1,219 توکن | 103 از 130: جمعها در 129 نوبت درست بودند و ابزار در 26 نوبت نادیده گرفته شد | 5 از 5 تا نوبت 75، سپس 4 از 5 بدون کلمهی رمز | 6.40 مگابایت در نوبت 200 |
شکل میانهی هر بازهی 25 نوبتی را نشان میدهد. بدون خلاصهسازی، میانهی زمان هر نوبت از 4.7 ثانیه در نوبتهای 1 تا 25 به 11.2 ثانیه در نوبتهای 51 تا 75 افزایش یافت. در نوبت 88، پرامپت به سقف بافتار 8,192 توکنی رسید. از آن پس، هر فراخوانی مدل روی این پردازنده حدود 300 ثانیه طول کشید که تقریباً تمام آن صرف خواندن پرامپت میشد. نوبتها 308 تا 621 ثانیه زمان بردند و اجرا پس از نوبت 94 به دلیل رسیدن به محدودیت زمانی متوقف شد.
سیستم Ollama بخشهای قدیمیتر پرامپت را بدون خطا حذف کرد. پاسخها همچنان درست ماندند؛ اما در چهار سؤال بازخوانی روی آخرین چکپوینت، مدل اعلام کرد که پاسخ را نمیداند. سؤال پنجم نیز با خطای HTTP 400 متوقف شد: request (8192 tokens) exceeds the available context size (8192 tokens).
با تعیین محرک، میانهی زمان هر نوبت بین 5.4 تا 7.5 ثانیه ماند. میانهی نوبتهایی که فراخوانی خلاصه داشتند بین 55 تا 108 ثانیه طول کشید؛ چرا که خلاصه کردن، یک فراخوانی مدلِ اضافه روی پیامهای قدیمی است. فراخوانی خلاصه به تنهایی در مقدار میانه بین 44 تا 85 ثانیه زمان برد. سهم کتابخانههای LangChain، LangGraph و دیتابیس Postgres از هر نوبت، در مقدار میانه تنها بین 18.9 تا 24.7 میلیثانیه بود.
خلاصه میتواند حقایق را از بین ببرد. محرکِ 6,000 توکنی اولین بار در نوبت 65 عملیات خلاصه را اجرا کرد. از نوبت 75 به بعد، مدل در هر 6 آزمون ارزیابی هیچکدام از آن پنج حقیقت را به یاد نداشت. محرکِ 20 پیامی نیز از نوبت 100 کلمهی رمز را از دست داد. اما محرکِ 60 پیامی هر پنج حقیقت را در تمامی 8 آزمون حفظ کرد. پیش از اعتماد به هر محرک، بررسی کنید که خلاصهساز شما چه دادههایی را نگه میدارد.
پیامهای ابزار در تمام موارد جفتشده باقی ماندند. در میان 1,143 درخواست ارسالی به مدل، در هیچ موردی ToolMessage بدون فراخوانی ابزار متناظر دیده نشد (مدل Qwen3 4B روی ماشین مهمان سرور x86). در گزارش اشکال شمارهی 38352 به ایجاد چنین پیامهای یتیمی پس از خلاصهسازی اشاره شده بود، اما این اتفاق در آزمونهای ما رخ نداد.
با وجود خلاصهسازی، حجم رشته همچنان افزایش یافت. هر چکپوینت قدیمی در Postgres باقی میماند، بنابراین فضای ذخیرهسازی با خطی مستقیم رشد کرد. با محرک 60 پیامی، این حجم از 5.98 مگابایت در نوبت 100 به 12.42 مگابایت در نوبت 200 رسید. با محرک 6,000 توکنی نیز حجم از 17.58 مگابایت به 38.00 مگابایت افزایش پیدا کرد. خلاصه، حجم دادههای دریافتی مدل را محدود میکند؛ اما جلوی ذخیرهسازی دادهها توسط چکپوینتر را نمیگیرد.
رشد چکپوینت و DeltaChannel
یک کانال پیام معمولی کل فهرست را در تکتک چکپوینتها ذخیره میکند. در نتیجه، رشتهای با n گام، تقریباً n به توان دو تقسیم بر دو پیام را ذخیره خواهد کرد.
DeltaChannel: یک نوع کانال در langgraph.channels.delta که در هر مرحله فقط تغییرات جدید را به همراه یک اسنپشات کامل ذخیره میکند. این اسنپشات پس از تعداد بهروزرسانیهای مشخصشده در snapshot_frequency (بهطور پیشفرض 100) یا پس از 5,000 گام (هر کدام زودتر برسد) ثبت میشود {{code libs/langgraph/langgraph/channels/delta.py:50-64}}. این ویژگی در نسخهی پینشده در وضعیت بتا قرار دارد.
گراف آزمایشگاهی، کانال پیام خود را به سه شیوه تعریف میکند:
if mode == "plain":
ann = add_messages
elif mode == "delta100":
ann = DeltaChannel(_messages_delta_reducer, snapshot_frequency=100)
else:
ann = DeltaChannel(_messages_delta_reducer, snapshot_frequency=1000)
class S(TypedDict):
messages: Annotated[list, ann]
n: intتابع _messages_delta_reducer نسخهی دلتای add_messages در langgraph.graph.message است. نام این تابع با _ شروع میشود، بنابراین در نسخهی پینشده خصوصی (private) است.
ما هزینهی چکپوینت را روی ماشین مهمان سرور x86 با durability="sync"، به ازای هر مرحله یک پیام 400 کاراکتری و یک رشته در هر اجرا اندازه گرفتیم. این آزمایش در 3 اجرا برای 10، 100 و 1,000 گام و 1 اجرا برای 5,000 گام روی InMemorySaver، SqliteSaver و PostgresSaver انجام شد. در Postgres، یک رشتهی معمولی در 10 گام 0.05 مگابایت و در 100 گام 3.08 مگابایت فضا گرفت. حجم آن در 1,000 گام به 292.58 مگابایت و در 5,000 گام به 7,289.37 مگابایت رسید.
با استفاده از DeltaChannel و ثبت اسنپشات در هر 100 گام، رشتهی 5,000 گامی 81.2 مگابایت فضا گرفت. با اسنپشات در هر 1,000 گام، این حجم تنها 15.7 مگابایت بود. از گام 1,000 به بعد، حجم رشتهی معمولی روی هر سه چکپوینتر با اختلافی کمتر از 0.05 درصد یکسان بود. شکل تمام اجراها را نشان میدهد.
زمان نوشتن نیز همگام با رشتهی معمولی افزایش یافت. میانهی زمان put در 10 گام آخر روی Postgres، از 2.88 میلیثانیه در 10 گام به 148.65 میلیثانیه در 5,000 گام رسید. با هر دو تنظیمات DeltaChannel، این زمان بین 1.02 تا 1.18 میلیثانیه باقی ماند.
در عملیات خواندن، روند برعکس بود. در 1,000 گام روی Postgres، زمان get_state در رشتهی معمولی بین 29.28 تا 31.8 میلیثانیه طول کشید. با DeltaChannel، این زمان بین 43.24 تا 65.61 میلیثانیه بود (بهترین حالت از میان سه خواندن در هر اجرا). کانال دلتا فهرست را با استفاده از تغییرات ثبتشده از زمان آخرین اسنپشات بازسازی میکند. بخش 2.6 نیز همین روند را روی یک ایجنت واقعی با SqliteSaver در مقیاسی کوچکتر نشان داد؛ پس از 100 رفت و برگشت، خواندن با DeltaChannel برابر با 2.76 میلیثانیه و در حالت معمولی 2.59 میلیثانیه بود.
مستندات pregel دو قانون برای DeltaChannel آورده است {{docs oss/python/langgraph/pregel}}. نوع یک کانال پایدارشده را بین حالت دلتا و معمولی تغییر ندهید، چرا که این دو چکپوینتها را به شیوههای متفاوتی انکود میکنند. همچنین رشتهای را که از DeltaChannel استفاده کرده به نسخههای LangGraph قدیمیتر از 1.2 منتقل نکنید، زیرا نمیتوانند این قالب دلتا را بخوانند. در ایشوی شمارهی 7714، هزینهی توکنی چکپوینتها اندازهگیری شده بود که نگهدارندهی پروژه آن را بست؛ چرا که چکپوینتها برای مدل ارسال نمیشوند {{issue 7714}}. ارقام ما نیز این موضوع را تأیید میکند: هزینهی چکپوینت از جنس فضای ذخیرهسازی و زمان است، و هزینهی بافتار از جنس توکن.
منابع: capture/s_start.py، capture/s_middleware.py، capture/out/02-messages.txt، capture/out/10-mw-summarization.txt؛ capture/lab/summary/long-threads-x86-real.json، capture/lab/summary/checkpoint-cost-x86.json، capture/lab/summary/checkpoint-reads-x86.json، capture/lab/T10-long-threads-x86-real/01-turns-none.jsonl، capture/lab/T10-long-threads-x86-real/01-turns-msgs60_keep7.jsonl، capture/lab/T10-long-threads-x86-real/01-turns-tok6000_keep1500.jsonl، capture/lab/T10-long-threads-x86-real/01-turns-msgs20_keep1.jsonl، capture/lab/T10-long-threads-x86-real/02-none-probe-after-deadline.log، capture/lab/T10-long-threads-x86-real/t10r_long.py، capture/lab/T03-checkpoint-cost-x86/01-steps.jsonl، capture/lab/T03-checkpoint-cost-x86/02-steps-5000.jsonl، capture/lab/T03-checkpoint-cost-x86/t03_ckpt.py؛ libs/langchain_v1/langchain/agents/middleware/summarization.py و libs/core/langchain_core/messages/utils.py در langchain==1.5.0؛ libs/langgraph/langgraph/channels/delta.py و libs/langgraph/langgraph/graph/message.py در langgraph 1.2.22؛ docs.langchain.com در docs commit 04d4d4a (oss/python/langchain/short-term-memory، oss/python/langchain/middleware/built-in، oss/python/langgraph/pregel)؛ ایشوهای گیتهاب langchain-ai/langchain#38352 و langchain-ai/langgraph#7714.