این صفحه نسخههای تثبیتشده (pin)، مشخصات دو سیستم مورد استفاده، روش آزمایشگاهی، تکتک آزمایشها به همراه سیستم مجری و تعداد دفعات اجرای آنها، و محتویات پوشهی آزمایشگاه را ثبت کرده است.
نسخههای تثبیتشده
این راهنما روی نسخهی 1.5.0 از langchain تثبیت شده که در تاریخ 2026-11-11 و در commit با شناسهی c2f4036e منتشر شده است. در همین وضعیت تثبیتشده، نسخههای langchain-core 1.8.0، langgraph 1.2.22، deepagents 0.7.38 و langsmith 0.14.17 قرار دارند. بخش منابع و مغایرتها commit مربوط به هر بسته را مشخص میکند. ما کدها و مستندات را خواندیم و در تاریخ 2026-11-14 صحت تکتک فکتها را بررسی کردیم.
بستههای این پشته با سرعت زیادی تغییر میکنند و شمارهی نسخههای آنها با یکدیگر هماهنگ نیست. هر گزارهای در این راهنما صرفاً در مورد همین نسخههای تثبیتشده صدق میکند. بخش 8.5 تفاوتهای موجود در کدها و صفحات قدیمیتر را فهرست کرده است.
چهار نوع شواهد
پشت هر فکت یکی از چهار برچسب زیر قرار دارد و صفحهی منابع آنها را رتبهبندی کرده است.
کد: یک کلاس، مقدار پیشفرض یا متن خطایی که مستقیماً از سورسکد در تگ مشخصشده خوانده شده است. هر جا که آن را اجرا هم کرده باشیم، در متن پاراگراف قید شده است.
ثبت عینی (capture): خروجی مستقیمی از ابزار ثبت عینی ما که پشتهی واقعی را اجرا میکند. هر جا که ثبت عینی به مدل نیاز داشته باشد، از مدل Qwen3 4B Instruct روی Ollama در ماشین مهمان سرور x86 استفاده شده است. درون فایل، نام مدل، تنظیمات آن، سیستم مجری و تاریخ ثبت آمده است.
اندازهگیری ما: عددی که از یکی از اجراهای آزمایشگاهی ما به دست آمده است. پاراگراف مربوطه نام سیستم و تعداد دفعات اجرا را مشخص میکند.
مستندات: گزارهای برگرفته از مستندات رسمی در commit با شناسهی 04d4d4a. از این مورد برای مسیرهایی استفاده میکنیم که در این نسخه اجرا نشدهاند و متن صراحتاً به آن اشاره میکند.
دو سیستم آزمایشگاهی
| نام در راهنما | مشخصات سیستم | نرمافزارها |
|---|---|---|
| مک | یک لپتاپ Apple M1 Max با 10 هسته و 64 GiB رم، مشترک با کارهای دیگر | macOS 26.2، Python 3.13.12، Ollama 0.31.1، PostgreSQL 14.21 |
| مهمان سرور x86 | ماشین مهمان KVM با 32 هستهی مجازی (vCPU) و 48 GiB رم روی یک سرور اشتراکی با پردازندهی AMD EPYC 7452. دیسک آن در حافظهی رم سرور قرار داشت | Ubuntu 24.04، Python 3.13.18، PostgreSQL 16.15، Redis 7.0.15، Docker 29.1.3، Ollama 0.31.1 روی پردازندهی اصلی (CPU) |
این دو سیستم با هم تفاوت دارند؛ بنابراین در هیچ بخشی عددی از یک سیستم در کنار عددی از سیستم دیگر قرار نگرفته است. تمام زمانهای ثبتشده در مک در حکم یک حد بالا (upper bound) برای آن سیستم هستند، زیرا حین تمام سنجشهای زمانی کارهای دیگری هم روی آن در حال اجرا بود. دیسک ماشین مهمان در حافظهی رم قرار داشت، بنابراین زمانهای نوشتن آن حد پایین برای یک دیسک واقعی محسوب میشوند.
روش آزمایشگاهی
- مدلهای واقعی آزمایشگاه. مدلهای محلی شامل نسخههای 0.6B، 1.7B، 4B، 8B، 14B و 30B-A3B از Qwen3، و gpt-oss 20B روی Ollama بودند و برای امبدینگ (embedding) از
nomic-embed-textاستفاده شد. مدل Qwen3 4B روی مهمان سرور x86، مانور خرابی، ردگیریهای محاسبات محیط اجرا (runtime traces)، و ماتریس ایجنت T02 را اجرا کرد. این مدل همچنین تستهای T05، T07، T08، T11، T17، T18 و T19، و اجرای مجدد T10، T15 و T16 را پیش برد. باقی اجراهای آزمایشگاهیِ مدل روی مک انجام شد. ابزار ثبت عینی جدا از آزمایشگاه است و دادهها را روی مهمان سرور x86 ضبط کرد. - طول کانتکست در ماشین مهمان. اجرای مجدد T10، T15 و T16 کانتکست را روی 8192 توکن تنظیم کرد. باقی اجراها روی ماشین مهمان مقداری تعیین نکردند، در نتیجه Ollama از کانتکست پیشفرض خود استفاده کرد. در طول T02، خروجی
ollama psعدد 4096 را نشان داد. پرامپتهای آن اجراها کوتاه بودند. - مدلهای ابری با بودجهی محدود. Claude Haiku 5.5 (
claude-haiku-5-5) و Claude Sonnet 5.5 (claude-sonnet-5-5) در بنچمارک و از طریق API انتروپیک از روی مک اجرا شدند. یک دفتر کل مشترک تکتک فراخوانیها و هزینهی آنها را ثبت کرد و به محض رسیدن به سقفی مشخص، اجراها را متوقف ساخت. بنچمارک در 2589 فراخوانی کلاً $0.93 هزینه برد. Haiku کل مجموعهی آزمون را اجرا کرد و Sonnet زیرمجموعهی 30-وظیفهای را به انجام رساند. بخش روش بنچمارک تنظیمات را شرح میدهد. Haiku همچنین 20 ارزیابیِ بخش 9.6 را یک بار در 64 فراخوانی با هزینهی $0.011353 و با دفتر کل اختصاصی خود اجرا کرد. این مدل 60 حملهی قوانین فایل در T22 را هم در 134 فراخوانی با هزینهی $0.02136 به انجام رساند که ردیفهای دفتر کل آن درT22-sec-fs-permissions-mac/قرار دارد. - جایگزینها برای سنجش پشته به تنهایی. آزمونهای T03، T10، T15 و T16 روی ماشین مهمان از یک مدل جایگزین با تاخیر ثابت، یا بدون تاخیر استفاده کردند. این زمانها صرفاً هزینهی پشته و پایگاه داده را نشان میدهند. سپس T10، T15 و T16 مجدداً با Qwen3 4B اجرا شدند و بخشهای 5.2، 5.5 و 8.1 فقط همان ردیفها را نمایش میدهند. T03 مدل جایگزین خود را حفظ کرده است، زیرا عملیات نوشتن چکپوینت (checkpoint) را بدون دخالت مدل میسنجد.
- ثبتکنندهها، پراکسیها و رلههای محلی. یک ثبتکننده روی
127.0.0.1نقش اندپوینت (endpoint) شرکت LangSmith را ایفا کرد. برای اجراهای استریمینگ، یک پراکسی روبهروی Ollama روی تکتک خطوط عبوری برچسب زمانی زد؛ به این ترتیب آزمایشگاه توانست زمان ورود هر توکن را با یک ساعت واحد بسنجد. برای اجراهای تلاش مجدد، یک رله جلوی Ollama اتصالها را قطع میکرد یا معلق نگه میداشت. - یک فرایند جدید برای هر گام. اجراهای مربوط به کرش، تاییدها و دستیار، هر گام را در یک فرایند پایتون جدید آغاز کردند؛ بنابراین هر ازسرگیری در اصل یک راهاندازی مجدد بود.
- کنار گذاشتن اجراهای گرمکردن. هر فایل ردیفهای مربوط به پیشگرمکردن را علامتگذاری کرده و خلاصهها آنها را کنار میگذارند. فایلهای خام این موارد را نگه میدارند.
- یک حساب کاربری LangSmith و بدون لایسنس. آزمون T21 از یک حساب جدید LangSmith با پلن رایگان، از روی مک و متصل به API ابری استفاده کرد. فایلهای نگهداریشده شناسهها را با برچسب جایگزین کردهاند. ما از لایسنس Agent Server استفاده نکردیم. بخش 8.8 مواردی را که به این دلیل کنار گذاشته شدند فهرست میکند.
- نمونههای کوچک. بسیاری از موارد یک یا سه بار اجرا شدند. در هر پاراگراف تعداد دفعات تکرار ذکر شده است و نتیجهی یک تکاجرا صرفاً یک مثال است، نه یک نرخ آماری قطعی.
آزمایشها
| پوشه | سیستم | پرسش | n | نتیجهی اصلی | بخشها |
|---|---|---|---|---|---|
| T01 | مک | سربار create_agent در مقایسه با یک حلقهی سادهی openai چقدر است؟ |
40 اجرای تصادفی از هر یک از 8 برنامه روی Qwen3 4B، به ازای هر ایمپورت 10 بار | در مقدار میانه، 37.6 میلیثانیه خارج از مدل در برابر 25.1 میلیثانیه، و تعداد توکن یکسان در هر درخواست | 3.1، 4.1، 8.3 |
| T02 | مک | آیا یک اثر جانبی (side effect) پس از کرش و ازسرگیری دوباره اجرا میشود؟ | 450 آزمون در پنج نقطهی متوقف کردن فرایند، 30 مورد از آنها هرگز متوقف نشدند | در 80 مورد از 150 آزمون گراف دو بار اجرا شد، و در 0 مورد از 150 تا با وجود کلید. ردیفهای ایجنت آن از یک مدل اسکریپتشده استفاده میکردند و T02 x86 جایگزین آنها شد | 5.3 |
| T02 x86 | مهمان سرور x86 | آیا با حضور یک مدل واقعی در ایجنت، عملیات کسر وجه پس از کرش دو بار اجرا میشود؟ | 1290 آزمون روی Qwen3 4B: به ازای هر حالت 20 بار بدون کلید و با کلید tool_call_id، به ازای هر حالت 5 بار با کلید سفارش |
در 331 مورد از 560 آزمونِ متوقفشده بدون کلید دو بار اجرا شد، 120 مورد از 560 تا با tool_call_id (همگی در حالت exit)، و 0 مورد از 140 تا با وجود کلید سفارش |
5.3، 2.3 |
| T03 | مهمان سرور x86 | با طولانیتر شدن یک ترد (thread)، هزینهی چکپوینت چقدر میشود؟ | 3 اجرا در 10 تا 1000 گام، 1 اجرا در 5000 گام | یک ترد ساده در Postgres در 1000 گام حجمی معادل 292.58 مگابایت گرفت | 5.5 |
| T04 | مک | هر API استریمینگ با چه سرعتی یک توکن را تحویل میدهد؟ | 24 اجرا به ازای هر API روی Qwen3 4B برای پاسخ متنی و فراخوانی ابزار، و 5 بار به ازای هر حلقه روی Qwen3 8B همراه با استدلال | میانهی تاخیر تا اولین توکن برای پاسخ متنی در هشت مورد از نه API بین 1.28 تا 3.46 میلیثانیه بود | 5.1 |
| T05 | مهمان سرور x86 | لایههای تلاش مجدد چند بار تلاش میکنند؟ | 3 اجرا به ازای هر حالت، Qwen3 4B | 9 بار تلاش با فعال بودن هر دو لایه در ChatOpenAI، یک بار با ChatOllama به تنهایی، و ابزاری که تایماوت خورد 3 ردیف در دفتر کل نوشت |
3.2، 4.7 |
| T06 | مک | هر استراتژی خروجی ساختاریافته چند وقت یکبار شکست میخورد؟ | 600 اجرا روی چهار مدل Qwen3، و 75 اجرای استراتژی روی پنج مدل Ollama | استراتژی ToolStrategy در 15٪ تا 45٪ اجراها به ازای هر مدل شکست خورد، و هیچ مدل چتی روی Ollama استراتژی ProviderStrategy را رد نکرد |
4.2 |
| T07 | مهمان سرور x86 | پس از هر تصمیم بازبینی، کدام ابزار اجرا میشود؟ | 25 حالت مدل با Qwen3 4B، هر کدام 3 اجرا. حالتهای G1 و G2 مدلی ندارند و روی مک اجرا شدند | حالت دستهای میتواند ابزارها را عوض کرده و بازبینی را دور بزند، اما حالت به ازای هر فراخوانی جلوی هر دو را گرفت | 6.4، 6.5 |
| T08 | مهمان سرور x86 | آیا فراخوانیهای موازی ابزار واقعاً همزمان اجرا میشوند؟ | 100 حالت ToolNode هر کدام با 5 اجرا، و 12 حالت ایجنت هر کدام با 3 اجرا، Qwen3 4B |
اجرای 16 فراخوانی همگام 200 میلیثانیهای بدون تعیین سقف 264 میلیثانیه طول کشید، و ToolNode ذیل ainvoke پارامتر max_concurrency را نادیده گرفت |
3.4، 4.1 |
| T09 | مک | هر بستر آزمایشی چه تعداد توکن پرامپت ارسال میکند؟ | 27 اجرا روی Qwen3 8B، و 9 مدل درخواست که هر کدام 3 بار شمارش شدند | پرامپت و اسکیمای ابزارهای یک deep agent پیشفرض در نسخهی 0.7.38 بر اساس یک توکنایزر، 57.6٪ کوچکتر از نسخهی 0.6.12 بود | 7.4 |
| T10 | مهمان سرور x86 | یک ترد طولانی با و بدون خلاصهسازی چه رفتاری روی یک مدل واقعی دارد؟ | 1 اجرا به ازای هر حالت، چهار حالت، 200 نوبت گفتوگو، Qwen3 4B | بدون خلاصهسازی، میانهی زمان هر نوبت گفتوگو از 4.7 ثانیه به 11.2 ثانیه رسید تا اینکه در نوبت 88 کانتکست پر شد؛ پس از آن نوبتها بین 5 تا 10 دقیقه طول کشیدند و فکتهای اولیه فراموش شدند. یک فراخوانی خلاصهسازی در مقدار میانه 44 تا 85 ثانیه زمان برد و دو محرک از سه محرک باعث از دست رفتن فکتها شدند | 5.5 |
| T11 | مهمان سرور x86 | هر هوک میانافزار چقدر هزینه تحمیل میکند؟ | 20 سنجش زمانی به ازای هر حالت، Qwen3 4B | بین 0.2٪ تا 0.5٪ از کل یک اجرا، و هزینهی فراخوانی یک هوک نود تقریباً 4 برابر یک هوک پوششی بود | 8.3 |
| T12 | مک | هر خرابی در پروتکل MCP چه تاثیری روی اجرا میگذارد؟ | 1 اجرا به ازای هر مورد، 50 فراخوانی زمانبندیشده به ازای هر بستر انتقال | خطای ابزار تبدیل به یک پیام خطای ToolMessage شد، و کرش سرور کل اجرا را متوقف کرد |
7.3 |
| T13 | مک | سریالایزر چه مواردی را بازسازی میکند، و بارگذار چه مقادیری را میپذیرد؟ | 29 مقدار، و 36 حالت بارگذار (26 مورد پیشفرض و 10 مورد سختگیرانه)، هر کدام 1 اجرا | 20 مقدار قابلیت بازگشتپذیری داشتند، و 5 حالت توانستند کلاس آزمایشگاهی را بسازند | 5.6، 8.4 |
| T14 | مک | آیا فضاهای نامی کاربران یک حافظه را از هم جدا نگه میدارند؟ | 8 کاربر روی سه حافظه، 1 اجرا به ازای هر کوئری | 24 جستجو از 24 مورد کاملاً در محدودهی همان کاربر باقی ماندند | 5.4، 8.4 |
| T15 | مهمان سرور x86 | دستورهای langgraph dev و langgraph up دقیقاً چه میکنند؟ |
1 اجرا به ازای هر تنظیمات با گرافهای بدون مدل، و 104 اجرای بارگذاری، 40 اجرای پایهای، و 4 اجرای بازگشتی با Qwen3 4B | به طور پیشفرض 1 وظیفه به ازای هر ورکر، 0.6 تا 1 ثانیه زمان اضافه به ازای هر اجرا، و 0.22 اجرا در ثانیه با 1 یا 10 وظیفه | 8.1 |
| T16 | مهمان سرور x86 | یک AsyncPostgresSaver همراه با مدل واقعی میتواند به چند ترد پاسخ دهد؟ |
2 اجرا به ازای هر حالت، بین 1 تا 64 ترد، Qwen3 4B | بین 0.42 تا 0.44 فراخوانی مدل در ثانیه در همهی حالتها از 4 ترد به بالا، مقدار p50 متد aput زیر 5 میلیثانیه، و نرخ پردازش یکسان با یک اتصال یا استخری از 20 اتصال |
5.2 |
| T17 | مک و مهمان سرور x86 | آیا محدودیتهای بازگشتی و قابلیت بازپخش دقیقاً طبق مستندات عمل میکنند؟ | 1 اجرا به ازای هر حالت گراف روی مک، 3 اجرا به ازای هر حالت ایجنت با Qwen3 4B روی ماشین مهمان | یک گراف در گام 10007 متوقف شد، و یک ایجنت با محدودیت 25 توانست 13 فراخوانی مدل انجام دهد | 1.3، 6.6، 6.8 |
| TRC | مک | ردگیری محاسبات چقدر هزینه دارد، و هنگام خرابی اندپوینت چه اتفاقی میافتد؟ | 60 اجرای متناوب به ازای هر وضعیت روی Qwen3 4B، و 50 اجرا به ازای هر وضعیت اندپوینت | 26.3 میلیثانیه خارج از مدل با ردگیری محاسبات روشن در برابر 17.7 میلیثانیه با ردگیری خاموش، و معطل ماندن پروسهی خروج به مدت 10 تا 17 ثانیه به خاطر خرابی اندپوینت | 7.6 |
| T18 | مهمان سرور x86 | تابع evaluate(upload_results=False) همراه با کلاینت پیشفرض چه دادههایی میفرستد؟ |
5 فرایند به ازای هر حالت، پنج حالت، یک ایجنت با مدل Qwen3 4B | یک درخواست GET /info در هر فرایند، و ارسال 7 اجرای ایجنت هدف در قالب سه multipart post |
7.7 |
| T19 | مهمان سرور x86 | پلاگین pytest برای langsmith چه دادههایی ارسال میکند؟ |
3 فرایند به ازای هر وضعیت، نه وضعیت، یک تست ایجنت با Qwen3 4B | با رهگیری روشن و بدون متغیرهای محیطی، هر اجرا با هاست پیشفرض ارتباط گرفت. با خاموش بودن رهگیری و ردگیری محاسبات، چیزی ارسال نشد. با رهگیری خاموش و ردگیری محاسبات روشن، هر فرایند یک GET /info و سه درخواست POST /runs/multipart فرستاد |
7.7 |
| T20 | مک | استخراج ورودی، خطای دارای محتوای ساختاریافته و گزارش پیشرفت، در langchain.mcp چطور رفتار میکنند؟ |
3 اجرا به ازای هر مورد، 27 مورد، بدون مدل: حالتهای ایجنت از یک مدل گفتوگوی ساختگی استفاده میکنند | پاسخ به یک سوال باعث شد ابزار 3 بار اجرا شود، و نتیجهی خطا محتوای ساختاریافتهی خود را از دست داد. این رفتارها ناشی از سرور و تطبیقدهنده هستند | 7.3 |
| T21 | مک، متصل به API ابری LangSmith | ردگیری محاسبات، تابع evaluate، پلاگین pytest، هاب پرامپت و langgraph dev روی یک اکانت واقعی چه عملکردی دارند؟ |
30 اجرای دارای ردگیری محاسبات و 30 اجرای بدون ردگیری از یک ایجنت Qwen3 4B، سه اجرای محلی، 10 مثال به ازای هر حالت evaluate، هشت فرایند pytest، و 5 اجرای سرور |
ردگیری محاسبات 5.9 میلیثانیه در مقدار میانه اضافه کرد، و upload_results=False توانست 70 اجرای ایجنت را بدون ریشه ذخیره کند |
7.6، 7.7، 8.1 |
| T22 | مک، و API انتروپیک از روی مک | لیست قوانین ابزار Deep Agents جلوی کدام فراخوانیهای فایل را میگیرد؟ | 8 لیست قوانین و 28 فراخوانی، یک اجرا به ازای هر حالت با فراخوانندهی اسکریپتشده و بدون مدل، و 20 پرامپت خصمانه تحت 3 لیست قوانین، یک اجرا به ازای هر حالت، روی Qwen3 8B و Claude Haiku 5.5 | 22 فراخوانی که لیست قوانین مستندات برای مسدود کردنشان نوشته شده بود اجرا شدند؛ همگی روی فایلهای نقطهدار (dotfiles). با لیست حساس به نقطه، در 40 اجرا از 40 اجرا هیچ تغییری روی دیسک رخ نداد و رازی فاش نشد | 8.4 |
| T23 | مک | آیا یک فضای نامی ثابت در StoreBackend فایل حافظهی یک کاربر را در اختیار کاربر دیگر میگذارد؟ |
10 نشست برای هر یک از 4 ساختار روی 2 حافظه، Qwen3 8B، و یک بار اجرای پروبهای خام روی هر حافظه | فکتوریِ پیشنهادیِ مستندات در 20 نشست از 20 نشست کدهای آلیس را به باب تحویل داد، اما فکتوری اختصاصی به ازای هر کاربر در 0 نشست از 20 تا این کار را کرد | 5.4، 8.4 |
| B2 | مک، و API انتروپیک از روی مک | آیا پروفایل بستر، ابزار ارزیابی، یا مصحح مبتنی بر شیوهنامهی نمرهدهی تغییری در امتیاز deep agent ایجاد میکنند؟ | پروفایلها روی 99 و 30 وظیفه با Qwen3 4B و 8B، ابزار ارزیابی روی 39 وظیفه با چهار مدل، مصحح روی 25 وظیفه، یک اجرا به ازای هر وظیفه | پروفایل B عملکرد Qwen3 4B را از 2 به 14 وظیفه در 20 وظیفهی کار با فایل رساند و مجموع آن را روی 55 از 99 نگه داشت؛ هیچ مدلی از ابزار eval سود نبرد، و مصحح در 12 اجرای ناموفق اعلام رضایت کرد | 7.4، 4.6 |
| MA | مک، و API انتروپیک از روی مک | کدامیک از پنج الگوی چندایجنت مجموعهی آزمون را پاس میکند و با چه هزینهای؟ | 30 وظیفه، یک اجرا به ازای هر وظیفه، روی Haiku و Qwen3 14B، و مقایسهی Claude Agent SDK در برابر deep agent روی Haiku | مدل Haiku در چهار الگو نمرهی کامل 30 از 30 را گرفت و سابایجنتها 2.9 برابر ایجنت تکی هزینه داشتند؛ Qwen3 14B موفق شد بین 15 تا 22 وظیفه از 30 تا را پاس کند | 6.7، 1.2 |
sql-agent |
مک | آیا ایجنت SQL فقط با تایید پاسخ میدهد و تغییرات را مینویسد؟ | 15 حالت حفاظتی و 5 سوال، 1 اجرا روی Qwen3 4B و 1 اجرا روی Qwen3 8B | هر دو مدل به 5 سوال از 5 سوال پاسخ درست دادند، و حذفهای ردشده هیچ ردیفی را تغییر ندادند | 4.9 |
retrieval-agent |
مک | آیا ایجنت بازیابی به منابع خود ارجاع میدهد؟ | 5 سوال، 1 اجرا به ازای هر مدل | بخش 7.2 پاسخها را به تفصیل آورده است | 7.2 |
assistant |
مک | آیا دستیار پس از تایید ایمیل و در صورت کرش سالم میماند؟ | 2 اجرا از هفت گام، به ازای هر حالت پایداری یک اجرا | بازبین دو بار تایید کرد، و کلید باعث شد در صندوق خروجی فقط یک ایمیل بماند | 5.7 |
deep-agent |
مک | یک deep agent به همراه سابایجنت چه ترافیکی ارسال میکند؟ | 1 اجرا روی Qwen3 8B | 24300 توکن پرامپت در 7 فراخوانی مدل | 7.5 |
failure-drill |
مهمان سرور x86 | هر یک از خرابیهای ذکرشده در مستندات چه خروجیای میدهند؟ | 3 اجرا از هفت حالت با Qwen3 4B | هر اجرا بین 101 تا 103 ثانیه زمان برد | 8.7 |
chat-ui-mac |
مک | رابط کاربری Agent Chat UI چه دادههایی به Agent Server میفرستد، و تایپ کردن پیام چه تاثیری روی تایید معلق دارد؟ | 15 اجرای Qwen3 4B در یک نشست مرورگر بدون واسط گرافیکی (headless): تایید، ویرایش و رد هر کدام یک بار، ارسال پیام متنی روی تاییدیه یک بار در هر حالت، و 3 سوال ساده برای سنجش اولین توکن | پیام تایپشده تاییدیه را در 2 مورد از 2 آزمون موفق بست، و مدل گفت ایمیل را فرستاده است. تایید به ازای هر فراخوانی هیچ کنترلی روی تصمیم نشان نداد | 8.2 |
internals |
مهمان سرور x86 | محیط اجرا در هر سوپرگام، ذخیرهسازی، ازسرگیری و استریمینگ چه عملکردی دارد؟ | ردگیریهای محاسبات روی Qwen3 4B، پنجاه آزمون کرش به ازای هر حالت در دو اجرا، 30 اجرای سنجش هزینه برای هر حالت، 100 رفتوبرگشت رشد داده، و 5 اجرا به ازای هر حلقه روی Qwen3 8B | وظیفهای که تازه بازگشته بود در 97 مورد از 100 آزمونِ sync و 95 مورد از 100 آزمونِ async مجدداً اجرا شد، و کل فریمورک زیر 0.5٪ از زمان یک اجرا را مصرف کرد |
2.1 تا 2.6 |
bench |
مک و API انتروپیک | آیا بستر آزمایشی تغییری در درستی پاسخهای ایجنت ایجاد میکند؟ | 99 وظیفه روی Qwen3 4B، Qwen3 8B و Claude Haiku 5.5، و 30 وظیفه روی چهار مدل دیگر، یک اجرا به ازای هر وظیفه | حلقهی ساده، create_agent و StateGraph روی 60 وظیفهی محلی از 60 تا اجراهای کاملاً یکسانی داشتند، و Claude تمام وظایف را هم در حلقهی ساده و هم به عنوان deep agent با موفقیت پاس کرد |
1.2، 4.3، 4.4، 7.4 |
prodapp-mac |
مک، و API انتروپیک از روی مک | سرویس FastAPI مبتنی بر create_agent همراه با Postgres در مواجهه با مدلهای واقعی، کرشها، خطاها و بار کاری چه رفتاری دارد؟ |
27 تست در 3 اجرا روی Qwen3 4B و 3 اجرا روی Qwen3 14B، و 20 ارزیابی یک بار روی Claude Haiku 5.5. همچنین 10 آزمون کرش برای هر فرمت ازسرگیری، 5 آزمون برای قطعی اتصال و تخلیه، و یک اجرای بار کاری برای هر حالت. اجراهای ترمیمی: 6 ارزیابی استرداد وجه در 3 اجرا روی هر دو مدل Qwen، تست کرش در 3 اجرا روی هر کدام، 3 آزمون کرش روی Qwen3 4B، و اجرای یکبارهی بار 50 کاربره | پس از 20 بار متوقف کردن فرایند از 20 بار، تاییدیه دوباره در حالت معلق قرار گرفت، کلید باعث شد فقط یک تراکنش استرداد وجه بماند، و 1، 2 و 4 ورکر نرخ پردازش یکسانی ارائه دادند. پس از اعمال اصلاحات، ردیف 0 سنتی در 6 اجرا از 6 اجرا حذف شد، و ضربان قلب نگذاشت هیچیک از 200 درخواست تایماوت بخورند | 9.1 تا 9.7 |
last-two-mac |
مک | استراتژی ToolStrategy بدون حضور هیچ ابزاری چه میکند، و create_agent چند بایت به درخواست اضافه میکند؟ |
40 اجرا روی Qwen3 4B، ده اجرا روی Qwen3 0.6B، و 5 بار ضبط درخواست به ازای هر برنامه | خطای 400 از سمت Ollama در 40 اجرا از 40 اجرا روی Qwen3 4B، و افزودن 7 تا 17 بایت به هر درخواست که در دفتر کل ثبت شده است | 4.2، 8.3 |
نامگذاریها دقیقاً بر اساس برنامهی پژوهش و بدون هیچ فاصلهای انجام شدهاند. T01 تا T17 تستهای برنامهریزیشده هستند و TRC تست مربوط به ردگیری محاسبات است. T18 تا T20 اجراهای بعدی برای بخشهای 7.3 و 7.7 محسوب میشوند، و T21 اجرای مربوط به حساب کاربری برای بخشهای 7.6، 7.7 و 8.1 است. T22 و T23 اجراهای مربوط به قوانین فایل Deep Agents و فضاهای نامیِ حافظه برای بخشهای 5.4 و 8.4 هستند. chat-ui-mac اجرای Agent Chat UI برای بخش 8.2 است.
پنج پوشهی نمایشی در واقع مثالهای عملی بخشهای 4.9، 5.7، 7.2، 7.5 و 8.7 هستند. پوشههای internals، bench، T02 x86 و last-two-mac مربوط به اجراهای دور دوم هستند که پای یک مدل واقعی را به تمام نتایج باز کردند. prodapp-mac سرویس محیط عملیاتی بخش 9 است.
محتویات پوشهی آزمایشگاه
پوشهی آزمایشگاه برای هر ردیف از جدول بالا یک پوشه دارد، بهاضافهی پوشهی summary. تعداد 13 ردیف، پوشهی قدیمیترِ مربوط به سیستم مک را هم نگه داشتهاند: T01، T02، T04، T05، T06، T07، T08، T11، T17، T18، T19، TRC، و مانور خرابی. فایل راهنمای متنی (README) آزمایشگاه مشخص میکند که اجراهای سرور x86 جایگزین کدامیک از این ردیفها شدهاند. ردیفهای مربوط به T10، T15 و T16 پوشهی مدل جایگزین قدیمی خود را در کنار پوشهی دور دوم که با پسوند -real مشخص شده حفظ کردهاند.
- دادههای خام ضبطشده. هر پوشهی آزمایش، فایلهای مربوط به اجرای خود را بدون تغییر و در قالب لاگها، متنها و خطوط JSON نگه میدارد. لاگهای طولانی به صورت گزیدههایی نگهداری میشوند که تکتک خطوطشان دستنخورده باقی مانده است.
- اسکریپتها. بسیاری از پوشهها اسکریپتهای آزمایشگاهیِ تولیدکنندهی خود را نگه داشتهاند و فایل README آزمایشگاه نام آنها را آورده است. پوشههای دمو خروجی اسکریپت
run.shدر مسیرcapture/demos/را در خود دارند. - خلاصهها. اسکریپت
capture/run.pyیک خلاصه برای هر مجموعه داده محاسبه کرده و در پوشهیsummary/قرار میدهد. هر نمودار از یک یا دو مورد از این 48 فایل خلاصه یا خلاصهی بنچمارک داده میخواند و تمام اعدادِ اندازهگیریشده از دل آنها بیرون آمدهاند. سرویس محیط عملیاتی ده خلاصهی دیگر را در پوشهی اختصاصی خود نگه میدارد وcapture/labsum.pyآنها را از روی اجراهای خام بازسازی میکند. - فهرست تغییرات. فایل README در پوشهی آزمایشگاه، تکتک فایلهایی را که حذف کرده، کنار گذاشته یا تغییر دادهایم، همراه با دلیل آن مشخص میکند.
هیچ فایلی حاوی کلید دسترسی، توکن یا نام اشخاص حقیقی نیست. تنها نامهای هاست استفادهشده 127.0.0.1 و هاستهای عمومی هستند که در درخواستهای ثبتشده و پیامهای خطا به آنها اشاره شده است، مانند api.smith.langchain.com. آدرسها و اسامی موجود در ورودیهای تست کاملاً ساختگیاند.
ابزار ثبت عینی
ابزار ثبت عینی پشته را در قالب یک فرایند پایتون و بدون نیاز به کلیدهای API اجرا میکند. این ابزار 56 فایل در مسیر capture/out/ مینویسد و تکتک قطعهکدها و خروجیهای این راهنما مستقیماً از دل یکی از همین فایلها بریده شده است.
- 19 فایل بدون نیاز به مدل. این فایلها هیچ مدلی را صدا نمیزنند و نسخهها، پیامها، اسکیماهای ابزار، ساختار گراف، و متون Mermaid تمام گرافهایی را که در راهنما رسم شده پوشش میدهند. این موارد پایداری، وقفهها، کاهندهها، functional API، زیرگرافها، کنترلکنندههای خطا و محدودیت بازگشتی را هم در بر میگیرند و در هر بار اجرا دقیقاً بایتهای یکسانی تولید میکنند.
- 36 فایل ضبطشده و یک فایل جانبی. تعداد 34 مورد از این فایلها از کلاس
ChatOllamaروی مدلqwen3:4b-instruct-2507-q4_K_Mبا دمای 0، مقدار seed برابر 42، پارامترnum_ctxبرابر 16384 وnum_predictمعادل 512 استفاده میکنند. فایلهای مربوط به حافظه، بازیابی و ایجنت بازیابی، کلاسOllamaEmbeddingsرا رویnomic-embed-textصدا میزنند و دو مورد از آنها اصلاً مدل چت را فراخوانی نمیکنند. ما این موارد را روی مهمان سرور x86 و فقط با تکیه بر CPU در تاریخ 2026-11-14 ضبط کردیم. اولین خط زیر عنوان هر بخش، نام مدلها، تنظیمات، سیستم مجری و تاریخ را ثبت کرده است.
هیچ سناریویی از مدل چت ساختگی استفاده نمیکند. خرابیها ناشی از خطای یک ابزار، تلاش برای اتصال به پورتی که باز نیست، یا رلهای است که اتصال را قطع میکند. میانافزار تصمیمگیری از طریق یک تطبیقدهندهی کوچک در ابزار ثبت عینی، از Qwen3 4B سوال میپرسد. در هیچ سناریویی از امبدینگ ساختگی استفاده نشده است؛ سناریوهای مربوط به حافظه و بازیابی، امبدینگ را از طریق nomic-embed-text روی سرور Ollama ماشین مهمان انجام میدهند.
cd manuals/langchain-101
python3 capture/run.py --model-free
python3 capture/run.py --check
python3 capture/run.py --check --live
دستور اول فایلهای بدون نیاز به مدل و خلاصههای آزمایشگاهی را به شکل آفلاین ثبت میکند. اجرای سادهی python3 capture/run.py تمام فایلها را مینویسد و به Ollama احتیاج دارد.
دستور بررسی (check)، سناریوهای بدون نیاز به مدل را دوباره اجرا کرده و تطابق بایت به بایت تکتک فایلها را میسنجد. این دستور برای هر فایلِ ثبتشده، خط مربوط به مدل و رشتههایی را که این راهنما به آنها استناد کرده بررسی میکند؛ این رشتهها مواردی چون نوع پیامها، نام ابزارها و متون خطاها را در بر میگیرند. سپس دوباره خلاصهها را محاسبه کرده و تطبیق میدهد. این اسکریپت یک خط skipped برای سناریوهای ضبطشده و یک خط دیگر برای اجراهای آزمایشگاهی چاپ میکند. با اضافه کردن فلگ --live، سناریوهای متکی بر مدل مجدداً در یک پوشهی موقت ضبط شده و ساختار یکسان آنها بررسی میشود.
اجرای مجدد آزمایشها روی سیستم شما
- محیط مجازی ابزار را با استفاده از پایتون 3.13 از روی
capture/requirements.txtبسازید. - پلتفرم Ollama را نصب کرده، مدلهای Qwen3 را pull کنید و برای آزمایشهایی که به دیتابیس نیاز دارند PostgreSQL را اجرا نمایید.
- اسکریپت یکی از آزمایشها را از داخل پوشهای که آن را در خود دارد اجرا کنید. هر اسکریپت فایلهای مربوط به پوشهی خود را مینویسد.
- دستور
python3 capture/run.pyرا از پوشهی اصلی راهنما اجرا کنید تا خلاصهها دوباره محاسبه شوند.
زمانهای به دست آمده روی سیستم شما با زمانهای ما فرق خواهد داشت، و کلمات خروجیِ مدل نیز ممکن است تفاوت کنند. اما انواع پیامها، متون خطاها، چکپوینتها و ترتیب رخدادها نباید هیچ فرقی داشته باشند. اگر یکی از این موارد در نسخههای تثبیتشده متفاوت باشد، ادعایی از این راهنما به ویژگیهای خاص سیستمهای ما وابسته بوده است.
منابع: manual.json (نسخههای تثبیتشده، منابع)؛ capture/README.md، capture/run.py، capture/requirements.txt، capture/lab/README.md، capture/lab/x86-guest-machine.txt؛ capture/lab/summary/crash-resume-x86.json، capture/lab/T02-crash-resume-x86/10-summary.txt، capture/lab/internals/03-checkpoint/crash.txt، capture/lab/internals/08-costs/breakdown.json، capture/lab/bench/summary-mac.json، capture/lab/bench/runs/cost-ledger.jsonl، capture/lab/last-two-mac/09-summary.txt، capture/lab/prodapp-mac/summary/، capture/lab/prodapp-mac/runs/cost-ledger.jsonl؛ capture/lab/summary/overhead-mac.json، capture/lab/summary/overhead-mac-real.json، capture/lab/summary/crash-resume-mac.json، capture/lab/summary/checkpoint-cost-x86.json، capture/lab/summary/streaming-mac.json، capture/lab/summary/streaming-mac-real.json، capture/lab/summary/retries-mac.json، capture/lab/summary/structured-output-mac.json، capture/lab/summary/structured-output-mac-real.json، capture/lab/summary/approvals-mac.json، capture/lab/summary/parallel-tools-mac.json، capture/lab/summary/tokens-mac.json، capture/lab/summary/long-threads-x86.json، capture/lab/summary/long-threads-x86-real.json، capture/lab/summary/concurrency-x86-real.json، capture/lab/summary/agent-server-x86-real.json، capture/lab/T02-crash-resume-x86/lr_common.py، capture/lab/summary/middleware-mac.json، capture/lab/summary/mcp-mac.json، capture/lab/summary/serde-mac.json، capture/lab/summary/stores-mac.json، capture/lab/summary/agent-server-x86.json، capture/lab/summary/concurrency-x86.json، capture/lab/summary/recursion-mac.json، capture/lab/summary/tracing-mac-real.json، capture/lab/summary/langsmith-account-mac.json، capture/lab/summary/evaluate-mac.json، capture/lab/summary/pytest-plugin-mac.json، capture/lab/summary/mcp-edges-mac.json، capture/lab/summary/demos-mac.json، capture/lab/summary/retries-x86.json، capture/lab/summary/approvals-x86.json، capture/lab/summary/parallel-tools-x86.json، capture/lab/summary/middleware-x86.json، capture/lab/summary/recursion-x86.json، capture/lab/summary/replay-fork-x86.json، capture/lab/summary/evaluate-x86.json، capture/lab/summary/pytest-plugin-x86.json، capture/lab/summary/failure-drill-x86.json؛ پاراگرافهای اندازهگیریشده در بخشهایی که در هر ردیف لینک شدهاند.