روی فراخوانی ابزارها (tool calls)، سطرهای پایگاهداده و وضعیت ریسه (thread state) اعتبارسنجی قطعی (assert) بگذارید، و این مجموعه آزمون را روی هر مدلی که مستقر میکنید اجرا کنید؛ چرا که سه مدل واقعی در موارد متفاوتی از یک مجموعهی واحد رد شدند.
20 آزمون گفتوگوی شما در برابر مدلی اسکریپتشده با موفقیت پاس میشوند. سرویس را به سمت یک مدل واقعی هدایت میکنید و ناگهان هفت تای آنها رد میشوند. بخشی از این خطاها تقصیر مدل است؛ اما بخشی دیگر تقصیر خود آزمون است که به قلقهای مدل اسکریپتشده خو گرفته بود.
پس از پایان این بخش، میتوانید ارزیابیهایی (evals) بنویسید که وضعیت را بررسی کنند نه لحن و نگارش را؛ میتوانید خطای مدل را از خطای آزمون تمیز دهید و مشخص کنید کدام موارد باید جلوی استقرار (deploy) را بگیرند.
یک ارزیابی چه چیزهایی را بررسی میکند
ارزیابی: یک گفتوگوی اسکریپتشده در برابر سرویسِ در حال اجرا، به همراه اعتبارسنجیهایی (assertions) دربارهی کارهایی که سرویس انجام داده است. سرویس تحت آزمون، همان برنامهی واقعی FastAPI به همراه Postgres است؛ تنها چیزی که از یک اجرا به اجرای دیگر تغییر میکند مدل است.
@case
async def refund_approved_once(c, t, x):
order = f"ORD-{c.user}-1"
events = await c.say(t, f"Please refund {order}")
[pending] = interrupts(events)
assert (pending["name"], pending["args"]["order_id"], pending["args"]["amount_cents"]) == ("refund_order", order, 12900)
assert await refunds(x.sql, order) == []
await c.approve(t)
assert await refunds(x.sql, order) == [{"amount_cents": 12900}]
assert finished(await c.state(t))هر اعتبارسنجی سراغ چیزی میرود که مدل نتواند آن را به شکل دیگری بیان کند. مورد اول وقفهای (interrupt) را میخواند که استریم ارسال کرده، به همراه نام ابزار و آرگومانهای آن. مورد دوم و سوم جدول refunds را پیش و پس از تأیید میخوانند. آخرین مورد، وضعیت ریسه را میسنجد: نبودِ نود بعدی، نبودِ وقفهی معلق، و یک پیام نهایی از مدل بدون هیچ فراخوانی ابزاری.
سایر موارد نیز از همین قاعده پیروی میکنند. یک مورد مربوط به FAQ بررسی میکند که آیا search_faq اجرا شده و نتیجهاش شناسه مدخل درستی دارد یا نه. یک مورد مربوط به خطا، اسپنهای OpenTelemetry آن اجرا را میخواند؛ همانطور که در بخش 9.4 آمده است. دو بررسی هم متن را میخوانند که هر دو رشتههایی دقیق هستند و بههیچوجه نباید ظاهر شوند: نام کالای یک مشتری دیگر، و کد درب ورودیِ کاربری دیگر.
یک مجموعه آزمون، سه مدل
ما 27 آزمون این سرویس را روی سیستم Mac سنجیدیم: سه بار با Qwen3 4B و سه بار با Qwen3 14B از طریق Ollama. هر دو با دمای 0 و سید (seed) 42 اجرا شدند. مدل Claude Haiku 5.5 بیست ارزیابی را یک بار اجرا کرد. هفت آزمون دیگر سرورهایی راه میاندازند و درخواستهای پرتعدادی میفرستند، و بودجهی فراخوانیهای Anthropic ما فقط کفاف ارزیابیها را میداد. مدل پشتیبان (backup model) برای اجراهای 4B مدل Qwen3 8B بود و برای بقیه Qwen3 4B.
| مدل | تعداد اجرا | آزمونها در هر اجرا | قبولی در هر اجرا |
|---|---|---|---|
| Qwen3 4B | 3 | 27 | 16، 16، 16 |
| Qwen3 14B | 3 | 27 | 22، 21، 21 |
| Claude Haiku 5.5 | 1 | 20 | 20 |
شکل 9.6 تمام آزمونهای همهی اجراها را در یک شبکه نمایش میدهد.
چرا هر مورد رد شد
ما رویدادهای استریم، وضعیت ریسه و سطرهای پایگاهداده را برای تکتک موارد ناموفق بررسی کردیم. هر شکست یک علت مشخص دارد و این علتها در دو دسته جای میگیرند.
| علت | نوع | Qwen3 4B | Qwen3 14B | Claude Haiku 5.5 |
|---|---|---|---|---|
| مبلغ و دلیل را خواست و هیچ بازپرداختی پیشنهاد نداد | مدل | 3 مورد | هیچ | هیچ |
بدون خواندن سفارش، مبلغ amount_cents را از خودش 10000 درآورد |
مدل | هیچ | 3 مورد | هیچ |
مقدار amount_cents را 0 پیشنهاد داد و تأییدکننده هم آن را تأیید کرد |
مدل | 1 مورد | 1 مورد | هیچ |
| بهجای بازپرداخت، تیکت باز کرد | مدل | 1 مورد | هیچ | هیچ |
save_note را فراخوانی نکرد |
مدل | 2 مورد | هیچ | هیچ |
بدون search_faq پاسخ داد |
مدل | 1 مورد | هیچ | هیچ |
| ارسال تأییدیه، پس از آنکه هیچ بازپرداختی پیشنهاد نشد | آزمون | 2 مورد | هیچ | اجرا نشد |
| محدودیت زمانیای که مدل اسکریپتشده را فرض گرفته بود | آزمون | 1 مورد | 1 مورد | هیچ |
| سرور uvicorn استریم را در 10 ثانیه بست و اجرا در فاز تخلیه تمام شد | آزمون | هیچ | 1 مورد در 2 اجرا از 3 تا | اجرا نشد |
درون یک مدل، علتهای خطا از اجرایی به اجرای دیگر تغییر نکرد. مدل Qwen3 4B در هر 3 اجرا دقیقاً در همان 11 آزمون رد شد. مدل Qwen3 14B در هر 3 اجرای خود در همان چهار ارزیابی و آزمون کرش رد شد.
خطاهای مدل دقیقاً همان نتایجی هستند که این مجموعه آزمون برای پیدا کردنشان طراحی شده است. مدل Qwen3 4B تا مشتری مبلغ و دلیلی ارائه نمیکرد حاضر به فراخوانی refund_order نبود. مدل Qwen3 14B بیدرنگ آن را فراخوانی کرد، آن هم با مبلغی از پیش خودساخته. تابع refund_order مبلغ 10000 سنت را برای سفارشی به مبلغ 8900 سنت رد کرد؛ بنابراین پولی جابهجا نشد. اما برای سفارشی به مبلغ 12900 سنت، همین حدسِ سرخود مبلغ اشتباهی را بازپرداخت میکرد.
مدل Claude Haiku 5.5 در هر 5 مورد مربوط به بازپرداخت، سفارش را پیش از پیشنهاد بازپرداخت خواند. سه بار آن را در همان نوبت گفتوگو (turn) و دو بار در نوبتهای قبلی ریسه خواند. هر بار هم مبلغ کل سفارش را پیشنهاد داد.
مورد بازپرداخت صفر سنتی نکتهای است که باید به خاطر سپرد. هر دو مدل Qwen مقدار amount_cents را برای Refund ORD-e19-3 صفر پیشنهاد دادند. آزمون هم درست مثل یک انسان سهلانگار آن را تأیید کرد و ابزار، سطری با بازپرداخت 0 سنت در پایگاهداده نوشت. در بخش 9.3 رکورد مربوطه و دو راهکار اصلاحی آمده است. با اعمال آنها، سطر 0 سنتی در هر 6 بار اجرای مجدد ناپدید شد، هرچند نرخ قبولی ارزیابیهای بازپرداخت تغییری نسبت به قبل نکرد.
بررسیهای وضعیت یک نقطهی کور دارند و Claude Haiku 5.5 همان را آشکار کرد. پس از ثبت بازپرداخت تأییدشده، مدل به مشتری گفت: منتظر تأیید انسانی است، بنابراین هنوز نهایی نشده است. سطر پایگاهداده وجود داشت، آزمون پاس شد، اما پاسخ کاملاً غلط بود. حتماً نمونهای از پاسخها را دستی بررسی کنید، یا برای ادعاهایی که برایتان اهمیت دارند آزمون جداگانهای بنویسید.
آزمونهایی که رفتار مدل اسکریپتشده را فرض گرفته بودند
سه شکست مربوط به خود آزمونها بود. آزمون کرش و آزمون LangSmith درخواست بازپرداخت میدادند و بلافاصله بدون بررسی، درخواست تأیید میفرستادند. وقتی مدل هیچ بازپرداختی پیشنهاد نمیکرد، مسیر /approve با کد وضعیت 409 و یک بدنهی JSON پاسخ میداد، و تابع کمکی هم سعی میکرد آن بدنه را بهصورت SSE پارس کند. آزمون با خطای ValueError رد میشد؛ خطایی که هیچ پیامی دربارهی وضعیت واقعی سرویس به ما نمیداد.
آزمون سوم، 3.5 ثانیه پس از شروع اجرا سیگنال SIGTERM میفرستاد و انتظار داشت پردازش هنوز ادامه داشته باشد. مدل اسکریپتشده روی هر فراخوانی 3 ثانیه درنگ میکرد؛ در حالی که Qwen3 4B کل اجرا را ظرف 1.45 ثانیه تمام کرد. مورد hung_tool_times_out روی Qwen3 14B نیز دچار همین نقص بود؛ کل گفتوگو را به 5 ثانیه محدود کرده بود، در حالی که اجرا 11.04 ثانیه طول کشید، با اینکه تایماوت خود ابزار بهدرستی عمل میکرد.
این آزمونها نشتی منابع هم داشتند. هر کدام چند ورکر uvicorn راه میانداختند و فقط در مسیر موفقیتشان آنها را میبستند. پس از شش بار اجرای مدلهای Qwen، هنوز 12 ورکر از آزمونهای ناموفق فعال بودند. با احتساب ورکرِ آزمون بار، پایگاهدادهی lc_prod به 77 اتصال رسیده بود که با بستن آن 12 ورکر، به 17 اتصال کاهش یافت. سرورهای آزمایشی را حتماً در یک بلوک finally یا در یک مجموعهدادهی نمونه (fixture) متوقف کنید.
بنابراین مجموعه آزمون را به دو بخش تقسیم کنید:
- آزمونهای سرویس (Service tests): مواردی را میسنجند که جزو تعهدات سرویس است: قفلها، بررسی دسترسی مالک، بازیابی پس از خرابی، متوقف شدن تمیز (shutdown)، و خاموش ماندن LangSmith. این آزمونها را با درخواستی پیش ببرید که هیچ انتخابی برای مدل باقی نگذارد؛ مثلاً تعیین صریح مبلغ و دلیل. الزام کنید که این آزمونها در تمام اجراها بیکموکاست پاس شوند. در بخش 9.3 و بخش 9.5 کار به همین شیوه انجام شد.
- ارزیابیهای مدل (Model evals): رفتار مدل را در مواجهه با درخواستهای معمولی میسنجند. آنها را روی تکتک مدلهایی که مستقر میکنید اجرا کنید و نرخ قبولی (Pass Rate) هر سناریو را زیر نظر بگیرید.
تکرار آزمون روی مدل محلی
رمزگشایی حریصانه (Greedy decoding) با یک سید ثابت همیشه نتیجهی تکرارپذیر میدهد. سه بار اجرای Qwen3 4B دقیقاً همان 16 آزمون را پاس کردند. بین اجرای اول و دوم، متن گفتوگوی 18 ارزیابی از 20 مورد کلمهبهکلمه یکسان بود. آن دو موردی هم که تفاوت داشتند طولانیترین گفتوگوها بودند: حلقهی تکرار بینهایت و ریسهی ششنوبته؛ که البته فراخوانی ابزارها در آنها هم کاملاً منطبق بود. بنابراین سه بار تکرار آزمون با یک مدل محلی و رمزگشایی حریصانه، عملکرد سرویس را اندازه میگیرد نه مدل را. اگر میخواهید پراکندگی و تنوع نتایج را بسنجید، سید یا دما را تغییر دهید.
جاب CI
فایل deploy/ci.yml در کدهای برنامه، یک جریان کاری است که مجموعه آزمون را با کانتینر سرویس Postgres در هر push اجرا میکند. این فایل زیر مسیر .github/workflows این مخزن قرار نگرفته است. همانطور که نوشته شده، این جریان کاری با مدل اسکریپتشده کار میکند و ما آن را روی GitHub Actions اجرا نکردیم. برای اجرای آن با یک مدل واقعی، متغیر MODEL را تنظیم کنید و کلید دسترسی یا سرویس Ollama را به جاب بدهید. این دو بخش را مجزا نگه دارید: آزمونهای سرویس در هر push، و ارزیابیهای مدل طبق برنامهای زمانبندیشده به همراه یک آستانه (Threshold) برای نرخ قبولی هر سناریو.
منابع: capture/lab/prodapp-mac/summary/evals-mac.json، capture/lab/prodapp-mac/runs/summary/suite-mac.json، capture/lab/prodapp-mac/runs/suite/qwen3-4b/rep-1/pytest.txt، capture/lab/prodapp-mac/runs/suite/qwen3-14b/rep-1/pytest.txt، capture/lab/prodapp-mac/runs/suite/haiku/rep-1/pytest.txt، capture/lab/prodapp-mac/runs/suite/qwen3-14b/rep-1/cases/19-new_message_while_waiting_for_approval.json، capture/lab/prodapp-mac/code/tests/test_evals.py، capture/lab/prodapp-mac/code/tests/conftest.py، capture/lab/prodapp-mac/code/tests/procs.py، capture/lab/prodapp-mac/code/tests/test_durability.py، capture/lab/prodapp-mac/code/deploy/ci.yml، capture/lab/prodapp-mac/code/scripts/causes.json، capture/lab/prodapp-mac/summary/fix-mac.json.