سناریوی رخداد

هر دو ارزیابی رد شدند، بدون آنکه حتی یکی اجرا شده باشد

Two of two evals failed, and none of them ran

  • سطح ۳: ارشد
  • سناریوی رخداد
  • ۲۵ دقیقه

وضعیت

یک جاب شبانه، عملکرد ایجنت فایل‌ها را در برابر دو نشست ذخیره‌شده‌ی ارزیابی (eval sessions) می‌سنجد و از یک مدل محلی به‌عنوان داور استفاده می‌کند. دیشب این جاب عبارت Errors: 2/2 evaluations failed و هزینه‌ی کل صفر را چاپ کرد و جلوی ادغام یک پول ریکوئست (Pull Request) را گرفت. به نویسنده‌ی پول ریکوئست گفته شد که ایجنت دچار پسرفت (Regression) شده است. نویسنده در پاسخ گفت تغییر فقط در حد یک کلمه در دستورالعمل بوده است و گزارش نشست‌ها را خواست، اما هیچ نشستی ثبت نشده بود.

مهندس نوبت پاسخگویی (آنکال) دوباره تلاش کرد؛ این بار فلگ درگاه مدل‌ها (models gateway) را به دستور اضافه کرد و آن را روی آدرسی گذاشت که کانتینرها برای ارتباط با اجراکننده‌ی مدل (model runner) استفاده می‌کنند. این تلاش قبل از اجرای هر چیزی با کد خروج 1 متوقف شد و در آخرین خط آن خطای HTTP 403 دیده می‌شد. در تلاش سوم، همان آدرس در متغیرهای محیطی کانتینرهای ارزیابی قرار داده شد و هر دو ارزیابی اجرا شدند. شما این سه اجرا و دو امتیازی را که از اجرای سوم به دست آمده است بررسی می‌کنید.

نسخه
docker-agent v1.149.0 and sbx v0.47.0
مدل
ai/qwen3:4b through the local model runner, as the subject and as the judge
سخت‌افزار
one Mac, no GPU

شواهد

five-base-urls.txt
title: the base URL of the model runner for each caller
source: manuals/docker-sandboxes-101/sections/6-5-dmr-compose-models-and-the-mcp-gateway-service.md
lines: 34-40
lang: text
note: The host and a container do not share a base URL.
---
| Caller | Base URL | Evidence |
|---|---|---|
| a process on the host | `http://localhost:12434` | [capture](manuals/docker-sandboxes-101/capture/out/25-models.json) |
| a container on Docker Desktop | `http://model-runner.docker.internal` | [capture](manuals/docker-sandboxes-101/capture/out/26-compose-up.txt) |
| a container on Docker Engine | `http://172.17.0.1:12434` | {{docs-dmr DMR REST API}}, not captured |
| a process on the host, through the Docker socket | `http://localhost/exp/vDD4.40` | [capture](manuals/docker-sandboxes-101/capture/out/25-model-status.json), `endpointHost` |
| `docker-agent` inside a sandbox, through its proxy | `http://host.docker.internal:12434` | [capture](manuals/docker-sandboxes-101/capture/out/27-inside-run.txt) |
the-container-variable.txt
title: the third attempt, with the gateway passed to the containers
source: manuals/docker-sandboxes-101/capture/out/22-eval-container-env.txt
lines: 1-20
lang: console
note: Both evals ran. Read what the one remaining failure is about.
---
$ docker-agent eval fixtures/agents/files.yaml fixtures/evals --judge-model dmr/ai/qwen3:4b -c 1 -e DOCKER_AGENT_MODELS_GATEWAY=http://model-runner.docker.internal/engines --output work/eval-results-container-env
Evaluation run: <run>
Loading evaluation sessions...
Validating judge model...
Pre-building 1 container image(s)...
Running 2 evaluations with concurrency 1

✓ Count the lines of README.md ($0.000000)
  ✓ size S
  ✓ tool calls
  ✓ relevance 1/1
✗ List the files in the working directory ($0.000000)
  ✓ size S
  ✓ relevance 1/1
  ✗ tool calls score 0.67
[██████████] 100% (2/2) ✓1 ✗1 (tools ✗1)

✅          Sizes: 2/2 passed (100.0%)
✅     Tool Calls: 83.3% avg F1 (2 evals)
✅      Relevance: 2/2 passed (100.0%)
the-expected-tool-calls.txt
title: the expected tool calls of the list-files eval
source: manuals/docker-sandboxes-101/capture/fixtures/evals/list-files.json
lines: 13-30
lang: json
note: One call to list_directory, and nothing else.
---
    {
      "message": {
        "agent_name": "root",
        "message": {
          "role": "assistant",
          "tool_calls": [
            {
              "id": "call_m101_ls",
              "type": "function",
              "function": {
                "name": "list_directory",
                "arguments": "{\"path\":\".\"}"
              }
            }
          ]
        }
      }
    },
the-extra-call.txt
title: the second tool call the agent made in the list-files eval
source: manuals/docker-sandboxes-101/capture/out/22-eval-run-container-env.json
lines: 314-322
lang: json
note: The eval expected no call after list_directory.
---
              "tool_calls": [
                {
                  "id": "<call-id>",
                  "type": "function",
                  "function": {
                    "name": "shell",
                    "arguments": "{\"cmd\": \"wc -l README.md\", \"cwd\": \".\"}"
                  }
                }
the-first-run-summary.txt
title: the summary block of the first run
source: manuals/docker-sandboxes-101/capture/out/22-eval-run.json
lines: 14-27
lang: json
note: Every total is 0, and sessions is null.
---
  "summary": {
    "total_evals": 2,
    "failed_evals": 2,
    "total_cost": 0,
    "sizes_passed": 0,
    "sizes_total": 0,
    "tools_f1_sum": 0,
    "tools_count": 0,
    "relevance_passed": 0,
    "relevance_total": 0,
    "assertions_passed": 0,
    "assertions_total": 0
  },
  "sessions": null
the-first-run.txt
title: the eval run that blocked the pull request
source: manuals/docker-sandboxes-101/capture/out/22-eval.txt
lines: 1-16
lang: console
note: Read the line under each failed eval before you read the summary.
---
$ docker-agent eval fixtures/agents/files.yaml fixtures/evals --judge-model dmr/ai/qwen3:4b -c 1 --output work/eval-results
Evaluation run: <run>
Loading evaluation sessions...
Validating judge model...
Pre-building 1 container image(s)...
Running 2 evaluations with concurrency 1

✗ Count the lines of README.md ($0.000000)
  ✗ running docker agent in container: container failed: exit status 1 (stderr: Error: failed to get models: docker --config=/root/.docker --context=default model status --json: : exec: "docker": executable file not found in $PATH)
✗ List the files in the working directory ($0.000000)
  ✗ running docker agent in container: container failed: exit status 1 (stderr: Error: failed to get models: docker --config=/root/.docker --context=default model status --json: : exec: "docker": executable file not found in $PATH)
[██████████] 100% (2/2) ✓0 ✗2

❌         Errors: 2/2 evaluations failed

Total Cost: $0.000000
the-gateway-flag.txt
title: the second attempt, with the models gateway on the command
source: manuals/docker-sandboxes-101/capture/out/22-eval-gateway.txt
lines: 1-14
lang: console
note: The failure comes before any eval runs, and it names the judge.
---
$ docker-agent eval fixtures/agents/files.yaml fixtures/evals --judge-model dmr/ai/qwen3:4b -c 1 --models-gateway http://model-runner.docker.internal/engines --output work/eval-results-gateway
Evaluation run: <run>
Loading evaluation sessions...
Validating judge model...


Total Cost: $0.000000
Total Time: <dur>

Sessions DB: $CAPTURE/work/eval-results-gateway/<run>.db
Sessions JSON: $CAPTURE/work/eval-results-gateway/<run>.json
Log: $CAPTURE/work/eval-results-gateway/<run>.log
Error: running evaluations: judge model validation failed: streaming judge response: HTTP 403: POST "http://model-runner.docker.internal/engines/v1/chat/completions": 403 Forbidden 
[exit 1]

سؤال‌ها

  1. اجرای اول می‌گوید دو ارزیابی رد شده‌اند. چه چیزی در خروجی به شما می‌گوید که اصلاً ارزیابی‌ای اجرا شده است یا نه؟
  2. چرا تلاش دوم قبل از اولین ارزیابی متوقف شد، و خطای 403 مربوط به چیست؟
  3. در تلاش سوم یک فلگ تبدیل به یک متغیر محیطی شد. چه کسی این متغیر را می‌خواند و چه کسی نمی‌خواند؟
  4. کدام عدد در اجرای سوم یافته‌ای درباره‌ی رفتار ایجنت است، و ایجنت چه کرد که آن را گرفت؟
  5. گیت بررسی (Gate) را طوری بازنویسی کنید که ارزیابی اجرا‌نشده نتواند پول ریکوئست را به‌عنوان پسرفت مسدود کند.

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام
  1. خط زیر هر حکم ارزیابی را بخوانید. در هر دو ارزیابی دلیل یکسانی ثبت شده است: کانتینر ایجنت با وضعیت خروج 1 با خطا مواجه شد و stderr آن می‌گوید که نتوانسته به مدل‌ها دسترسی پیدا کند، چون فایل اجرایی docker در متغیر مسیر (PATH) پیدا نشده است. ایجنت درون ایمیج ارزیابی، اجراکننده‌ی مدل را از طریق خط فرمان docker جستجو می‌کند؛ در حالی که در ایمیج نسخه‌ی قفل‌شده (pinned)، خط فرمان docker وجود ندارد. ایجنت هرگز به پرامپتی پاسخ نداد و هیچ چیزی ارزیابی نشد.
  2. بخش خلاصه را بخوانید. مقدار failed_evals برابر 2 است و بقیه‌ی شمارنده‌ها 0 هستند: total_cost، sizes_total، tools_count و relevance_total. مقدار sessions نیز null است. حکم رد شدن با مجموع صفر و بدون هیچ نشستی، یعنی ارزیابی هرگز شروع نشده است، نه اینکه عملکرد ایجنت بد بوده باشد.
  3. تلاش با درگاه را بخوانید. این فلگ، آدرس مدل را برای کل دستور تغییر داد. ابتدا داور اعتبارسنجی می‌شود و داور روی سیستم میزبان اجرا می‌شود، نه داخل کانتینر. سیستم میزبان به نامی که مخصوص کانتینر است دسترسی ندارد؛ بنابراین اعتبارسنجی داور با خطای HTTP 403 شکست خورد و دستور قبل از ساخت هر کانتینری با کد 1 خارج شد. خطای 403 مربوط به درخواست داور است، نه ایجنت.
  4. تلاش با متغیر کانتینر را بخوانید. عبارت -e DOCKER_AGENT_MODELS_GATEWAY=... این متغیر را فقط درون کانتینرهای ارزیابی تنظیم می‌کند. داور آدرس میزبان خود را نگه داشت و هر دو ارزیابی اجرا شدند. اندازه‌ها (sizes) نتیجه‌ی 2 از 2 و مرتبط‌بودن (relevance) نتیجه‌ی 2 از 2 را گرفتند و میانگین نمره‌ی F1 فراخوانی‌های ابزار به 83.3 درصد رسید. با این حال یکی از ارزیابی‌ها روی tool calls score 0.67 رد شد.
  5. فراخوانی‌های مورد انتظار و فراخوانی اضافه را بخوانید. ارزیابی list-files منتظر یک نوبت گفت‌وگوی دستیار با یک فراخوانی list_directory است. ایجنت آن فراخوانی را انجام داد، اما بعد از آن یک فراخوانی دوم هم به shell با دستور wc -l README.md فرستاد. یک فراخوانی مورد انتظار، دو فراخوانی واقعی؛ نتیجه F1 برابر 0.67 شد. این تنها عددی در هر سه اجرا است که نکته‌ای درباره‌ی ایجنت می‌گوید: ایجنت یک گام بیشتر از نشست ذخیره‌شده برداشته است.
  6. جدول آدرس‌های پایه را بخوانید. یک اجراکننده‌ی مدل داریم و آدرس پایه‌ی متفاوتی برای هر فراخواننده: فرایند میزبان از localhost:12434 استفاده می‌کند، کانتینر از model-runner.docker.internal استفاده می‌کند و ایجنتِ داخل ساندباکس از طریق پروکسی ساندباکس به آن متصل می‌شود. داور و سوژه‌ی آزمایش در دو محیط جدا اجرا می‌شدند، بنابراین به دو آدرس نیاز داشتند.
نتیجه

مسدود شدن پول ریکوئست ناشی از نقص زیرساخت بود. کانتینرهای ارزیابی راهی برای پیدا کردن اجراکننده‌ی مدل نداشتند و اجرای اول هیچ چیزی را نسنجید. راه‌حل همان دستور سوم است: درگاه را با -e به کانتینرها بفرستید و بگذارید داور روی سیستم میزبان با آدرس اختصاصی خودش بماند. اثبات این موضوع در نتایج همان اجرا است: دو ارزیابی اجرا شدند، اندازه‌ها 2 از 2، مرتبط‌بودن 2 از 2، فراخوانی ابزارها با امتیاز F1 برابر 83.3 درصد، و هزینه‌ای که همچنان صفر ماند؛ چون مدل محلی هزینه‌ای ندارد. روی اجراکننده‌ی محلی، میزان هزینه نمی‌تواند اجرای واقعی را از اجرا نشدن متمایز کند؛ پس مقادیر کل و نشست‌ها را بررسی کنید.

گیت بررسی به دو شکل تغییر می‌کند: اگر تعداد خطا بیشتر از 0 باشد، جاب را به‌دلیل خرابی رد می‌کند، و پسرفت را فقط برای ارزیابی‌هایی گزارش می‌دهد که واقعاً اجرا شده‌اند. امتیاز 0.67 باقی‌مانده هم به یک تصمیم انسانی نیاز دارد: ایجنت بعد از فهرست کردن دایرکتوری، با shell تعداد خطوط را هم شمرده است. اگر این فراخوانی اضافه مطلوب است، باید یک فراخوانی مورد انتظار دوم به نشست ذخیره‌شده اضافه شود. اگر نیست، دستورالعمل تغییر می‌کند. در هر صورت ارزیابی وظیفه‌اش را انجام داده است: شناسایی فراخوانی‌ای که نشست ذخیره‌شده آن را نخواسته بود.

مسیرهای اشتباه رایج
  • «ایجنت دچار پسرفت شده، پول ریکوئست را برگردانید.» هیچ ارزیابی‌ای اجرا نشده بود. هر دو شکست ناشی از خطای کانتینر بودند، تمام مقادیر کل در خلاصه 0 است و sessions مقدارش null است.
  • «فلگ درگاه را به دستور اضافه کنید تا کانتینرها اجراکننده را پیدا کنند.» این فلگ آدرس داور را هم جابه‌جا می‌کند؛ در حالی که داور روی میزبان اجرا می‌شود و به نامِ مخصوص کانتینر دسترسی ندارد. اجرا قبل از شروع هر ارزیابی با 403 متوقف می‌شود.
  • «ایمیج ارزیابی را دوباره بسازید و خط فرمان docker را داخل آن بگذارید.» ایمیج نسخه قفل شده است و کانتینرها آدرس کم داشتند، نه فایل باینری. دستور ارزیابی گزینه‌ی -e را برای رساندن این آدرس در اختیار دارد.
  • «فراخوانی shell را به لیست موارد مورد انتظار اضافه کنید و تمام.» اول تصمیم بگیرید که آیا این فراخوانی اضافه را می‌خواهید یا نه. ارزیابی وجود دارد تا فراخوانی‌ای را که نشست ذخیره‌شده نخواسته است بگیرد.
درس کلی

نتیجه‌ی یک ارزیابی دو لایه دارد: اینکه آیا ارزیابی اجرا شد، و چه امتیازی گرفت. مقادیر کل صفر و نبودِ نشست‌ها می‌گویند لایه‌ی اول شکست خورده است؛ پس همیشه قبل از حکم ارزیابی، خطای زیر آن را بخوانید. در گیت بررسی، خطاها (errors) را از موارد رد شدن (failures) جدا کنید. و به یاد داشته باشید که داور و سوژه‌ی آزمایش می‌توانند در جاهای مختلفی اجرا شوند و برای یک سرویس یکسان، آدرس‌های متفاوتی بخواهند.

کجای دوره آموزش داده می‌شود

بخش ارزیابی این سه تلاش را ثبت کرده است، و بخش اجراکننده‌ی مدل آدرس پایه‌ی مناسب برای هر فراخواننده را مشخص می‌کند.