وضعیت
سرور A2A یک تیم برای اولین انتشار خود آماده است. درگاه انتشار (release gate)، بستهی رسمی انطباق با استاندارد (conformance kit) یعنی a2a-tck را روی تگ 1.0.0.alpha2 در برابر سرور اجرا میکند و برای عبور، نیازمند امتیاز قبولی است. داشبورد، سازگاری کلی را 32.3 درصد نشان میدهد و وضعیت درگاه قرمز است. لید فنی تیکتی با عنوان «رفع 63 مورد خطای بررسیهای JSON-RPC» باز میکند و از شما تخمین زمان میخواهد.
سرورِ زیر تست، ایجنت test-runner خود این ابزار است. شناسنامهی آن، رابطهای JSON-RPC و HTTP+JSON، استریمینگ و اعلانهای push را معرفی کرده و فاقد رابط gRPC است. گزارش دو بار اجرا در همان روز را در دست دارید: اجرای اول با TCK دستنخورده، و اجرای دوم پس از یک تغییر دوخطی در کلاینت JSON-RPC خودِ TCK که پس از اعمال یک اصلاح روی سرور تکرار شده است. وظیفهی شما این است که مشخص کنید کدام شکستها متعلق به سرورند، کدام مربوط به بستهی تست، و درگاه انتشار در واقع چه عددی را باید نشان دهد.
- نسخه
- A2A 1.0.1 with the manual's capture kit (the test-runner, code-reviewer and deployer agents)
- مدل
- no model; the agents are deterministic fixtures
- سختافزار
- one machine, localhost, no network
شواهد
- آمارهای دو بار اجرا، برگرفته از compatibility.json و pytest
- دلیل اجرای دوم: TCK درخواستهای JSON-RPC خود را به کجا POST میکرد
- دو قاعدهی محاسباتی TCK که نحوهی خوانش ارقام را تغییر میدهند
- ده الزامی که روی assertion واقعی رد میشوند، به تفکیک رده
- الزامات push پس از اصلاح، حکم ارزیابی به تفکیک binding
- تنها ایرادی که در این اجرا در سرور پیدا شد و اصلاحیهی آن
- موارد انحراف TCK از مشخصات استاندارد، به ترتیب میزان اثرگذاری
departures-in-order.txt
title: where the TCK departs from the specification, in order of effect
source: manuals/a2a-101/research/tck-run.md
lines: 193-200
lang: text
note: Eight numbered items. The first two explain most of the failures in this run.
---
1. JSON-RPC requests go to `<url>/`, not the card's `url` (`jsonrpc_client.py:104-105, 138-141`; httpx `_merge_url`). Costs 63 of 85 JSON-RPC records in run 1; `main` only follows redirects.
2. The JSON-RPC client sends snake_case parameters (`task_id`, `history_length`, `context_id`, `page_size`, `include_artifacts`) against 5.5's MUST camelCase (`spec:1204`); the REST client sends camelCase. With the fixed kit this is the only reason PUSH-CREATE-001 and the five push requirements behind it fail, and it would have neutralised CORE-HIST-002 and the CORE-LIST filters. Unchanged on `main`.
3. Success and error Content-Type must contain `application/json` (`binding_http_json.py:58-70, 98-110`; checks at `test_transport_behavior.py:260`, `test_error_handling.py:621`, `test_problem_details.py:101`) against 11.1's `application/a2a+json` SHOULD (`spec:2750`). Fails HTTP_JSON-SVC-001 and HTTP_JSON-ERR-001 for a server that follows the specification. Unchanged on `main`.
4. CORE-SEND-003 carries no `expected_error`, so the required `ContentTypeNotSupportedError` is counted as a failure (`core_operations.py:95-122`).
5. The wrong-Content-Type test sends a Python `repr` and expects `-32005` where 9.5 says `-32700` (`test_error_codes.py:219-223`); fixed on `main` (`37d4944`), after which the kit's accepting answer makes the test skip.
6. SHOULD and MAY card-caching tests hard-fail instead of `xfail`/skip (`test_agent_card_caching.py:98, 121, 154, 187`), against the TCK's own `README.md:66-74`.
7. A `pytest.skip()` in a test body is recorded as FAIL (`conftest.py:251-297`); fixed on `main` (`conftest.py:310-318`). Turns 21 skipped requirements into failures in run 2.
8. Latent here, from `tck/requirements/base.py:269-331`: `TaskNotCancelableError` 409 (spec 400, `spec:1183`), `ContentTypeNotSupportedError` 415 (spec 400, `spec:1186`), `InvalidAgentResponseError` 502 (spec 500), and `UNIMPLEMENTED` for three errors the spec maps to `FAILED_PRECONDITION`. The kit uses the spec's codes (`a2a_ref.py:20-33`); the only test that touches these accepted 404 for a nonexistent task (`test_http_status.py:78-104`), and the 415 test skipped.
push-rows.txt
title: the push requirements after the fix, verdict per binding
source: manuals/a2a-101/research/tck-summary.txt
lines: 107-116
lang: text
note: Each line: id, level, verdict per transport, then the verdict the TCK records for the requirement.
---
PUSH-CREATE-001 MUST grpc=SKIPPED,http_json=PASS,jsonrpc=FAIL FAIL
PUSH-CREATE-002 MUST grpc=SKIPPED,http_json=PASS,jsonrpc=FAIL FAIL
PUSH-DEL-001 MUST grpc=SKIPPED,http_json=PASS,jsonrpc=FAIL FAIL
PUSH-DEL-002 MUST grpc=SKIPPED,http_json=PASS,jsonrpc=FAIL FAIL
PUSH-DELIVER-001 MUST grpc=SKIPPED,http_json=FAIL,jsonrpc=FAIL FAIL
PUSH-DELIVER-002 MUST grpc=SKIPPED,http_json=FAIL,jsonrpc=FAIL FAIL
PUSH-DELIVER-003 MUST grpc=SKIPPED,http_json=FAIL,jsonrpc=FAIL FAIL
PUSH-GET-001 MUST grpc=SKIPPED,http_json=PASS,jsonrpc=FAIL FAIL
PUSH-GET-002 MUST grpc=SKIPPED,http_json=PASS,jsonrpc=PASS PASS
PUSH-LIST-001 MUST grpc=SKIPPED,http_json=PASS,jsonrpc=FAIL FAIL
the-kit-defect.txt
title: the one defect the run found in the server, and its fix
source: manuals/a2a-101/research/tck-run.md
lines: 183-187
lang: text
note: Read which binding lacked which routes, which rule of the specification that breaks, and how the repeat run verified the fix.
---
None remaining at MUST level.
One was found in the pre-fix run 2 and is recorded here because run 1 still shows it. **The HTTP+JSON binding did not serve the four push-notification-config operations.** The pre-fix `Handler.rest()` routed `message:send`, `message:stream`, `tasks`, `tasks/{id}`, `tasks/{id}:subscribe`, `tasks/{id}:cancel` and `extendedAgentCard`, and nothing under `tasks/{id}/pushNotificationConfigs`; the README said so. The card declares both `JSONRPC` and `HTTP+JSON` with `capabilities.pushNotifications: true`, and 5.1 says "When an agent supports multiple protocols, all supported protocols MUST: Identical Functionality: Provide the same set of operations and capabilities" (`spec:1145-1149`); 5.3 and 11.3.3 give the REST forms (`spec:1163-1166`, `spec:2797-2800`). Observed as `PUSH-CREATE-001` http_json FAIL (`[404] Method not found`) and five dependent skips.
Fixed in the kit on 2026-10-06: `a2a_ref.py` gained `rest_push()` (`:626-648`) with `POST /tasks/{id}/pushNotificationConfigs` (body is the config; `find` then `add_push`), `GET /tasks/{id}/pushNotificationConfigs/{configId}`, `GET /tasks/{id}/pushNotificationConfigs` (`prune({"configs": ...})`) and `DELETE /tasks/{id}/pushNotificationConfigs/{configId}`, behind the `pushNotifications` capability guard (`:630-631`) and answering `application/a2a+json`; `rest()` dispatches to it at `:681-682`; the README sentence was removed. Verified by the repeat of run 2 (PUSH-CREATE-001, PUSH-CREATE-002, PUSH-GET-001, PUSH-LIST-001, PUSH-DEL-001 and PUSH-DEL-002 PASS on http_json; pytest 119 passed, up from 113) and by hand check 7 (create, get, list, missing id 404, delete, get-after-delete 404, delete-again 200, unknown task 404).
the-ten-real-failures.txt
title: the ten requirements that fail on a real assertion, by class
source: manuals/a2a-101/research/tck-run.md
lines: 101-101
lang: text
note: Count how many are the server's own.
---
Of the 10 requirements that fail in run 2 on a real assertion, none fails on the kit's account at MUST level: seven are the TCK's (class b: CORE-SEND-003, HTTP_JSON-ERR-001, HTTP_JSON-SVC-001, JSONRPC-SSE-002, PUSH-CREATE-001, CARD-CACHE-003), two are the agent story (class c: DM-ART-001, DM-MSG-001) and two are SHOULD-level omissions the kit documents (class e: CARD-CACHE-001, CARD-CACHE-002). Section 4 has the kit-defect record.
two-accounting-facts.txt
title: two accounting rules of the TCK that change how the numbers read
source: manuals/a2a-101/research/tck-run.md
lines: 96-99
lang: text
note: The first fact turns skips into failures. Read the counts after the rule on the main branch is applied.
---
Two accounting facts change how the numbers read.
1. The tag records a `pytest.skip()` raised inside a test body as a failure. The safety-net hook in `tests/compatibility/conftest.py:251-297` records any call-phase report that did not pass and did not call `record()` as FAIL with the skip tuple as the error text (`:271` tests only `report.passed`; `:292-297` records). `main` adds `if report.skipped: return` with the comment "Auto-recording it as a FAIL would misrepresent it" (`main conftest.py:310-318`). In run 2, 21 of the 31 FAIL requirements are of this kind (section 3.3). With `main`'s rule they are SKIPPED: PASS 62, FAIL 10, SKIPPED 32, NOT TESTED 25, which is overall 86.1% (62/72), MUST 89.4% (59/66), SHOULD 33.3% (1/3), MAY 66.7% (2/3).
2. The per-transport entry in `per_requirement[...].transports` is the last record written for that transport (`aggregator.py:105-111`), so a requirement with several tests on one transport can show `jsonrpc: PASS` next to a FAIL verdict (`JSONRPC-SSE-002`, `HTTP_JSON-ERR-001`, `HTTP_JSON-SVC-001`, `DM-ART-001`, `DM-MSG-001`). The summary files therefore carry the verdict as the status field and fold the per-transport records into the transport field.
two-runs.txt
title: the numbers of the two runs, from compatibility.json and pytest
source: manuals/a2a-101/research/tck-run.md
lines: 76-90
lang: text
note: Compare the two columns row by row. The transport rows count records, and the top rows count requirements.
---
| | Run 1, tag as published | Run 2, exact JSON-RPC URL, fixed kit |
|---|---|---|
| overall_compatibility | 32.3% | 66.7% |
| must_compatibility | 35.4% | 72.0% |
| should_compatibility | 14.3% | 14.3% |
| may_compatibility | 0.0% | 50.0% |
| requirements PASS / FAIL / SKIPPED / NOT TESTED (of 129) | 30 / 63 / 11 / 25 | 62 / 31 / 11 / 25 |
| MUST passed / failed / skipped (of 114) | 29 / 74 / 11 | 59 / 44 / 11 |
| SHOULD passed / failed / skipped (of 11) | 1 / 10 / 0 | 1 / 10 / 0 |
| MAY passed / failed / skipped (of 4) | 0 / 4 / 0 | 2 / 2 / 0 |
| pytest: passed / failed / skipped / xfailed (265 collected) | 70 / 44 / 149 / 2 | 119 / 21 / 125 / 0 |
| transport jsonrpc: passed / failed / skipped records | 12 / 63 / 10 (85) | 66 / 29 / 7 (102) |
| transport http_json | 59 / 30 / 6 (95) | 65 / 24 / 6 (95) |
| transport agent_card | 6 / 4 / 0 (10) | 6 / 4 / 0 (10) |
| transport grpc | 0 / 0 / 72 (72) | 0 / 0 / 72 (72) |
why-run-2.txt
title: why there is a second run: where the TCK posted its JSON-RPC requests
source: manuals/a2a-101/research/tck-run.md
lines: 44-44
lang: text
note: One paragraph. Find the URL the client built, what the server answered, and how many records that cost.
---
Why there is a run 2. The TCK's JSON-RPC client is an `httpx.Client(base_url=<interface url>)` that posts to `"/"` (`tck/transport/jsonrpc_client.py:81-85, 104-105, 138-141`). httpx appends a slash to every base URL and strips the leading slash of the request path (`httpx/_client.py:234` `_enforce_trailing_slash`, `:391-409` `_merge_url`), so every JSON-RPC request went to `http://localhost:41251/a2a/jsonrpc/`, which is not the URL in the card. The kit routes JSON-RPC only at the exact path (`a2a_ref.py:549`) and answers `404 {"error": {"code": 404, "status": "NOT_FOUND", "message": "No such path"}}`; the TCK's own reference SUT declares its JSON-RPC interface at the host root (`sut/a2a-python/sut_agent.py:199`), where `/` and `` are the same URL, so the TCK never meets this itself. 63 of the 85 JSON-RPC records in run 1 fail or skip for this one reason, which says nothing about the kit. Run 2 replaces `"/"` with `self.base_url` in the two `post`/`build_request` calls (`tck-run/tck-jsonrpc-url.patch`), nothing else. On `main` the client still posts to `"/"` but sets `follow_redirects=True` (`main jsonrpc_client.py:85`, commit `c478be0`), which rescues servers that redirect `/path/` to `/path`; the kit answers 404 rather than redirecting, so `main` would see the same 63 failures.
سؤالها
- کدام تکعلت بخش اعظم شکستهای اجرای اول را توجیه میکند، و این ایراد متعلق به کیست؟
- پس از اجرای دوم، چرا اکثر الزامات ردشدهی باقیمانده همچنان هیچ نکتهای را دربارهی عملکرد واقعی سرور نشان نمیدهند؟
- از بین الزاماتی که روی یک assertion واقعی شکست میخورند، چه تعداد به حساب سرور است و در چه سطحی؟
- الزامات push روی یک binding قبول و روی دیگری رد میشوند. TCK برای هر کدام چه ثبتی دارد و چرا؟
- آن یک ایراد واقعی سرور چه بود، کدام قانون را نقض میکرد، و اصلاح آن چطور راستیآزمایی شد؟
- قانون انتشار را بنویسید: درگاه انتشار چه مواردی را بررسی میکند و با خطایی که منشأ آن خودِ بستهی تست است چه رفتاری دارد؟
اول شواهد را بخوانید و به سؤالها جواب بدهید، بعد راهحل را باز کنید.
راهحل گامبهگام
- نتایج دو اجرا را بخوانید. اجرای اول امتیاز 32.3 درصد گرفت: از مجموع 129 مورد، 30 الزام قبول، 63 مورد رد، 11 مورد نادیدهگرفتهشده (skipped) و 25 مورد تستنشده بودند. در بستر انتقال JSON-RPC از میان 85 رکورد، 12 رکورد قبول، 63 مورد رد و 10 مورد نادیده گرفته شدند. اجرای دوم امتیاز 66.7 درصد گرفت: 62 مورد قبول، 31 مورد رد، 11 مورد نادیدهگرفتهشده و 25 مورد تستنشده؛ بستر انتقال JSON-RPC نیز 66 مورد قبول، 29 مورد رد و 7 مورد نادیدهگرفتهشده را از میان 102 رکورد ثبت کرد. هر 72 رکورد gRPC در هر دو اجرا نادیده گرفته شدند، زیرا شناسنامهی ایجنت رابط gRPC ندارد. سرور میان این دو امتیاز هیچ تغییری نکرد، جز اصلاحیهی push، و آن اصلاح هم هیچ حکم ارزیابی را جابهجا نکرد.
- علت اجرای دوم را بخوانید. کلاینت JSON-RPC در TCK درخواستهایش را به مسیر
/روی کلاینت HTTPای ارسال میکند که آدرس پایهی آن همان URL رابط است. این کتابخانه یک اسلش به انتهای پایهی URL اضافه میکند؛ بنابراین تکتک درخواستها به آدرس شناسنامه همراه با یک اسلش پایانی ارسال میشدند. سرور، مسیرهای JSON-RPC را فقط روی همان آدرس دقیق مسیریابی میکند و در پاسخ، خطای 404 با پیام «No such path» میدهد. 63 مورد از 85 رکورد JSON-RPC در اجرای اول صرفاً به همین دلیل رد یا نادیده گرفته شدند. سرور مرجع خود TCK رابطش را روی ریشهی هاست تعریف میکند؛ یعنی جایی که این دو URL یکسان هستند، در نتیجه بستهی تست هرگز با این نقص خودش روبهرو نمیشود. مشخصات استاندارد سرور را ملزم میکند آدرس URL خود را تعریف کند، ولی هیچ قاعدهای سرور را وادار نمیکند به همان آدرس با یک اسلش اضافه هم پاسخ بدهد. تغییرِ دوخطی، مسیر/را با همان URL پایه جایگزین میکند و تکتک آن رکوردها قبول میشوند. - قواعد محاسباتی را بخوانید. این تگ، مواردی را که داخل بدنهی تست با وضعیت skip بالا آمدهاند، به عنوان failure ثبت میکند. در branch اصلیِ TCK این موضوع اصلاح شد و دلیلش را هم نوشتند: ثبت این حالت به عنوان شکست، گزارش را غیرواقعی نشان میدهد. در اجرای دوم، 21 مورد از 31 الزام ردشده از همین جنس رد شدنهای skip هستند؛ بیشترشان هم به پیشنیازی برمیگردند که انتظار ایجنتی را دارد که وظیفهای را در وضعیت input-required نگه دارد، در حالی که
test-runnerهرگز چنین کاری نمیکند. با اعمال قاعدهی branch اصلی، نتیجهی اجرا به این صورت درمیآید: 62 مورد قبول، 10 مورد رد، 32 مورد نادیدهگرفتهشده و 25 مورد تستنشده؛ یعنی 86.1 درصد کل و 89.4 درصد روی الزامات MUST. قاعدهی دوم: مدخل مربوط به هر بستر انتقال، آخرین رکوردی است که ثبت میشود؛ بنابراین یک الزام میتواند در کنار یک حکم ارزیابی رد (FAIL)، وضعیت قبولی روی یک بستر انتقال خاص را نشان دهد. - آن ده مورد را بخوانید. هیچ الزامی در سطح MUST به حساب سرور رد نمیشود. هفت مورد متعلق به TCK است: خطای مربوط به content-type اجباری که به عنوان شکست شمرده شده، دو بررسی زیررشتهی content-type که به دنبال
application/jsonمیگردند در حالی که استانداردapplication/a2a+jsonرا ترجیح میدهد، تستی که بدنهی غیر JSON میفرستد و منتظر خطای 32005- است در حالی که استاندارد خطای 32700- را مشخص کرده، استفاده از snake_case برایtask_idهنگام ساخت push، و در نهایت یک الزام در سطح MAY که تست به شکل اجباری رویش assert گذاشته است. دو مورد ناشی از سناریوی نمونهی ایجنت در TCK هستند که انتظار خروجیهای ثابتی را دارد که این ایجنت اصلاً تولید نمیکند. دو مورد نیز کمبودهایی در سطح SHOULD هستند که خود سرور مستند کرده است: نبود هدرهایCache-ControlوETagروی شناسنامه. - سطرهای مربوط به push را بخوانید. شش الزام push وضعیت
http_json=PASSوjsonrpc=FAILرا همراه با حکم ارزیابی FAIL نشان میدهند؛ زیرا زمانی که هر یک از بسترهای انتقال رد شود، کل الزام رد میشود. بخش JSON-RPC به این دلیل رد میشود که TCK پارامترtask_idرا ارسال میکند، در حالی که طبق قانون camelCase در استاندارد، بایدtaskIdباشد. سرورtaskIdرا میخواند، وظیفهای با این شناسه پیدا نمیکند و پاسخ 32001- برمیگرداند. کلاینت HTTP+JSON پارامتر را با فرمت camelCase میفرستد و تست را پاس میکند. تستPUSH-GET-002هم دقیقاً به همین دلیل غلط روی JSON-RPC قبول شد: سرور برای تمام شناسههای پیکربندی پاسخ Not Found داد و در نتیجه تست اصلاً یک شناسهی واقعی را بررسی نکرد. - ایراد واقعی را بخوانید. قبل از اصلاحیه، رابط HTTP+JSON هیچ مسیری زیر
tasks/{id}/pushNotificationConfigsارائه نمیداد، در حالی که شناسنامه هر دو رابط را با اعلانهای push فعال معرفی کرده بود. بخش 5.1 از استاندارد بیان میکند که تمام پروتکلهای پشتیبانیشده باید مجموعهی یکسانی از عملیات را ارائه دهند. تست، این مورد را با خطایPUSH-CREATE-001روی HTTP+JSON با پیام «404 Method not found» و پنج skip وابسته ثبت کرد. اصلاحیه، این چهار مسیر REST را پشت همان محافظ قابلیت (capability guard) اضافه کرد. اجرای مجدد اجرای دوم، شش رکورد HTTP+JSON را به وضعیت قبول تغییر داد و تعداد تستهای پاسشده در pytest را از 113 به 119 رساند، و هشت بررسی دستی شامل ساخت، دریافت، لیست کردن، شناسهی ناموجود، حذف، دریافت پس از حذف، حذف دوباره و وظیفهی نامشخص این مسیرها را پوشش داد. - موارد انحراف را بخوانید. هشت مورد به ترتیب شدت اثر: اسلش انتهایی، پارامترهای snake_case، زیررشتهی content-type، بررسی نکردن خطای موردانتظار در یک الزام، بدنهی غیر JSON، اعتبارسنجیهای سختگیرانه (hard asserts) روی تستهای SHOULD و MAY، ثبت skip به عنوان شکست، و کدهای وضعیت پنهان 409، 415 و 502 که طبق مشخصات استاندارد باید 400، 400 و 500 باشند. دو مورد از این هشت مورد در branch اصلی TCK اصلاح شدهاند.
نتیجه
امتیاز 32.3 درصد در واقع نحوهی ساخت URL در TCK را میسنجید، و امتیاز 66.7 درصد نشاندهندهی نحوهی شمارش موارد skip در آن بود. از لحاظ الزامات، سرور هیچ الزام MUSTی را نقض نمیکند. تنها ایراد واقعی سرور که در اجرای دوم کشف شد، مسیرهای غایب push روی HTTP+JSON بود که اصلاح آن با شش رکورد تست و هشت بررسی دستی تأیید شد. دو مورد کمبود از الزامات سطح SHOULD باقی ماندهاند که کاملاً مستند شدهاند. قاعدهی درگاه انتشار باید تکتک الزامات را از روی compatibility.json بخواند، نه اینکه به درصد کلی تکیه کند. این قاعده هر نتیجهی غیر از قبولی را در یکی از این دستهها قرار میدهد: متعلق به سرور، متعلق به TCK، مربوط به نمونهی ایجنت، پشتیبانینشده طبق معماری، یا تستنشده. درگاه انتشار تنها در صورتی جلوی کار را میگیرد که یک شکست MUST متعلق به خود سرور باشد، کمبودهای SHOULD را زیر نظر نگه میدارد و هر باگ TCK را همراه با بررسی ترافیک شبکه (wire check) برای تیم توسعهی آن گزارش میکند. علاوه بر این، فهرستی از مواردی که TCK در این تگ تست نمیکند نگه میدارد (از جمله همارزی رابطها، امضای شناسنامه و محدودسازی دسترسی مالک) تا تیم خودش آنها را آزمایش کند.
مسیرهای اشتباه رایج
- «رفع 63 شکست.» 63 رکورد به یک دلیل مشخص که درون کلاینت تست قرار دارد شکست میخورند، و هیچ قانونی سرور را موظف نمیکند به آدرسی با اسلش انتهایی پاسخ بدهد. یک تغییر دوخطی در TCK همهی آنها را حل میکند.
- «تغییر نام پارامترهای JSON-RPC به snake_case برای قبولی در بررسیهای push.» استاندارد مشخصاً camelCase را میخواهد و کلاینت HTTP+JSON خودِ TCK هم پارامترها را camelCase میفرستد و قبول میشود. با این کار، سرور برای راضی کردن بستهی تست، استاندارد اصلی را نقض میکرد.
- «ارسال application/json برای قبولی در بررسیهای content-type.» استاندارد استفاده از
application/a2a+jsonرا ترجیح میدهد، هرچند پیادهسازیها یکدست نیستند. هنگام خواندن هر دو را بپذیرید، اما در ارسال خروجی روی چیزی بمانید که استاندارد ترجیح میدهد. - «انتشار محصول به محض رسیدن درصد به یک آستانه.» این درصد فقط PASS و FAIL را میشمارد. تنها اصلاح قاعدهی skip، درصد را بدون هیچ تغییری در سرور از 66.7 به 86.1 میرساند؛ بنابراین تعیین آستانه روی این درصد، عملاً اندازهگیری نسخهی TCK است، نه کیفیت سرور.
- «بررسیهای push روی HTTP+JSON قبول شدند، پس همارزی رابطها پوشش داده شده است.» چهار الزام همارزی رابطها اصلاً در این تگ تست نمیشوند. آن باگ هم کاملاً تصادفی و از طریق یک تست push آشکار شد، اما نقصهای بعدی لزوماً به این شکل به دام نمیافتند.
درس کلی
امتیاز انطباق با استاندارد یک سنجش است و خود ابزار سنجش هم میتواند ایراد داشته باشد. قبل از اینکه بر اساس اعداد و ارقام تصمیم بگیرید، نتایج را الزامبهالزام بررسی کنید، خطاهای ناشی از ابزار را از ایرادهای سیستم اصلی جدا کنید، پس از اصلاح ابزار دوباره تستها را اجرا کنید و ببینید ابزار چه مواردی را اصلاً نمیسنجد. تنها باگ واقعی در این سناریو در شکاف میان دو رابط قرار داشت؛ یعنی دقیقاً جایی که بستهی تست اصلاً آن را ارزیابی نمیکرد.
کجای دوره آموزش داده میشود
در صفحهی تست انطباق با استاندارد در A2A 101 لاگهای این دو بار اجرا و جدول موارد انحراف ثبت شده است؛ صفحهی خطاها و صفحهی اعلانهای push قواعد ناظر بر content-type و سطرهای push را تشریح میکنند؛ و درس حالتهای شکست هشدار میدهد که پایش معیارهای سرسری و تیتروار، مانع از دیدن شکستهای مهم میشود.