سؤال مصاحبه

سروری با امتیاز 66.7 درصد چقدر منطبق با استاندارد است؟

How conformant is a server that scores 66.7 percent

  • سطح ۴: استف
  • تخمین
  • ۱۲ دقیقه

ابزار ارزیابی رسمی انطباق با استاندارد (conformance kit) پروتکل A2A را دو بار روی سرورتان اجرا می‌کنید. در اجرای اول، امتیاز 32.3 درصد ثبت می‌شود. بعد از یک تغییر دوخطی در کلاینت JSON-RPC خودِ کیت، امتیاز اجرای دوم به 66.7 درصد می‌رسد: 62 قبولی (PASS)، 31 ردی (FAIL)، 11 ردشده بدون اجرا (SKIPPED) و 25 مورد تست‌نشده (NOT TESTED) از میان 129 الزام. مدیرتان می‌پرسد این سرور واقعاً چقدر منطبق با استاندارد است. رقم واقعی را برآورد کنید و دلیل هر تعدیلی را که در آمار اعمال می‌کنید توضیح دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هیچ‌کدام از این دو درصد به‌تنهایی وضعیت سرور را نشان نمی‌دهند. در اجرای اول، 63 مورد از 85 رکورد JSON-RPC رد شدند چون کیت، درخواست‌ها را با اسلش انتهایی (trailing slash) به URL شناسنامه (card) می‌فرستاد؛ مشکلی که باگِ خود کیت بود. در اجرای دوم، 21 مورد از ردی‌ها در اصل موارد ردشده‌ای (skip) داخل بدنه‌ی تست هستند که تگ فعلیِ کیت آن‌ها را به‌صورت FAIL ثبت می‌کند؛ بنابراین طبق قاعده‌ی branch اصلی (main branch)، آمار اجرا به‌صورت 62 مورد PASS، 10 مورد FAIL و 32 مورد SKIPPED خواهد بود که یعنی 86.1 درصد. از آن ده ردی هم فقط سه مورد به سرور مربوط می‌شد: مسیرهای ناموجود REST برای push و در سطح الزاماتِ توصیه‌شده (SHOULD)، نبودِ هدرهای Cache-Control و ETag روی شناسنامه.

پاسخ کامل

نحوه‌ی امتیازدهی کیت

این کیت یک پروژه‌ی pytest است. شناسنامه را می‌خواند، برای هر ورودی در supportedInterfaces یک کلاینت می‌سازد، و تمام تست‌ها را روی تک‌تک بایندینگ‌های (binding) اعلام‌شده اجرا می‌کند. شکست در تست‌های سطح الزامی (MUST) یک رد قطعی (hard fail) است؛ تست‌های SHOULD شکستِ موردانتظار هستند؛ و تست‌های اختیاری (MAY) وقتی شناسنامه آن قابلیت را اعلام نکرده باشد، رد می‌شوند و اجرا نمی‌شوند. درصدهای نهایی فقط بر اساس PASS و FAIL حساب می‌شوند. تمام 72 رکورد gRPC اجرا نشدند و skip خوردند، چون سرور اصولاً اینترفیس gRPC ندارد؛ این رفتار کاملاً درست است، نه باخت و کسر امتیاز.

اجرای اول: باگِ کیت

مشخصات استاندارد، اینترفیس را در url تعریف می‌کند. کیت به انتهای آن یک اسلش اضافه کرد، سرور پاسخ 404 داد، و 63 رکورد صرفاً به همین یک دلیل رد شدند. اصلاح کلاینت کیت، و نه سرور، امتیاز را بالا برد.

اجرای دوم: تفکیک ردی‌ها

گروه تعداد مقصر
رد شدن تست (skip) داخل بدنه‌ی تست، که در تگ فعلی به‌صورت FAIL ثبت شده 21 کیت؛ branch اصلی main آن‌ها را به‌صورت SKIPPED ثبت می‌کند
الزامات push که روی HTTP+JSON قبول و روی JSON-RPC رد می‌شوند بیشتر موارد باقی‌مانده کیت فیلد task_id را با فرمت snake_case می‌فرستد، در صورتی که استاندارد camelCase می‌خواهد
نبود مسیرهای REST برای push، با این‌که شناسنامه pushNotifications را اعلام کرده بود 1 سرور؛ هر بایندینگ اعلام‌شده باید دقیقاً همان عملیات‌ها را ارائه دهد
نبود Cache-Control و ETag روی شناسنامه 2 سرور، در سطح الزامات SHOULD

بعد از اصلاح سرور، هر شش رکوردِ push در HTTP+JSON قبول می‌شوند، اما خود الزام به‌خاطر سمتِ JSON-RPC همچنان وضعیت FAIL نشان می‌دهد.

جاهایی که کیت از مشخصات استاندارد انحراف دارد

کیت ارزیابی انتظار دارد برای خطای TaskNotCancelableError کد وضعیت 409، برای ContentTypeNotSupportedError کد 415، برای InvalidAgentResponseError کد 502، و برای سه خطای دیگر در gRPC وضعیت UNIMPLEMENTED برگردد. در جدول مرجع استاندارد، این کدها به‌ترتیب 400، 400، 500 و FAILED_PRECONDITION هستند. سروری که دقیقاً طبق مشخصات استاندارد عمل کند، در این بررسی‌ها رد می‌شود. کیت همچنین در پروتکل REST الزام می‌کند که هدر حتماً application/json باشد، در صورتی که متن استاندارد می‌گوید باید از application/a2a+json استفاده شود؛ علاوه بر این، تست‌های کَشینگ در سطوح SHOULD و MAY را هم به‌صورت قطعی و سخت‌گیرانه (hard-assert) می‌سنجد.

مواردی که کیت هرگز تست نمی‌کند

پنج رفتاری که باعث اختلاف میان SDKهای مختلف می‌شوند، اصلاً اجرا نمی‌شوند: متد subscribe در REST، صفحه‌بندی فراتر از یک فراخوانی، متد append روی دست‌سازه‌ی (artifact) ناشناخته، وظیفه‌ی (task) متعلق به فراخواننده‌ای دیگر، و messageId دوباره ارسال‌شده. مجموعه‌ی NOT TESTED همچنین اعتبارسنجی سطح دسترسی درونِ وظیفه، پروتکل TLS، امضای دیجیتال شناسنامه‌ها و هدرِ نسخه‌ی کلاینت را هم پوشش می‌دهد. تستِ همه‌ی این موارد بر عهده‌ی خود شما است.

برآورد نهایی

گزارش را این‌طور ارائه دهید: یک نقص در الزامات MUST که شناسایی و برطرف شد؛ دو کمبود در سطح الزامات SHOULD درباره‌ی کش شناسنامه؛ نرخ انطباق 86.1 درصدی به‌ازای هر الزام طبق قاعده‌ی branch اصلی، در حالی که ردی‌های باقی‌مانده ناشی از کلاینت خودِ کیت هستند؛ و در نهایت، یک فهرست شفاف از رفتارهای تست‌نشده همراه با تست‌های اختصاصی که خودتان برای آن‌ها نوشته‌اید. به‌جای تکیه بر یک عدد درصد، فایل compatibility.json را تحویل دهید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا ردیف‌های SKIPPED و NOT TESTED در محاسبه‌ی درصد لحاظ نمی‌شوند؟ پاسخ موردانتظار: این ردیف‌ها هیچ حکم ارزیابی (verdict) مشخصی ندارند؛ بنابراین محاسبه‌ی درصد روی آن‌ها عملاً به نفع شناسنامه‌ای تمام می‌شود که قابلیت‌های کمتری اعلام کرده است.
  • سطح 4: الزامات push روی یک بایندینگ قبول می‌شوند و روی دیگری رد. این وضعیت را چطور دسته‌بندی می‌کنید؟ پاسخ موردانتظار: باگِ کیت؛ چون نام فیلدهای JSON باید camelCase باشند و کیت task_id می‌فرستد. این الزام را در مستندات خودتان همراه با شواهد (evidence)، به‌صورت قبول‌شده ثبت کنید.
  • سطح 4: از آن یک خطای واقعی سرور، چه درسی درباره‌ی شناسنامه‌ها گرفتید؟ پاسخ موردانتظار: پرچم یک قابلیت (capability flag) تعهدی برای همه‌ی بایندینگ‌های اعلام‌شده است؛ پس سمتِ REST هم به چهار مسیر push که شناسنامه وعده داده بود نیاز داشت.
  • سطح 4: کدام بررسی‌ها را که در کیت غایب هستند خودتان اضافه می‌کنید؟ پاسخ موردانتظار: محدود کردن دامنه‌ی دسترسی وظایف به مالک (owner scoping)، ارسال مجدد messageId، فراخوانی append روی دست‌سازه‌ی ناشناخته، متد subscribe در REST، و صفحه‌بندی به‌کمک توکنِ (token) برگشتی.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «درصد اجرای دوم را به‌عنوان رقم انطباق با استاندارد گزارش کنیم.» این کار موارد ردشده‌ی کیت را ردی، و پارامترهای snake_case کیت را باگ‌های سرور شما به‌حساب می‌آورد.
  • «بعد از اضافه کردن مسیرهای ناموجود، انطباق کامل را گزارش کنیم.» دو نقص در سطح SHOULD هنوز پابرجا هستند و عملاً یک‌چهارم الزامات هرگز تست نشده‌اند.
  • «کیت ارزیابی همان مرجع استاندارد است.» کیت در شش مورد با جدول خطای مرجع مغایرت دارد؛ همیشه اولویت با سند مشخصات استاندارد است، و حتی فایل README خود کیت هم الزامات SHOULD را شکستِ موردانتظار می‌داند.

کجای دوره آموزش داده می‌شود

بخش تست انطباق با استاندارد نتایج هر دو اجرا را ثبت کرده، و مرجع خطاها جدول وضعیت کیت را کنار جدول مرجع قرار داده است.