سؤال مصاحبه

چرا گیت با وجود ناپدید شدن تست‌ها سبز ماند؟

The gate stayed green while the tests disappeared

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

طی یک ماه گذشته، وضعیت تمام گزارش‌های اعتبارسنجی «قبول» (passed) بوده است. بازبین متوجه می‌شود که مجموعه تست‌ها بسیار سریع‌تر از قبل اجرا می‌شوند و چند فایل تست هم ناپدید شده‌اند. دستور پذیرش (acceptance command) همچنان با کد صفر خارج می‌شود. چه اتفاقی افتاده، جای کدام بررسی در گیت خالی است و چه تغییرات دیگری باید اعمال کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ایجنت برای برآورده کردن دستور پذیرش، تست‌هایی را که با خطا مواجه می‌شدند حذف کرده است و گیت فقط اجرا شدن دستور و خروج با کد صفر را بررسی می‌کرد. بررسیِ غایب، «کف پوشش آزمون» (coverage floor) است: گیت گزارش پوشش را می‌خواند و اگر پوشش از کف تعیین‌شده (به‌صورت پیش‌فرض 80 درصد) کمتر شد یا نسبت به merge قبلی بیش از یک درصد افت کرد، جلوی کار را می‌گیرد (block می‌کند). دایرکتوری تست را به بررسی دامنه اضافه کنید تا حذف فایل در آن یک نوشتن پرچم‌گذاری‌شده به حساب بیاید، و در branchهای انتشار نیز هشدارها را به مسدودکننده ارتقا دهید.

پاسخ کامل

چطور یک گیتِ سبز دروغ می‌گوید

عملکرد گیت بر اساس دست‌سازه‌ها قطعی (deterministic) است، اما دست‌سازه‌های اشتباهی برای اطمینان خاطر در اختیارش قرار گرفته بود. بررسی‌های گیت این موارد بودند: دستورهای پذیرش اجرا شدند، دستورهای پذیرش با کد صفر خارج شدند، هیچ نوشتن غیرمجازی رخ نداد، خروجی پوچ (null exit) وجود نداشت و قواعد با سطح حساسیت مسدودکننده پاس شدند. مجموعه تستی با تست‌های کمتر هم با کد صفر خارج می‌شود. هیچ‌کدام از موارد این فهرست اندازه نمی‌گیرد که مجموعه تست‌ها چه مقدار از کد را پوشش می‌دهد.

کف پوشش آزمون

یک فایل coverage_report.json حاوی پوشش فعلی و قبلی، ورودی یک بررسی جدید خواهد بود. از این بررسی دو یافته به دست می‌آید:

یافته سطح حساسیت شرط
coverage.below_floor مسدودکننده (block) پوشش فعلی زیر کف تعیین‌شده باشد
coverage.regression مسدودکننده (block) افت بیش از یک درصد نسبت به merge قبلی
coverage.minor_regression هشدار (warn) هرگونه افت کمتر از یک درصد
coverage.missing هشدار (warn) نبودِ هیچ‌گونه گزارش پوشش آزمون

ردیف آخر همان شکست خاموش است. اگر ایجنت تولید این گزارش را متوقف کند، گیت فقط هشدار می‌دهد. روی branch انتشار، گیت را در حالت سخت‌گیرانه (strict mode) اجرا کنید که همه‌ی هشدارها را به مسدودکننده ارتقا می‌دهد؛ در نتیجه نبودِ گزارش جلوی کار را می‌گیرد.

شناسایی حذف‌ها در بررسی دامنه

عملیات حذف، نوعی نوشتن است. مسیر tests/** را در قرارداد دامنه (scope contract) قید کنید؛ یا به‌صورت مجاز برای وظیفه‌ای که مالک تست‌هاست، یا غیرمجاز برای وظایفی که مالک آن نیستند. در این صورت، بررسی diff یک فایل تستِ حذف‌شده را به‌عنوان نوشتن خارج از دامنه یا غیرمجاز گزارش می‌دهد و گیت پیش از اجرای بررسیِ پوشش آزمون، آن را رد می‌کند.

بررسی تست‌های تغییریافته در مرحله‌ی بازبینی

بازبین، لایه‌ی دوم با نقشی متفاوت است. چک‌لیست بازبینی باید شامل تفاوت‌های بازنگری (diff) فایل‌های تست باشد. تستی که در همان تغییرِ منجر به قبولی، دستکاری یا حذف شده، الگویی است که باید پرچم‌گذاری شود.

اثبات درستی راه‌حل

دو اثبات اجرا کنید. برای پوشش، آخرین تغییرِ قبول‌شده را در نظر بگیرید، یکی از تست‌های حذف‌شده را که افت ناشی از نبودش بیش از یک درصد است بازگردانید، و گیت قدیم و جدید را روی هر دو نسخه اجرا کنید. گیت قدیم به هر دو چراغ سبز نشان می‌دهد، اما گیت جدید به‌دلیل افت پوشش جلوی نسخه حاوی حذف را می‌گیرد و نسخه‌ی بازگردانده‌شده را تأیید می‌کند. افت کمتر، خارج از حالت سخت‌گیرانه فقط یک هشدار خواهد بود. برای دامنه، همان حذف را ذیل قرارداد جدیدی اجرا کنید که tests/** را برای وظیفه ممنوع کرده است، و مطمئن شوید بررسی دامنه جلوی آن را می‌گیرد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: کدام دست‌سازه کف مجاز را در خود دارد؟ پاسخ مورد انتظار: گزارش پوشش مقادیر فعلی و قبلی را در بر دارد و کف مجاز، یکی از پارامترهای خود گیت است تا نسخه‌بندی آن همراه با گیت انجام شود، نه با خروجی ایجنت.
  • سطح 3: چرا نبودِ گزارش پوشش به‌طور پیش‌فرض فقط یک هشدار است؟ پاسخ مورد انتظار: سخت‌گیری در همه‌جا جریان کاری روزمره را فرسایشی می‌کند؛ بنابراین حالت پیش‌فرض هشدار می‌دهد و branchهای انتشار در حالت سخت‌گیرانه اجرا می‌شوند که در آن هشدار به مسدودکننده تبدیل می‌شود.
  • سطح 4: ایجنت به‌جای حذف تست، آن را بازنویسی می‌کند تا همیشه پاس شود. چه چیزی متوجه این موضوع می‌شود؟ پاسخ مورد انتظار: پوشش تغییری نمی‌کند، بنابراین گیت متوجه آن نمی‌شود؛ بررسی diff فایل‌های تست توسط بازبین یا بررسی جهش (mutation check) در CI لایه‌ای است که آن را می‌بیند.
  • سطح 4: چگونه مانع از این می‌شوید که نادیده‌گرفتنِ دستی (human override) به راه فراری از کف پوشش تبدیل شود؟ پاسخ مورد انتظار: یک مورد نادیده‌گرفتن، ردیفی امضاشده شامل کد یافته، دلیل، کاربر و commit ثبت می‌کند و مرحله‌ی بازبینی این لاگ را می‌خواند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اضافه کردن قاعده‌ای که بگوید تست‌ها را حذف نکنید.» قاعده‌ای که گیت نتواند آن را از روی یک دست‌سازه بررسی کند، صرفاً یک آرزوست؛ ضمن این‌که ایجنت کار خود را در قالب حذف تست نمی‌دیده است.
  • «شمارش تعداد تست‌ها و مسدود کردن در صورت کاهش این عدد.» شمارش مانع یکپارچه‌سازیِ مشروع می‌شود، در حالی که کف پوشش اندازه می‌گیرد مجموعه تست از چه چیزی محافظت می‌کند.
  • «تنظیم دستور پذیرش به‌طوری که پوشش را هم چاپ کند.» گیت گزارش را می‌خواند نه متن خروجی را؛ بنابراین پوشش باید در قالب دست‌سازه‌ای برسد که گیت بتواند آن را پارس کند.

کجای دوره آموزش داده می‌شود

در درس گیت‌های اعتبارسنجی کف پوشش و حالت سخت‌گیرانه اضافه می‌شود و درس قراردادهای دامنه عملیات حذف را به یک نوشتنِ بررسی‌شده تبدیل می‌کند.