سؤال مصاحبه

چرا در گیت اعتبارسنجی از هیچ مدلی استفاده نمی‌شود

Why the verification gate has no model in it

  • سطح ۳: ارشد
  • مفهومی
  • ۱۰ دقیقه

پیشنهادی مطرح شده است تا اسکریپتی که تمام شدن وظیفه‌ی ایجنت (agent) را ارزیابی می‌کند، با یک مدل داور جایگزین شود. استدلال این است که داور تفاوت‌های بازنگری (diff) را می‌خواند، نیت (intent) را درک می‌کند و مواردی فراتر از توان یک اسکریپت را می‌سنجد. در موافقت یا مخالفت با این ایده استدلال کنید و بگویید جایگاه واقعی یک داور کجاست.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مخالفیم. گیت اعتبارسنجی (verification gate) فقط به یک پرسش پاسخ می‌دهد: آیا این وظیفه کامل شده است؟ این حکم ارزیابی (verdict) باید به ازای دست‌سازه‌های (artifacts) یکسان، همیشه در کنترل نسخه (version control) و در CI نتیجه‌ی ثابتی بدهد، بدون آنکه ایجنت راهی برای چانه‌زنی با آن داشته باشد. یک مدل داور در روزهای مختلف پاسخ‌های متفاوتی می‌دهد و ممکن است با بحث و متقاعدسازی به کار نمره‌ی قبولی بدهد. جایگاه داور در بخش بازبینی (review) است؛ جایی که پرسش کیفی است: آیا کد خوانا، امن و منطبق بر شیوه‌نامه‌ی کدنویسی هست یا خیر.

پاسخ کامل

گیت چه مواردی را می‌خواند و بررسی می‌کند

بررسی منبع شدت
تمام دستورهای پذیرش اجرا شده باشند رکوردهای بازخورد مسدودکننده (block)
تمام دستورهای پذیرش با کد خروج صفر پایان یافته باشند رکوردهای بازخورد مسدودکننده (block)
هیچ بازنویسی روی مسیرهای ممنوعه انجام نشده باشد گزارش دامنه مسدودکننده (block)
هیچ بازنویسی خارج از دامنه‌ای رخ نداده باشد گزارش دامنه مسدودکننده یا هشدار
تمام قوانین با شدت مسدودکننده پاس شده باشند گزارش قوانین مسدودکننده (block)
هیچ کد خروجی پوچی (null) وجود نداشته باشد رکوردهای بازخورد مسدودکننده (block)
فایل‌های دست‌خورده با الگوهای مجاز (globs) هم‌خوانی داشته باشند هر دو هشدار (warn)

یک هشدار فقط توضیحاتی به حکم ارزیابی اضافه می‌کند. اما یک مورد مسدودکننده جلوی passed: true را می‌گیرد. تمام این بررسی‌ها، مقایسه‌ای میان دست‌سازه‌هایی است که خود ایجنت پیش‌تر تولید کرده است. در این فرآیند به هیچ قضاوتی نیاز نیست؛ بنابراین به هیچ داوری هم احتیاج نداریم.

چرا قطعی بودن اساس کار است

سه الگوی شکست بر کار ایجنت‌ها سایه انداخته است: «ظاهر کار خوب است»، «آزمون‌ها پاس شدند» بدون اینکه سندی ثبت شده باشد، و تفسیر بسیار سهل‌گیرانه از معیارهای پذیرش به‌گونه‌ای که هر نتیجه‌ای را در بر بگیرد. یک مدل داور در برابر هر سه الگو آسیب‌پذیر است: تفاوت‌های بازنگری را می‌خواند و تصمیم می‌گیرد که ظاهر کار خوب است؛ متن گفتگو را می‌خواند و ادعای ایجنت را باور می‌کند؛ و خط پذیرش را با دست‌ودلبازی تفسیر می‌کند. اسکریپت هرگز نمی‌تواند چنین خطاهایی مرتکب شود، چون اصلاً متن‌های توصیفی را نمی‌خواند. این درس دو نوع سیگنال را کنار هم می‌نشاند: بررسی‌های قطعی (deterministic) و اثبات‌پذیر مانند آزمون‌ها، اعتبارسنجی ساختار داده‌ها (schema checks) و کدهای خروج تعیین می‌کنند که آیا کد مسئله را حل کرده است یا خیر؛ و داورهای مبتنی بر شیوه‌نامه‌ی نمره‌دهی (rubric) مشخص می‌کنند که آیا کد خوانا و مطابق استانداردهای سبکی هست یا نه. مخلوط کردن این دو، کیفیت هر دو سیگنال را از بین می‌برد.

چشم‌پوشی‌ها انسانی و امضاشده هستند

ایجنت نمی‌تواند یک مورد مسدودکننده را نادیده بگیرد. فقط انسان می‌تواند از آن چشم‌پوشی کند؛ این چشم‌پوشی ردیفی شامل کد یافته، دلیل، کاربری که آن را امضا کرده و commit فعلی را در یک لاگ بازرسی (audit log) ثبت می‌کند که زیر نظر git ردیابی می‌شود. محیط اجرا (runtime) هرگونه ثبت چشم‌پوشی بدون امضا را رد می‌کند. مرز میان یک سازوکار اصولی برای چشم‌پوشی و یک نمایش صوریِ بی‌فایده دقیقاً همین‌جاست.

یک گزارش، چندین لایه

گیت اعتبارسنجی برای هر وظیفه یک فایل verification_report.json در مسیری مشخص می‌نویسد و فرآیند CI دقیقاً همان مسیر را می‌خواند. در کنار آن، لایه‌های قطعی دیگری هم مستقر هستند: یک هوک pre-commit، بررسی وضعیت در CI، یک هوک تایید پیش از اجرای ابزار (pre-tool authorization) و گیتِ پیش از ادغام (pre-merge gate). خطایی که در یک لایه از قلم بیفتد، در لایه‌ی بعدی مهار می‌شود. هوک pre-commit به رعایت دستورالعمل‌ها توسط ایجنت وابسته نیست، ولی یک بررسی محلی است که با git commit --no-verify دور زده می‌شود؛ بنابراین بررسی وضعیت در CI و گیت پیش از ادغام، مسئولیت صدور حکم ارزیابی را بر عهده دارند.

جایگاه واقعی داور کجاست

بازبین، در گامی مجزا و با نقشی متفاوت، پس از تایید گیت اعتبارسنجی تفاوت‌های بازنگری و گزارش‌ها را می‌خواند. این بازبین به خوانایی، امنیت و سبک کدنویسی نمره می‌دهد. خروجی آن به یک بازبین انسانی یا به مرحله‌ی تحویل وظیفه (handoff) فرستاده می‌شود و هرگز به حکم نهایی گیت اعتبارسنجی وارد نمی‌شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: ایجنتی آزمون‌های ناموفق را حذف می‌کند و گیت همچنان سبز می‌ماند. چه بررسی‌ای جا افتاده است؟ پاسخ مورد انتظار: تعیین کف پوشش کد (coverage floor) که از گزارش پوشش آزمون خوانده می‌شود؛ به‌طوری‌که اگر پوشش کد به زیر این حد نصاب برسد یا نسبت به merge قبلی بیش از 1 درصد افت کند، فرایند متوقف و مسدود شود.
  • سطح 3: چه زمانی تبدیل همه‌ی هشدارها به خطاهای مسدودکننده رویکرد پیش‌فرض درستی است؟ پاسخ مورد انتظار: روی branchهای انتشار (release branches) و در تریاژ پس از بروز حوادث از طریق فلگِ strict؛ نه به‌صورت سراسری، چرا که سخت‌گیری در همه‌جا، جریان کاری (flow) روزمره را فرسایشی می‌کند.
  • سطح 4: چه چیزی مانع از صوری شدن لاگ چشم‌پوشی (override log) می‌شود؟ پاسخ مورد انتظار: محیط اجرا ورودی‌های امضانشده را رد می‌کند، این لاگ داخل git نگهداری می‌شود و در فرآیند بازبینی بررسی می‌گردد؛ بنابراین هر چشم‌پوشی الزاماً یک نام و یک دلیل ثبت‌شده به همراه دارد.
  • سطح 4: اگر گیت اعتبارسنجی و بازبین اختلاف‌نظر داشته باشند، حق با کیست؟ پاسخ مورد انتظار: گیت مشخص می‌کند که وظیفه انجام شده است یا خیر، و بازبین تعیین می‌کند که آیا خوب انجام شده است یا نه. بنابراین اگر گیت رد شود، بدون توجه به نظر بازبین، فرایند مسدود می‌شود؛ اما اگر بازبین ایراد بگیرد، وظیفه دوباره بازگشایی می‌شود بدون اینکه تغییری در حکم ارزیابی گیت داده شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «داور نیت کار را درک می‌کند، پس موارد بیشتری را پیدا خواهد کرد.» گیت نیازی به فهمیدن نیت ندارد؛ داوری هم که نیت‌ها را حدس بزند، ممکن است فریب بخورد و یک وظیفه‌ی ناتمام را کامل بداند.
  • «هم داور و هم اسکریپت را اجرا کنید و اگر هر کدام تایید کرد، کار پذیرفته شود.» در این حالت، داور راهی برای دور زدن اسکریپت می‌شود؛ در حالی که بررسی‌های قطعی باید اتمام وظیفه را تعیین کنند و داور فقط باید یادداشت‌های تکمیلی بنویسد.
  • «به ایجنت اجازه دهید توضیح دهد چرا یک مورد مسدودکننده در این مورد صدق نمی‌کند.» ایجنت خودش موضوع آزمون است و هر چشم‌پوشی به امضای یک انسان همراه با دلیل نیاز دارد.

کجای دوره آموزش داده می‌شود

درس گیت‌های اعتبارسنجی نحوه‌ی ساخت گیت قطعی، لاگ چشم‌پوشی امضاشده و حد نصاب پوشش آزمون را آموزش می‌دهد.