سؤال مصاحبه

تبدیل «مراقب باش» به قانونی با قابلیت ارزیابی خودکار

Turn be careful into a rule a checker can score

  • سطح ۲: میانی
  • طراحی
  • ۱۲ دقیقه

یک فایل دستورالعمل به ایجنت (Agent) می‌گوید مراقب باشد، همه‌چیز را کامل تست کند و اگر مطمئن نبود سؤال بپرسد. سه روز بعد، ایجنت تغییری را بدون هیچ تستی تحویل می‌دهد، فایلی را در پوشه‌ای که نباید به آن دست می‌زد ویرایش می‌کند و اصلاً سؤالی نمی‌پرسد. این دستورالعمل‌ها را طوری بازطراحی کنید که محیط اجرا (Runtime) بتواند آن‌ها را اعمال کند و بازبین هم بتواند به آن‌ها امتیاز بدهد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر خواسته را به‌شکل یک قانون بازنویسی کنید که دارای یک شناسه (Slug)، دسته‌بندی، توضیح تک‌خطی و تابع ارزیابیِ نام‌گذاری‌شده باشد. پنج دسته‌بندی بیشتر قوانین را پوشش می‌دهند: راه‌اندازی (Startup)، ممنوعه (Forbidden)، تعریف اتمام کار (Definition of Done)، عدم قطعیت (Uncertainty) و تأییدیه (Approval). به هر قانون سطح حساسیتی از بین مسدودکننده (Block)، هشدار (Warn) یا اطلاع‌رسانی (Info) اختصاص دهید، تا محیط اجرا فقط در مواجهه با مسدودکننده جلوی کار را بگیرد. قوانین را در قالب یک فایل Markdown نگه دارید و برای هر سرفصل یک قانون بگذارید تا تمام تغییرات در بازنگری‌ها به‌راحتی دیده شوند.

پاسخ کامل

از آرزوها تا قوانین

خواسته دسته‌بندی قانون نحوه‌ی ارزیابی
مراقب باش ممنوعه هرگز اسکریپت انتشار یا تنظیمات محیط عملیاتی (Production) را ویرایش نکن بررسی diff در برابر الگوهای سراسری (Glob) ممنوعه
کامل تست کن تعریف اتمام کار دستور پذیرش (Acceptance Command) با کد خروج صفر به پایان برسد و رکورد آن در لاگ بازخورد ثبت شود خواندن رکوردهای لاگ بازخورد
اگر مطمئن نیستی بپرس عدم قطعیت هر زمان فرضیه‌ای با استناد به فایل‌ها پشتیبانی نشد، به‌جای حدس زدن یک یادداشت پرسش باز کن بررسی اینکه اگر فایل وضعیت (State file) فرضیه‌ای بدون منبع را لیست کرده باشد، حتماً یک یادداشت پرسش ثبت شده باشد
مراقب باش تأییدیه اضافه‌کردن هر وابستگی جدید یا هر عملیات نوشتن در محیط عملیاتی به تأیید انسان نیاز دارد بررسی وجود سند تأییدیه (Approval Record) پیش از انجام عملیات
مراقب باش راه‌اندازی فایل وضعیت پیش از شروع به کار وجود داشته و به‌روز باشد بررسی فایل در ابتدای هر نشست (Session)

قانونی که در یکی از این پنج دسته نگنجد، معمولاً ترکیبی از دو قانون است. حتماً آن را به دو قانون مجزا تفکیک کنید.

تعیین سطح حساسیت در زمان نوشتن قانون

هر قانون برچسب block، warn یا info می‌گیرد. ابزار ارزیابی هر سه را گزارش می‌کند، اما محیط اجرا فقط در مواجهه با block کار را متوقف می‌سازد. برچسب‌گذاری در زمان نگارش، تیم را از همان ابتدا وادار به کالیبراسیون (Calibration) می‌کند؛ زیرا تیم‌هایی که کار را با قوانین سرسختانه برای همه‌چیز شروع می‌کنند، بعداً زیر فشار موعد تحویل پروژه، این قوانین را بی‌سروصدا و بدون ثبت هیچ سابقه‌ای تضعیف می‌کنند. نادیده‌گرفتن یک قانون مسدودکننده باید از طریق گیت اعتبارسنجی (Verification gate) در یک لاگ بازرسی (Audit log) امضاشده ثبت شود.

تاریخ انقضا به‌مثابه نیروی الزام‌آور

هر قانون یک تاریخ انقضا دارد که به‌طور پیش‌فرض 90 روز پس از نگارش تعیین می‌شود. اگر قانونی به مدت 60 روز پیاپی هیچ موردی از نقض قانون (Violation) ثبت نکند، ابزار ارزیابی هشدار می‌دهد. در بازنگری بعدی، تیم با ذکر دلیل تصمیم می‌گیرد آن را نگه دارد، سطحش را به info کاهش دهد یا کلاً حذفش کند. استقرار یک سیستم بازنگری بزرگ که در این درس بررسی شده — با 131,246 اجرای بازنگری روی 5,169 مخزن (Repository) ظرف 30 روز — نشان داد که مجموعه‌قوانین دارای انقضای صریح، در حد کمتر از 30 قانون به ازای هر مخزن باقی ماندند؛ در حالی که مجموعه‌های بدون تاریخ انقضا به بیش از 80 قانون رسیدند که بیشترشان عملاً هرگز فعال نشدند.

منبع اصلی و کش

فایل Markdown منبع نگارش‌شده و اصلی است. فایل قفل JSON نیز در مسیر اجرای سریع (Hot Path) نقش کش را برای ابزار ارزیابی ایفا می‌کند و با یک pre-commit hook دوباره ساخته می‌شود. تفاوت‌های بازنگری (Diff) فایل Markdown قابل بررسی می‌ماند و کار تجزیه هم به هر نوبت گفت‌وگو (Turn) تحمیل نمی‌شود.

قوانین و گاردریل‌های محیط اجرا

گاردریل‌های (Guardrails) فریم‌ورک قوانین را در طول یک نوبت گفت‌وگو اعمال می‌کنند. فایل قوانین، قراردادی انسان‌فهم است که آن گاردریل‌ها پیاده‌سازی‌اش می‌کنند، و ابزار ارزیابی نیز در CI اثبات می‌کند که محیط اجرا کار درست را انجام داده است. شما به هر دوی آن‌ها نیاز دارید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا به‌جای کامنت کردن یک قانون منسوخ، باید آن را حذف کرد؟ پاسخ مورد انتظار: میز کار (Workbench) منبع حقیقت (Source of Truth) است؛ قانونی که کامنت شود ممکن است همچنان توسط ایجنت خوانده شود، در حالی که ارزیاب آن را نادیده می‌گیرد.
  • سطح 3: قانونی می‌گوید از شیوه‌نامه‌ی کدنویسی منتشرشده پیروی کنید. چرا این قانون با اصول این طراحی هم‌خوانی ندارد؟ پاسخ مورد انتظار: این قانون هیچ دستوری برای اعمال اجباری ندارد، بنابراین ایجنت می‌تواند انطباق (Compliance) جعلی بسازد؛ راه‌حل پیوند زدن آن با دستور مشخص لینت (Lint) است.
  • سطح 3: ارزیابی عدم قطعیت سیگنال خود را از کجا می‌گیرد؟ پاسخ مورد انتظار: از فایل وضعیت که فرضیات را فهرست می‌کند، و از یادداشت‌های پرسش؛ بنابراین فرضیه‌ای که بدون منبع و بدون یادداشت پرسش باشد، نقض قانون به حساب می‌آید.
  • سطح 4: این مجموعه‌قوانین چگونه قابلیت جابه‌جایی میان سه محصول مختلف ایجنت را حفظ می‌کند؟ پاسخ مورد انتظار: این فایل متنی Markdown به همراه نام توابع است؛ بنابراین هر محیط اجرا این ارزیابی‌ها را به‌شکل گاردریل‌ها یا وقفه‌های (Interrupt) اختصاصی خودش ثبت می‌کند، در حالی که فایل اصلی همچنان نقش قرارداد را دارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «همه‌ی قوانین را مسدودکننده‌ی قطعی کنید تا ایجنت آن‌ها را جدی بگیرد.» تیم‌ها زیر فشار ددلاین قوانین مسدودکننده را بی‌سروصدا تضعیف می‌کنند و در مجموعه‌قوانینی که همه‌چیز مسدودکننده باشد، در نهایت هیچ قانونی اجرا نمی‌شود.
  • «قوانین را داخل پرامپت (Prompt) بگذارید، جایی که مدل آن‌ها را بخواند.» مدل آن‌ها را می‌خواند ولی باز هم نمی‌تواند درستی‌شان را بررسی کند؛ در حالی که یک تابع ارزیابیِ نام‌گذاری‌شده، حکم ارزیابی (Verdict) یکسانی به محیط اجرا و بازبین تحویل می‌دهد.
  • «قوانین چون از دل حوادث گذشته آمده‌اند باید همیشگی باشند.» قانونی که هیچ‌وقت فعال نشود باز هم اتنشن (Attention) مصرف می‌کند؛ بنابراین تاریخ انقضا بازنگری را الزامی می‌کند تا قانون با ذکر دلیل حفظ شود، سطحش کاهش یابد یا حذف شود.

کجای دوره آموزش داده می‌شود

درس محدودیت‌های اجرایی فایل قوانین را به ارزیابی‌ها تبدیل می‌کند و یک اجرا را بر اساس آن امتیاز می‌دهد.