سؤال مصاحبه

رفع باگ لاگین پنج فایل را دستکاری کرد

A login fix touched five files

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۱۰ دقیقه

وظیفه‌ای (task) که به ایجنت (agent) محول شد، رفع یک باگ لاگین بود. تفاوت‌های بازنگری (diff) نشان می‌دهد که مسیر (route) لاگین، هلپر ایمیل، درایور پایگاه‌داده، فایل README و اسکریپت انتشار دستخوش تغییر شده‌اند. متن ثبت‌شده‌ی نشست، برای تک‌تک تغییرات دلیلی به‌ظاهر موجه می‌آورد. بازبین (reviewer) پول‌ریکوئست را رد می‌کند و از شما می‌پرسد کجای کار ایراد داشت و چطور جلوی تکرارش را بگیریم. چه پاسخی می‌دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این پدیده خزش دامنه (scope creep) است و تشخیص آن کار آسانی نیست؛ چون ایجنت برای هر قدم دلیلی با حسن نیت می‌آورد. راه‌حل این مشکل، پرامپت (prompt) سفت‌وسخت‌تر نیست؛ بلکه ثبت یک قرارداد روی دیسک است که فایل‌های مجاز و فایل‌های خط‌قرمزِ این وظیفه را دقیقاً مشخص کند، به‌همراه یک بررسی diff که خروجی نهایی را با مفاد این قرارداد بسنجد. این بررسی پیش از گیت (gate) اجرا می‌شود و نوشتن روی مسیرهای ممنوعه، اجرای وظیفه را متوقف می‌کند.

پاسخ کامل

چرا پرامپت مانع نشد؟

هر تغییر در سطح محلی دلیل موجهی داشت. مدل متوجه پایان مرز وظیفه نمی‌شود؛ بنابراین هر بار با موضوع مرتبطی روبه‌رو می‌شود، دامنه‌ی کار را گسترش می‌دهد. نوشتنِ «در دامنه‌ی کار بمان» در پرامپت، صرفاً یک آرزوست. فایلی که دقیقاً تعیین کند دامنه‌ی کار چیست، یک بررسی واقعی است.

قرارداد دامنه

فیلد هدف
task_id به تسکِ روی بورد اشاره می‌کند
goal تک‌جمله‌ای که بازبین بتواند آن را راستی‌آزمایی کند
allowed_files الگوهای glob از فایل‌هایی که ایجنت اجازه‌ی نوشتن روی آن‌ها را دارد
forbidden_files الگوهای glob از فایل‌هایی که ایجنت نباید حتی تصادفی دستکاری کند
acceptance_criteria دستورها یا خطوط assertion که تکمیل وظیفه را اثبات می‌کنند
rollback_plan یک پاراگراف از مراحلی که در صورت نیاز به توقف وظیفه، اپراتور می‌تواند آن را اجرا کند
approvals_required اقدامات خارج از دامنه‌ای که نیازمند تأیید نیروی انسانی است

دو نکته درباره‌ی این فیلدها وجود دارد: اول اینکه قراردادِ بدون forbidden_files ناقص است؛ زیرا نیمی از مفاد قرارداد را فضای منفی و خط‌قرمزها تشکیل می‌دهند. دوم اینکه به‌جای مسیرهای مستقیم، از الگوهای glob استفاده کنید تا جابه‌جایی فایل بین نشست‌ها (sessions) اعتبار قرارداد را باطل نکند.

بررسی‌کننده

بررسی‌کننده (checker) محتوای diff، الگوهای glob مجاز و الگوهای glob ممنوعه را می‌خواند؛ سپس نقض قانون‌ها (violations)، فایل‌های داخل دامنه و فایل‌های خارج از دامنه را گزارش می‌دهد. در این پول‌ریکوئست، دستکاری اسکریپت انتشار را به‌عنوان یک تغییر ممنوعه و ویرایش فایل README، هلپر ایمیل و درایور را به‌عنوان تغییرات خارج از دامنه گزارش می‌کند. شدت برخورد بر اساس دسته‌بندی مسیرها فرق دارد: ویرایش خارج از دامنه در docs/** فقط هشدار است، اما نوشتن در مسیرهای scripts/**، migrations/** یا پیکربندی‌های محیط عملیاتی (production) همیشه جلوی پیشروی کار را می‌گیرد. این تفاوت در برخورد، مستقیماً داخل قرارداد می‌نشیند؛ چراکه برای هر پروژه و هر وظیفه تفاوت می‌کند.

ماندگاری سیستم در جریان کار تیم

گرفتن ایرادهای ریز و متوقف کردن کار روی هر لغزش کوچک، باعث می‌شود اعضای تیم این دروازه را خاموش کنند. برای هر وظیفه یک بودجه‌ی نقض (violation budget) در نظر بگیرید تا لغزش‌های جزئی در حد هشدار بالا بیایند و صرفاً عبور از سقف بودجه، مانع merge شود. یکی از متخصصانی که قبل از هر بار اجرا قراردادهای دامنه را می‌نوشت، گزارش کرد که نرخ گم‌شدن ایجنت در مسیرهای فرعی (rabbit-hole)، ظرف سه هفته و با همان ایجنت، از 52 درصد به 21 درصد کاهش یافته است.

کنترل در لایه‌ی بالاتر

قرارداد فقط مرزهای یک وظیفه را مشخص می‌کند، نه کل پروژه را. ممکن است ایجنت قرارداد لاگین را رعایت کند، اما در نوبت گفت‌وگو (turn) بعدی سراغ ساخت صفحه‌ی تنظیمات برود. ارائه‌ی یک فایل feature_list.json که حداکثر یک ویژگی in_progress دارد، این شکاف را پر می‌کند. فایل‌های مجاز در قرارداد هر وظیفه باید دقیقاً داخل محدوده‌ی تغییرات همان ویژگیِ فعال بنشینند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: ایجنت برای رفع باگ به یک خط تغییر در هلپر ایمیل نیاز داشت. روند درست چه بود؟ انتظار می‌رود: بررسی‌کننده تغییرِ خارج از دامنه را پرچم‌گذاری کند، ایجنت سؤالش را مطرح کند و ناظر انسانی یا دامنه‌ی قرارداد را بزرگ‌تر کند یا از ایجنت بخواهد عقب‌نشینی کند.
  • سطح 3: وقتی با یک بازآرایی (refactor)، کد لاگین جابه‌جا می‌شود چطور قرارداد را معتبر نگه می‌دارید؟ انتظار می‌رود: الگوهای glob را با الگوهایی مثل app/**/login*.py بنویسید نه با مسیر دقیق، و پس از بسته شدن وظیفه قرارداد را آرشیو کنید.
  • سطح 3: دو قرارداد برای یک diff اعمال می‌شوند؛ یکی برای پروژه و دیگری برای وظیفه. قاعده‌ی merge چیست؟ انتظار می‌رود: اصل کمترین سطح دسترسی اعمال شود؛ یعنی اشتراکِ الگوهای مجاز، اجتماعِ الگوهای ممنوعه و اعمال سخت‌گیرانه‌ترین بودجه‌ی زمان واقعی (wall-clock budget).
  • سطح 4: الگوهای glob فایل تنها بُعد تعریف دامنه نیستند. چه چیزهای دیگری باید داخل قرارداد بیایند؟ انتظار می‌رود: بودجه‌ی زمان واقعی و لیست سفید خروج ترافیک شبکه (network egress)؛ چون ایجنت ممکن است دست به فایل‌های دیگر نزند اما به سرویسی بیرون از دامنه‌ی وظیفه درخواست بفرستد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «جمله‌ای به پرامپت اضافه کنیم که در دامنه‌ی کار بماند.» ایجنت خودش در هر مرحله فکر می‌کرد طبق دامنه پیش می‌رود؛ بنابراین این جمله بدون مکانیزم بررسی هیچ تأثیری ندارد.
  • «بررسی دقیق‌تر دستیِ diff.» این بار هم ناظر انسانی بعد از هدر رفتن بودجه و توکن‌های ایجنت متوجه ماجرا شد؛ در حالی که هدف ما گرفتن خطا قبل از ساخته شدن پول‌ریکوئست است.
  • «مسدود کردن هر تغییری خارج از فایل‌های وظیفه.» توقف فرایند به‌خاطر ویرایش یک README کاری می‌کند تیم گیتِ بررسی را دور بزند و خاموش کند؛ بنابراین برای مسیرهای کم‌خطر هشدار بدهید و توقف را برای اسکریپت‌ها و مایگریشن‌ها بگذارید.

کجای دوره آموزش داده می‌شود

در درس قراردادهای دامنه، ساخت قرارداد دامنه، ابزار بررسی diff و فهرست ویژگی‌ها را پیاده‌سازی می‌کنیم.