سؤال مصاحبه

ایجنت مدعی شد تست‌ها پاس شده‌اند، اما اصلاً تستی اجرا نشده بود

The agent said the tests passed, and no test ran

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۱۰ دقیقه

یک پول‌ریکوئست از طرف یک ایجنت کدنویسی ثبت شده و ادعا می‌کند همه‌ی تست‌ها سبز هستند. بازبین (reviewer) آن را اجرا می‌کند و دو تست رد می‌شوند. لاگ تعامل (transcript) نشان می‌دهد ایجنت نوشته «در حال اجرای تست‌ها» و بلافاصله در خط بعدی آمده «همه‌ی تست‌ها پاس شدند»، بدون این‌که هیچ چیز دیگری بین این دو خط باشد. چه اتفاقی افتاده و چه سیستمی باید بسازید تا چنین ادعایی دیگر هرگز به دست بازبین نرسد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ایجنت خروجی را پیش‌بینی کرده، نه این‌که آن را خوانده باشد. یا دستوری اجرا نشده، یا دستور اجرا شده ولی خروجی‌اش در چرخه (loop) ثبت نشده است. راهکار دو بخش دارد: یک اجراکننده‌ی بازخورد (feedback runner) که تمام دستورها را همراه با کد خروج (exit code) آن‌ها ثبت کند، و یک گیت اعتبارسنجی (verification gate) که این لاگ‌ها را بخواند و تا وقتی تک‌تک دستورهای پذیرش (acceptance commands) اجرا نشده و با کد صفر خارج نشده باشند، از علامت‌گذاری وظیفه به عنوان «انجام‌شده» خودداری کند.

پاسخ کامل

این ادعا به سه شکل رخ می‌دهد

  1. دستوری اجرا نشده است. مدل کلماتی را تولید کرده که انتظار داشت در ادامه‌ی متن بیایند. هیچ اثری از argv، خروجی یا کد خروج در لاگ تعامل نیست.
  2. دستور اجرا شده، اما نتیجه هرگز بازنگشته است. اگر اجراکننده پیش از ثبت خروج خطا بدهد، چیزی برای خواندن به مدل نمی‌رسد و مدل این جای خالی را خودش پر می‌کند.
  3. نتیجه برگشته، اما خط خطا بریده شده است. اگر خروجی طولانی از انتها کوتاه شود، خط خلاصه‌ی نتایج که خطاها در آن گزارش می‌شوند از دست می‌رود.

در این سناریو، چون بین دو جمله هیچ رکوردی وجود ندارد، با حالت اول یا دوم روبه‌رو هستیم.

اجراکننده‌ی بازخورد

همه‌ی دستورها باید از دل یک پوشش‌دهنده (wrapper) واحد عبور کنند. رکورد ثبت‌شده شامل آرگومان‌های دقیق دستور (argv)، بخش پایانی stdout و stderr در دو فیلد مجزا، کد خروج، مدت‌زمان، زمان شروع و یک یادداشت تک‌خطی از انتظار ایجنت است. اجراکننده ابتدا (head) و انتهای (tail) خروجی را با الگویی ثابت و قرار دادن نشانگری برای خطوط حذف‌شده کوتاه می‌کند تا خط خطای پایانی حتماً باقی بماند. اگر اجراکننده پیش از ثبت کد خروج با خطا متوقف شود، رکورد حاوی exit_code: null و فیلد error خواهد بود و چرخه نباید با آن به جلو حرکت کند. خروجی ثبت نشود، پیشروی هم متوقف می‌شود.

گیت اعتبارسنجی

این گیت یک تابع خالص (pure function) روی دست‌سازه‌ها (artifacts) است. برای جلوگیری از این خطا، گیت سه مورد را در لاگ بازخورد بررسی می‌کند: همه‌ی دستورهای پذیرش در لاگ‌ها ثبت شده باشند، کد خروج هر کدام صفر باشد، و هیچ رکوردی خروج تهی (null) نداشته باشد. هر یک از این موارد یک یافته با سطح مسدودکننده (block-severity) به شمار می‌رود. این وضعیت مانع از ثبت passed: true می‌شود و فقط یک انسان می‌تواند با ارائه‌ی دلیل و شناسه‌ی کاربری در یک لاگ امضاشده آن را لغو کند (override کند). گیت داخل CI و پیش از تحویل وظیفه (handoff) اجرا می‌شود. بدون حکم ارزیابی (verdict) سبز، پول‌ریکوئستی هم در کار نیست.

چرا دستکاری مدل راه‌حل مسئله نیست؟

پرامپتی با مضمون «همیشه تست‌ها را اجرا کن»، در عمل یعنی از مدل بخواهیم درباره‌ی چیزی که نمی‌بیند با ما روراست باشد. وظیفه‌ی اجراکننده این است که نتیجه را مرئی کند؛ وظیفه‌ی گیت هم این است که ادعا را بررسی‌پذیر کند. هیچ‌کدام به مدل وابسته نیستند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا در رکوردها stdout و stderr در دو فیلد جداگانه نگهداری می‌شوند؟ پاسخ مورد انتظار: ابزارهای اجرای تست معمولاً خلاصه‌ی خطاها را در یک کانال و روند پیشرفت را در کانال دیگری می‌نویسند؛ ترکیب انتهای خروجی این دو می‌تواند خلاصه‌ی خطا را پشت خطوط گزارش پیشرفت پنهان کند.
  • سطح 2: ایجنت دستور پذیرش را اجرا می‌کند، دستور رد می‌شود، و در تلاش مجدد پاس می‌شود؛ گیت چه می‌بیند؟ پاسخ مورد انتظار: دو رکورد برای همان دستور که با شناسه‌ی دستور والد به هم متصل شده‌اند. گیت روی رکورد ناموفق مسدود می‌شود و passed: true صادر نمی‌کند، حتی اگر اجرای مجدد با کد صفر خارج شده باشد. رد شدن از این سد تنها با تایید دستی و امضاشده‌ی انسان ممکن است تا زنجیره‌ی تاریخچه‌ی خطاها همچنان شفاف بماند.
  • سطح 3: چرا گیت باید قطعی (deterministic) باشد و نباید از یک مدل داور (model judge) استفاده کرد؟ پاسخ مورد انتظار: گیت پاسخ می‌دهد که آیا وظیفه کامل شده است یا خیر؛ این ارزیابی باید برای دست‌سازه‌های یکسان همیشه یک حکم ارزیابی بدهد، در حالی که مدل داور نظری کیفی می‌دهد که جایگاه آن در مرحله‌ی بازبینی است.
  • سطح 4: گیت را کجای مسیر قرار می‌دهید تا امکان دور زدن آن وجود نداشته باشد؟ پاسخ مورد انتظار: در چند لایه؛ با یک pre-commit hook، یک بررسی وضعیت (status check) در CI، و یک گیت پیش از merge؛ تا اگر خطایی از یک لایه رد شد، لایه‌ی بعدی جلوی آن را بگیرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «به ایجنت بگویید خروجی تست‌ها را داخل لاگ تعامل کپی کند.» مدل می‌تواند چیزی را که انتظار دارد رخ دهد بنویسد، و بازبین هم نمی‌تواند تفاوت متن فرضی را با خروجی واقعی تشخیص دهد.
  • «به ایجنت اعتماد کنید و بگذارید CI مچش را بگیرد.» سیستم CI خطا را گرفت، اما پس از اینکه ادعای نادرست به دست بازبین رسید؛ هدف این است که ادعا را در مبدأ متوقف کنیم.
  • «تایم‌اوت شدن را معادل پاس شدن بدانید، چون تست‌ها کند بوده‌اند.» تایم‌اوت خروج null می‌دهد و چرخه باید از پیشروی روی خروج null خودداری کند.

کجای دوره آموزش داده می‌شود

در درس بازخورد محیط اجرا پیاده‌سازی اجراکننده را یاد می‌گیرید، و در درس گیت‌های اعتبارسنجی با ساخت گیتی آشنا می‌شوید که این رکوردها را می‌خواند.