سؤال مصاحبه

پنج فراخوانی یکسان، پنج رد پیاپی، خروج با کد 1

Five identical calls, five rejections, exit 1

  • سطح ۴: استف
  • اشکال‌یابی
  • ۱۲ دقیقه

یک ایجنت هماهنگ‌کننده در CI با --exec --json اجرا می‌شود. جریان رویدادها نشان می‌دهد فراخوانی run_background_agent پنج بار پشت‌سرهم تکرار شده و هر بار با پیام The user rejected the tool call. پاسخ گرفته است؛ سپس خطای Error: Agent terminated: detected 5 consecutive identical calls to run_background_agent ثبت می‌شود. همین فایل ایجنت همان روز صبح روی لپ‌تاپ درست کار کرده بود. زنجیره‌ی این اتفاق را توضیح دهید، آن را برای اجراهای خودکار و بدون نظارت اصلاح کنید و آزمونی اضافه کنید که این تغییر را پیش از رسیدن به CI شناسایی می‌کرد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

محیط بی‌سر (Headless) یعنی کسی نیست که به tool_call_confirmation پاسخ دهد؛ بنابراین محیط اجرا پرامپت تایید را به رد درخواست تبدیل کرده است. ابزار run_background_agent به این دلیل درخواست تایید داد که برچسب آن unknown است، در فایل ایجنت هیچ حالت امنیتی مشخص نشده بود و هیچ الگوی allow هم آن را نام نبرده بود؛ مدل نیز فراخوانی را تا رسیدن به سقف max_consecutive_tool_calls (با مقدار پیش‌فرض 5) تکرار کرد و در نهایت اجرا با کد خروج 1 پایان یافت. راهکار: استفاده از --safety restricted به‌همراه قواعد allow برای run_background_agent و ابزارهایی که خود ساب‌ایجنتِ پس‌زمینه فراخوانی می‌کند؛ چراکه درون یک وظیفه‌ی در حال اجرا، هر فراخوانی نیازمند تایید، خودبه‌خود رد می‌شود. ابزار transfer_task به هیچ مجوزی نیاز ندارد، چون تنها ابزاری است که همیشه و بدون پرامپت تایید می‌شود. برای محافظت در برابر این تغییر، دو نشست ثبت‌شده ضبط کنید و دستور docker-agent sessions diff --fail-on-divergence -- -1 -2 را اجرا کنید؛ این دستور فراخوانی‌های ابزار را مقایسه می‌کند، متن‌ها را نادیده می‌گیرد و با اولین مغایرت متوقف می‌شود.

پاسخ کامل

سه روش برای به‌کارگیری ایجنت دیگر

سازوکار اضافه‌شده با نحوه‌ی عملکرد
transfer_task sub_agents فرزند در یک نشست فرعی تمیز اجرا می‌شود، پیام سیستمی حاوی شرح وظیفه را دریافت می‌کند، پاسخ خود را به‌عنوان نتیجه‌ی ابزار برمی‌گرداند و هرگز تاریخچه‌ی کاربر را نمی‌بیند
handoff handoffs ایجنت مشخص‌شده برای ادامه‌ی گفت‌وگو به ایجنت فعال تبدیل می‌شود و کل تاریخچه را می‌بیند
run_background_agent مجموعه‌ابزار background_agents وظیفه‌ای را آغاز می‌کند و بلافاصله شناسه‌ی آن را برمی‌گرداند؛ ابزارهای list، view و stop در ادامه‌ی آن می‌آیند

ابزار transfer_task همیشه بدون پرامپت تایید می‌شود. تحویل وظیفه به ایجنتی که از قبل در زنجیره حضور دارد با خطا روبه‌رو می‌شود و سطح تودرتویی نیز حداکثر به 10 محدود است. مدخلی در sub_agents که به یک رجیستری ارجاع می‌دهد، در صورت قفل نشدن روی دایجست (Digest)، تگ خود را در هر اجرا دوباره واکشی و حل می‌کند؛ این موضوع دومین دلیل تفاوت رفتار روی لپ‌تاپ و CI است.

چرا اجرا روی لپ‌تاپ موفق بود؟

لپ‌تاپ ترمینال تعاملی داشت. همان تاییدیه ظاهر شد و کاربری آن را تایید کرد، یا اینکه از قبل حالتی برای نشست تعیین شده بود. نشستی که هیچ حالتی برای آن تعیین نشود، همان پیش‌فرض قدیمی را نگه می‌دارد: ابزارهای فقط‌خواندنی اجرا می‌شوند و همه‌ی ابزارهای دیگر تایید می‌خواهند. در CI کسی برای پاسخ به این درخواست نیست؛ بنابراین پاسخ رد به‌عنوان نتیجه‌ی ابزار به مدل برمی‌گردد، مدل برنامه‌اش را عوض نمی‌کند و آشکارساز حلقه جلوی اجرا را می‌گیرد. فایل session.db مقدار safety_policy را به‌ازای هر نشست ذخیره می‌کند، بنابراین بعداً می‌توانید ببینید هر اجرای ناموفق با چه حالتی اجرا شده است.

مراحل رفع مشکل، به‌ترتیب

  1. پرچم --safety restricted؛ تا فراخوانی‌های safe بدون تطابق اجرا شوند و فراخوانی‌های destructive و unknown به‌جای نمایش پرامپت، با رویکرد ایمن‌درخرابی (Fail-closed) مسدود شوند.
  2. الگوهای allow برای run_background_agent و ابزارهایی که ساب‌ایجنتِ پس‌زمینه به کار می‌برد؛ زیرا درون یک وظیفه‌ی در حال اجرا، فراخوانی‌هایی که معمولاً تایید می‌خواستند، خودبه‌خود رد می‌شوند.
  3. حفظ deny برای کارهای تخریبی؛ هیچ حالت و هیچ هوکی نمی‌تواند اثر deny را لغو کند.
  4. قفل کردن ارجاعات خارجی ساب‌ایجنت روی دایجست.
  5. اجرای ایجنت درون ساندباکس برای جداسازی؛ زیرا دسترسی‌ها از سمت کلاینت اعمال می‌شوند.

آزمون جلوگیری از بازگشت باگ

یک اجرا را با --record=PATH و --models-gateway ضبط کنید، آن را با --fake بازپخش کنید و دو نشست را با sessions diff بسنجید. خود مثال راهنما خطا می‌دهد چون پارسر -1 را پرچم تلقی می‌کند؛ پیش از شناسه‌ها -- بگذارید. یک جفت بازپخش یکسانِ ضبط‌شده، رفتاری همسان را در تمام نوبت‌های گفت‌وگو گزارش می‌دهد؛ درحالی‌که اگر اجرایی ابتدا ابزار متفاوتی را فراخوانی کرده باشد، در نوبت گفت‌وگوی 0 دچار مغایرت شده و با پرچم --fail-on-divergence با کد 1 خارج می‌شود. هنگام ضبط، طوری تنظیم کنید که در هر پیام فقط یک فراخوانی ابزار انجام شود؛ چون نوبتی با دو فراخوانی موازی، نتایج را به‌ترتیب تکمیل اضافه می‌کند و بازپخش با خطای requested interaction not found روبه‌رو می‌شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا transfer_task به allow نیازی ندارد اما run_background_agent نیاز دارد؟ پاسخ مورد انتظار: تفویض وظیفه از اساس طوری طراحی شده که همیشه تایید شود، اما شروع در پس‌زمینه یک فراخوانی ابزار معمولی است که وضعیت آن بر اساس حالت امنیتی و الگوها تعیین می‌شود.
  • سطح 3: دستور sessions diff -1 -2 با خطای پرچم کوتاه ناشناخته متوقف می‌شود. چرا، و چه باید نوشت؟ پاسخ مورد انتظار: پارسر عبارت -1 را پرچم می‌خواند؛ باید نوشت: sessions diff -- -1 -2.
  • سطح 4: ساب‌ایجنت نویسنده به‌جای خوانده شدن از فایل، با تگ از رجیستری دریافت می‌شود. چه چیزی ممکن است بین لپ‌تاپ و CI تغییر کند؟ پاسخ مورد انتظار: تگ در هر بار اجرا دوباره حل و واکشی می‌شود؛ بنابراین باید آن را روی دایجست قفل کرد.
  • سطح 4: چرا به‌جای متن پاسخ دستیار، فراخوانی‌های ابزار را مقایسه می‌کنیم؟ پاسخ مورد انتظار: مدل زنده هر بار پاسخ متنی را با نگارشی متفاوت می‌نویسد، اما توالی فراخوانی‌های ابزار همان رفتاری است که تحویل داده‌اید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «در CI از --yolo استفاده کنید تا هیچ پرامپتی نمایش داده نشود.» این همان autonomous است؛ فراخوانی‌های تخریبی هم اجرا می‌شوند. درحالی‌که restricted جلوی آن‌ها را با مسدودسازی می‌گیرد.
  • «مقدار max_consecutive_tool_calls را زیاد کنید.» این کار حلقه را پنهان می‌کند؛ خطا در همان رد شدن درخواست است و آشکارساز حلقه وظیفه‌اش را درست انجام داده است.
  • «تفاوت‌های رونوشت گفت‌وگوها را مقایسه کنید.» متن در هر اجرا تغییر می‌کند؛ دستور sessions diff توالی فراخوانی‌های ابزار را می‌سنجد و با اولین مغایرت متوقف می‌شود.

کجای دوره آموزش داده می‌شود

بخش ساب‌ایجنت‌ها سناریوی رد فراخوانی پس‌زمینه و آشکارساز حلقه را پوشش می‌دهد، بخش سطوح دسترسی جدول حالت‌ها و اولویت‌ها را بررسی می‌کند، و بخش نشست‌ها کار با sessions diff و قواعد بازپخش را توضیح می‌دهد.