سؤال مصاحبه

چرا اجرای pwd در یک بار رد شد و در بار بعدی انجام گرفت؟

pwd was rejected in one run and ran in the next

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

در یک فایل ایجنت قواعد allow: shell:cmd=echo* و deny: shell:cmd=rm* تعریف شده‌اند و ایجنت در CI بدون نظارت با --exec اجرا می‌شود. یک فراخوانی pwd در یک اجرا رد شد و در اجرای دیگر انجام گرفت. ترتیب اولویت تصمیم‌گیری را توضیح دهید، حالت امنیتی (safety mode) مناسب برای اجرای بدون نظارت را انتخاب کنید و بگویید سیستم مجوزها چه چیزهایی را تضمین نمی‌کند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

تصمیم‌گیری درباره‌ی هر فراخوانی به‌ترتیب زیر انجام می‌شود: ابتدا هوک‌های پیش‌گیرنده‌ی pre_tool_use (با رفتار preempting)، سپس قواعد deny، بعد allow، بعد ask، سپس حالت امنیتی بر اساس برچسب فراخوانی، بعد هوک‌های پیش‌فرض و در نهایت خود کاربر. دستور pwd با هیچ الگویی مطابقت نداشت و برچسب safe داشت؛ بنابراین در حالت strict درخواست تأیید شد و چون ترمینالی در کار نبود، این درخواست به رد شدن انجامید، در حالی که حالت restricted به آن اجازه داد. برای اجراهای بدون نظارت حالت restricted را انتخاب کنید، زیرا به دستورات safe اجازه می‌دهد و دستورات destructive و unknown را رد می‌کند. مجوزها سمت کلاینت اعمال می‌شوند؛ در مستندات آمده است که این مجوزها جلوی خطاهای ناخواسته را می‌گیرند و برای ایجنتی که به آن اعتماد ندارید مرز امنیتی (security boundary) به حساب نمی‌آیند؛ بنابراین برای ایزوله‌سازی به ساندباکس نیاز دارید.

پاسخ کامل

جدول حالت‌های امنیتی

Mode safe destructive unknown
strict ask ask ask
balanced allow ask ask
restricted allow deny deny
autonomous allow allow allow

فلگ --yolo همان --safety autonomous است. اگر در یک نشست (session) هرگز حالتی انتخاب نشود، همان رفتار پیش‌فرض و قدیمی باقی می‌ماند: ابزارهای فقط‌خواندنی بدون پرامپت اجرا می‌شوند و هر ابزار دیگری نیاز به تأیید دارد. به همین دلیل فراخوانی wc -l در یکی از اجراهای ثبت‌شده با اینکه برچسب safe داشت باز هم درخواست تأیید کرد؛ زیرا ابزار shell ویژگی readOnlyHint: false دارد.

نتایج اجراهای ثبت‌شده چه چیزی را نشان داد؟

سه دستور در هر دو حالت strict و restricted بدون ترمینال اجرا شدند. دستور echo در هر دو اجرا شد چون با الگوی allow مطابقت داشت. دستور rm -rf در هر دو با پیام Tool 'shell' is denied by permissions configuration. رد شد. فقط رفتار pwd که با هیچ الگویی مطابقت نداشت بین دو حالت فرق کرد. الگوهای فایل ایجنت و تنظیمات کاربر با هم merge می‌شوند و deny از هر طرف که باشد، برنده است.

هوک چه چیزهایی را می‌تواند تغییر دهد و چه چیزهایی را نمی‌تواند؟

یک هوک command یک شیء JSON را از ورودی استاندارد (stdin) می‌خواند، پاسخش را با JSON در خروجی استاندارد (stdout) می‌دهد، با کد خروجی 2 فراخوانی را متوقف می‌کند، و مهلت زمانی پیش‌فرض آن 60 ثانیه است. هوکی که نشان preempt_yolo خورده باشد اول از همه اجرا می‌شود و هیچ حالت امنیتی یا قاعده‌ی allow نمی‌تواند deny یا ask آن را دور بزند. پاسخ allow این هوک فقط جنبه‌ی پیشنهادی دارد: هوک ثبت‌شده برای هر سه فراخوانی خروجی permission_decision: allow داد، ولی rm باز هم رد شد و strict هم همچنان برای pwd درخواست تأیید کرد. دو هوک داخلی تبدیل (transform hook) روی تمام فراخوانی‌ها اجرا می‌شوند، چون قابلیت redact_secrets (پاک‌سازی داده‌های حساس) به‌طور پیش‌فرض روشن است. وقتی یک پیام سه دستور را هم‌زمان خواست، هوک سه بار هم‌زمان اجرا شد و دو اجرا هم‌زمان در لاگ نوشتند؛ بنابراین هر رکورد را باید در قالب یک عملیات نوشتن مجزا (single write) ثبت کنید.

شکست در حالت بدون ترمینال (Headless)

با --exec و بدون ترمینال، کسی نیست که به tool_call_confirmation پاسخ دهد. در نتیجه نتیجه‌ی ابزار به The user rejected the tool call. تبدیل می‌شود و مدل مسیرش را عوض می‌کند یا حرفش را مدام تکرار می‌کند. بنابراین، یک اجرای بدون نظارت به حالت restricted همراه با قواعد allow صریح برای ابزارهایی که حتماً باید فراخوانی شوند نیاز دارد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا وقتی هیچ حالتی تنظیم نشده بود، یک دستور فقط‌خواندنی درخواست تأیید کرد؟ پاسخ مورد انتظار: رفتار پیش‌فرض و قدیمی فقط به ابزارهای فقط‌خواندنی اجازه می‌دهد، و shell مقدار readOnlyHint: false را اعلام می‌کند؛ در نتیجه برچسب آن کمکی نمی‌کند.
  • سطح 3: یک هوک پیش‌گیرنده برای فراخوانی rm پاسخ allow برمی‌گرداند. آیا دستور اجرا می‌شود؟ پاسخ مورد انتظار: خیر؛ allow از طرف یک هوک پیش‌گیرنده فقط جنبه‌ی پیشنهادی دارد و الگوی deny جلوی فراخوانی را می‌گیرد.
  • سطح 3: لاگ هوک شما خط‌های ناقص و درهم‌رفته دارد. چه اتفاقی افتاده است؟ پاسخ مورد انتظار: چندین نمونه‌ی هوک به‌طور هم‌زمان برای یک پیام اجرا شدند؛ هر رکورد را با یک بار نوشتن (single write) ثبت کنید.
  • سطح 4: حالت restricted چه مواردی را پوشش نمی‌دهد؟ پاسخ مورد انتظار: هر چیزی که از محیط اجرا (runtime) عبور نکند، ابزاری که برچسب آن اشتباه باشد، و خود هاست؛ برای ایزوله‌سازی، ایجنت را در یک ساندباکس اجرا کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «restricted یک مرز امنیتی است، پس هاست امن می‌ماند.» در مستندات آمده است که این لایه صرفاً برای جلوگیری از فراخوانی‌های ناخواسته است و سمت کلاینت اعمال می‌شود.
  • «در CI از autonomous استفاده کنید تا چیزی مسدود نشود.» این حالت به فراخوانی‌های destructive هم اجازه می‌دهد؛ در حالی که restricted در برابر آن‌ها رفتار fail-closed دارد و جلویشان را می‌گیرد.
  • «یک هوک می‌تواند فراخوانی مسدودشده توسط deny را مجاز کند.» deny از هر طرف باشد برنده است، و allow از طرف هوک فقط پیشنهاد به حساب می‌آید.

کجای دوره آموزش داده می‌شود

در بخش مجوزها بررسی این دو حالت و ورودی هوک آمده است، و در بخش اجرا تأیید بدون ترمینال که به رد شدن انجامید نشان داده شده است.