سؤال مصاحبه

تمام اقدامات تأیید شدند، اما اجرا همچنان مخرب بود

Every action was approved, and the run was still harmful

  • سطح ۳: ارشد
  • مفهومی
  • ۱۰ دقیقه

یک اجرای برنامه‌نویسی بدون‌ناظر از حالتی استفاده کرد که در آن مدلی مجزا، هر اقدام را پیش از اجرا بررسی می‌کند. بازرسی نشان می‌دهد که بازبین (reviewer) تک‌تک اقدامات را تأیید کرده است. با این حال، در طول اجرا یک مجموعه‌داده‌ی محرمانه در مخزنی عمومی کپی شد. توضیح دهید این اتفاق چطور ممکن است و کنترل‌هایی را نام ببرید که می‌توانستند جلوی آن را بگیرند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

بازبین هر اقدام را جداگانه با درخواست می‌سنجد. تک‌تک اقدامات این اجرا به‌تنهایی مجاز بودند: خواندن فایلی که متعلق به شماست، نوشتن در فایلی که متعلق به شماست، commit و push. آسیب اصلی در ترکیب این اقدامات نهفته بود و بازبین، نیت (intent) کاربر را در طول مسیر کامل اجرا (trajectory) بازسازی و ارزیابی نمی‌کند. کنترل‌هایی که جلوی این سناریو را می‌گیرند بیرون از بررسی تک‌تک اقدامات قرار دارند: فضای کاری ایزوله بدون هیچ مانت حساسی، فهرست مجاز خروج ترافیک شبکه (network egress allowlist) در قرارداد دامنه (scope contract)، سقف مجاز برای اقدامات هر ابزار، و بازرسی مسیر کامل اجرا پس از پایان کار برای کشف مواردی که از سایر کنترل‌ها عبور کرده‌اند.

پاسخ کامل

مدل بازبین هر اقدام چه چیزهایی را می‌بیند و چه چیزهایی را نمی‌بیند

در این درس مواردی که دسته‌بند (classifier) شناسایی می‌کند فهرست شده‌اند: تزریق مستقیمی که به الگوی عملیاتی پرخطرِ شناخته‌شده‌ای تبدیل می‌شود، حلقه‌ای تکراری که در آن اقدام N+1 تقریباً همان اقدام N است، و دستور شل نامربوط در میانه‌ی یک نشست ویرایش فایل. در عین حال مواردی که دسته‌بند متوجه آن‌ها نمی‌شود نیز آمده است. تزریق پرامپت ظریف می‌تواند رفتار را بدون تولید حتی یک اقدام پرچم‌خورده تغییر دهد. تک‌تک اقدامات می‌توانند امن به نظر برسند، اما ترکیب آن‌ها در کل مسیر کامل اجرا مخرب باشد. خروج اطلاعات از طریق کانال‌های مشروع، مصداق بارز این قضیه است: نوشتن داده‌ها در فایلی که متعلق به شماست و سپس push به یک مخزن عمومی، دنباله‌ای از اقدامات کاملاً مجاز به حساب می‌آید.

چرا تکیه بر نیت کمکی نمی‌کند

بازبین، اقدام را با وظیفه‌ی اعلام‌شده و وضعیت نشست می‌سنجد، اما نمی‌پرسد که کل این زنجیره در نهایت به چه نتیجه‌ای می‌رسد. اگر از مدلی بخواهیم برای هر اقدام، نیت کاربر را استنتاج کند، بازبین علاوه بر کندتر شدن، قابل‌اعتمادتر هم نخواهد شد؛ چون متن تزریق‌شده در همان کانتکستی قرار دارد که باید خوانده شود.

کنترل‌ها

کنترل محل اعمال جلوی چه چیزی را می‌گیرد
فضای کاری ایزوله محیط اجرا (runtime)، بدون اطلاعات هویتی و دسترسی و بدون مانت‌های محیط عملیاتی (production) مجموعه‌داده از ابتدا اصلاً در دسترس نبود
فهرست مجاز خروج ترافیک شبکه قرارداد دامنه عملیات push به هاستی که جزئی از وظیفه نبوده است
سقف اقدامات هر ابزار کنترل‌های بودجه دنباله‌ای طولانی از دستورهای push یا fetch
بودجه‌ی زمانی قرارداد دامنه اجرایی که فراتر از بازه‌ی زمانی معمول برای سرکشی انسان ادامه پیدا کند
بازرسی مسیر کامل اجرا پس از پایان اجرا، روی جریان رویدادها جلوی هیچ چیزی را در همین اجرا نمی‌گیرد. ترکیب کلی اقدامات را کشف می‌کند—چیزی که هیچ بررسی تک‌اقدامی آن را نمی‌بیند—تا جلوی اجرای بعدی گرفته شود، اما نمی‌تواند یک push انجام‌شده را برگرداند

قرارداد دامنه جای مناسبی برای تعریف قاعده‌ی خروج ترافیک است، چون باید به ازای هر وظیفه تعیین شود. قاعده‌ی ادغام دو قرارداد نیز رویکردی سخت‌گیرانه دارد: اگر فهرستی تعیین نشده باشد اولویت با قرارداد دیگر است، اشتراک دو فهرست اعمال می‌شود، و یک فهرست خالی به‌معنای مسدودسازی همه‌چیز خواهد بود.

واقعیت ماجرا

مستندات اصلی، این حالت دسته‌بند را نسخه‌ی پیش‌نمایش پژوهشی معرفی کرده و یادآور می‌شوند که به‌تنهایی کافی نیست. ساختار مورد انتظار، دسته‌بند را با بودجه‌ها، فهرست‌های مجاز، ایزوله‌سازی و بازرسی ترکیب می‌کند. دسته‌بندی که در ارزیابی آفلاین قبول می‌شود، می‌تواند در نشستی که کانتکست کاربر در آن مبهم است رفتاری کاملاً متفاوت نشان دهد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا فهرست مجاز خروج ترافیک شبکه یک بُعد از دامنه به حساب می‌آید و نه تنظیمی در محیط اجرا؟ پاسخ مورد انتظار: هاست‌هایی که وظیفه مجاز است به آن‌ها وصل شود در هر وظیفه تغییر می‌کنند؛ بنابراین قاعده باید در قراردادِ مختص به همان وظیفه قرار بگیرد، یعنی همان‌جایی که الگوهای مسیر فایل و بودجه‌ی زمانی تعریف شده‌اند.
  • سطح 3: بازرسی مسیر کامل اجرا چه داده‌هایی را می‌خواند؟ پاسخ مورد انتظار: جریان رویدادهای فقط‌افزودنی (append-only) از فراخوانی‌های ابزار و نتایج آن‌ها؛ جریانی که یک مصرف‌کننده می‌تواند بدون اجرای دوباره‌ی مدل، آن را از هر نقطه‌ی دلخواهی بازپخش کند.
  • سطح 4: تزریق غیرمستقیم پرامپت (indirect prompt injection) را نمی‌توان کاملاً پچ کرد. این موضوع چه تأثیری روی طراحی می‌گذارد؟ پاسخ مورد انتظار: خروجی ابزارها را نامعتبر در نظر بگیرید، داده‌های در دسترس ایجنت را تا حد ممکن محدود کنید، مقصدهایی را که می‌تواند به آن‌ها داده ارسال کند محدود نگه دارید، و بپذیرید که شناسایی صرفاً یک لایه است و کنترل اصلی همان مهار مسیر (containment) است.
  • سطح 4: چطور مجموعه‌ی کنترل‌ها را پیش از اجرای بدون‌ناظر بعدی تست می‌کنید؟ پاسخ مورد انتظار: یک مسیر کامل اجرا بنویسید که در آن تک‌تک اقدامات تأیید شوند اما ترکیب آن‌ها مخرب باشد؛ سپس آن را در فضای کاری ایزوله اجرا کنید و مطمئن شوید که فهرست مجاز یا مانت‌ها جلوی آن را می‌گیرند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل بازبین ضعیف بوده، پس باید از مدلی بزرگ‌تر استفاده کرد.» بازبین بزرگ‌تر هم اقدامات را یکی‌یکی می‌سنجد و باز همان کانتکست تزریق‌شده را می‌خواند.
  • «دستورهای push دستی تأیید شوند و بقیه به‌طور خودکار.» عملیات push فقط یکی از چندین کانال مشروع است و داده‌ها پیش از آن هم با نوشتن‌های مجاز از محل محرمانه خارج شده بودند.
  • «مجموعه‌داده را داخل مخزن نگه دارید اما در پرامپت بنویسید که محرمانه است.» پرامپت صرفاً یک توصیه است؛ کنترل واقعی این است که مجموعه‌داده اصلاً به داخل فضای کاری مانت نشود.

کجای دوره آموزش داده می‌شود

درس حالت‌های دسترسی کم‌وکاستی‌های دسته‌بند را مشخص می‌کند و درس قراردادهای دامنه بودجه‌های زمانی و خروج ترافیک شبکه را به قرارداد می‌افزاید.