سؤال مصاحبه

طراحی لایه‌ی اجرایی فراخوانی ابزارها در ایجنت

Design the executor behind an agent's tool calls

  • سطح ۳: ارشد
  • طراحی
  • ۱۵ دقیقه

لایه‌ی اجرایی (executor) را برای ایجنتی طراحی کنید که می‌تواند از طرف کاربر پایگاه داده را کوئری بزند، تکه‌کدهای کوچک را اجرا کند و فایل‌ها را بخواند. مدل تصمیم می‌گیرد کدام ابزار فراخوانی شود. مجری چه قوانینی را اعمال می‌کند و هرگز چه کارهایی انجام نمی‌دهد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مجری هرگز SQL یا متن شل (shell) تولیدشده توسط مدل را مستقیماً به سیستم نمی‌فرستد. در عوض، فهرست مجازی (allowlist) از توابع مشخص با پارامترهای نوع‌دار تعیین می‌کند، پیش از اجرا تک‌تک آرگومان‌ها را با اسکیما (schema) می‌سنجد، نتایج ابزارها را پیش از بازگشت به مدل پاک‌سازی می‌کند و تعداد فراخوانی‌ها را به 10 تا 20 بار در هر گفت‌وگو محدود می‌سازد. برای اجرای کد، فیلتر درون‌فرایندی (in-process) فقط جنبه‌ی آموزشی دارد و مرز امنیتی محسوب نمی‌شود؛ کدهای غیرقابل‌اعتماد باید درون فرایند یا کانتینری جداگانه اجرا شوند.

پاسخ کامل

پنج قانون اساسی

  1. هرگز SQL تولیدشده را به پایگاه داده نفرستید. مدل می‌تواند دستورهای مخرب و حملات تزریق (injection) تولید کند و حتماً این کار را خواهد کرد. در تمرین این درس، ابزار طوری طراحی می‌شود که نام جدول و شرایط فیلتر را بگیرد؛ جدول‌ها در یک فهرست مجاز قرار دارند و عملگرها به مجموعه‌ای محدود مقید می‌شوند؛ کد شما کوئری نهایی را می‌سازد.
  2. فهرست مجاز توابع را تعیین کنید. مدل فقط توابعی را صدا می‌زند که شما مشخص کرده‌اید. اگر پنجاه تابع داخلی وجود دارد، همان پنج موردی را در دسترس قرار دهید که کاربر نیاز دارد. هرگز ابزار عمومیِ «فراخوانی با نام» (call-by-name) نسازید.
  3. آرگومان‌ها را اعتبارسنجی کنید. پیش از اجرا، فیلدهای اجباری، فیلدهای ناشناخته، نوع داده‌ها و عضویت در مقادیر مجاز (enum) را با اسکیما مطابقت دهید؛ نام یک شهر هم می‌تواند حامل رشته‌ی تزریق کد باشد.
  4. نتایج را پاک‌سازی کنید. خروجی ابزار عیناً به پرامپت برمی‌گردد؛ بنابراین کلیدها، داده‌های شخصی و خطاهای داخلی را حذف کنید و با دستورالعمل‌های پنهان درون خروجی، مثل آلوده‌سازی ابزار (Tool Poisoning) برخورد کنید.
  5. سقف فراخوانی تعیین کنید. یک حلقه می‌تواند ابزاری را صدها بار صدا بزند؛ بازه‌ی پیشنهادی این درس 10 تا 20 فراخوانی در هر گفت‌وگو است، به همراه تعداد تلاش مجددِ محدود برای هر فراخوانی ناموفق.

ابزار کار با فایل

هر مسیری را که شامل ارجاع به پوشه‌ی بالاتر یا اسلش در ابتدای مسیر باشد رد کنید، و یک خطای ساختاریافته به همراه فهرستی از فایل‌های موجود برگردانید. ساختار خطا اهمیت دارد: پیام، کد خطا و پیشنهادها به مدل کمک می‌کنند آرگومان‌هایش را تصحیح کند؛ پاسخ خالی یا خطای عمومی کمکی به مدل نمی‌کند.

ابزار اجرای کد

فهرست سیاه زیررشته‌ای (substring blocklist)، کد را صرفاً متنی می‌بیند و هر چیزی را که دقیقاً مطابق آن نوشته نشده باشد نادیده می‌گیرد. در مقابل، تجزیه‌ی کد به درخت نحو (syntax tree) به محافظ امکان می‌دهد وارد کردن ماژول‌ها (import)، دسترسی به خصوصیات داندر (dunder) و نام‌های ناامن را بر اساس ساختار رد کند. با این حال، حتی چنین محافظی با کدی که اجرا می‌کند مفسر مشترک دارد و یک کاربر مصمم می‌تواند به اشیای در دسترس برسد. در محیط عملیاتی (production)، کد غیرقابل‌اعتماد درون فرایندی جداگانه با دسترسی‌های محدود، در یک ساندباکس (sandbox) یا در یک اجراکننده (runner) میزبانی‌شده اجرا می‌شود تا در صورت فرار از محیط، به یک جعبه‌ی دورریختنی محدود بماند.

آنچه مدل هرگز انجام نمی‌دهد

مدل هرگز چیزی را اجرا نمی‌کند؛ تنها یک نام و چند آرگومان تحویل می‌دهد. تمام مراحل بعد از آن با کد شماست و تک‌تک قوانین بالا در همان‌جا اعمال می‌شوند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا فهرست سیاه زیررشته‌ای برای ابزار کد کافی نیست؟ انتظار می‌رود: چون املا را تطبیق می‌دهد نه ساختار را؛ درخت نحوِ تجزیه‌شده می‌تواند ایمپورت‌ها، دسترسی به داندرها و نام‌های ناامن را از روی ساختار رد کند؛ تازه همان هم با کد مفسر مشترک دارد.
  • سطح 3: چطور ابزار پایگاه داده را طراحی می‌کنید تا مدل هرگز خودش SQL ننویسد؟ انتظار می‌رود: نام جدول و شرایط فیلتر را بگیرد، جدول‌ها در فهرست مجاز باشند، عملگرها محدود شوند و کوئری درون کد شما ساخته شود.
  • سطح 4: آلوده‌سازی ابزار چیست و کنترل آن در کجاست؟ انتظار می‌رود: خروجی‌هایی که حامل دستورالعمل‌هایی برای مدل هستند؛ تمام نتایج باید قبل از بازگشت پاک‌سازی شوند و داده‌های حساس مثل کلیدها و خطاهای داخلی حذف گردند.
  • سطح 4: اگر ایجنت روی ابزاری که خطا می‌دهد در حلقه بیفتد، چه چیزی جلوی آن را می‌گیرد؟ انتظار می‌رود: سقف تعداد فراخوانی در هر گفت‌وگو (10 تا 20 بار در این درس)، خطاهای ساختاریافته که به مدل اجازه‌ی اصلاح آرگومان‌هایش را بدهند، و سقف حدود 3 بار تلاش مجدد به ازای هر فراخوانی.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل رفتارش درست است، بعداً پارامتری‌سازی می‌کنیم.» مدل می‌تواند کوئری‌های مخرب یا حملات تزریق تولید کند و حتماً این کار را خواهد کرد؛ قانون این است که هرگز نباید SQL تولیدی آن را مستقیماً عبور داد.
  • «یک ابزار عمومی که هر تابعی را اجرا کند ساده‌تر است.» فهرست مجاز یک اصل است: همان پنج تابعی را ارائه دهید که کاربر نیاز دارد، نه هر پنجاه تابع را.
  • «فیلتر کد جلوی ایمپورت‌ها را می‌گیرد، پس امن است.» این فیلتر با کدی که اجرا می‌کند مفسر مشترک دارد؛ محیط عملیاتی به فرایند یا کانتینر مجزا نیاز دارد.

کجای دوره آموزش داده می‌شود

درس فراخوانی تابع پنج قانون امنیتی را بیان می‌کند، اعتبارسنج آرگومان و محافظ‌های فایل و کد را می‌سازد و بودجه‌ی فراخوانی را تعیین می‌کند.