سؤال مصاحبه

دفاع در برابر تزریق فقط یک عبارت منظم است

The injection defense is one regex

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

همکارتان ماه گذشته یک سازوکار دفاعی برای تزریق پرامپت (prompt injection) مستقر کرد: یک عبارت منظم (regex) ساده که عبارت «ignore previous instructions» را پیدا می‌کند. همین هفته پرامپتی با متن «disregard the prior guidance» از این سد گذشت. همکارتان حالا می‌خواهد یک عبارت منظم دوم هم اضافه کند. قبل از انتشار هر چیزی چه سؤالی می‌پرسید، و یک شناساگر واقعی به‌جای آن چه شکلی دارد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

دقت (precision) و بازخوانی (recall) را به تفکیک هر رده‌ی حمله روی یک پیکره متنی (corpus) برچسب‌خورده بخواهید؛ سیستم دفاعی فعلی هرگز ارزیابی نشده، بنابراین هیچ‌کس نمی‌داند چه مواردی را پوشش می‌دهد. شناساگر، تابعی است که پرامپت را می‌گیرد و میزان اطمینانی بین 0 و 1 همراه با مناسب‌ترین رده‌ی منطبق را برمی‌گرداند. آن را لایه‌لایه بسازید: یک مرحله‌ی نرمال‌سازی، قواعد تطابق زیررشته، و عبارت‌های منظم در سطح توکن (token)، به‌طوری‌که هر قاعده یک رده و یک امتیاز پایه داشته باشد؛ و با هر تغییر، آن را روی مجموعه‌داده‌ی نمونه (fixture) و مجموعه‌ای از پرامپت‌های بی‌خطر اجرا کنید.

پاسخ کامل

چرا تکیه بر یک عبارت منظم، نمایشی توخالی است

هیچ‌کس از میزان دقت، بازخوانی، یا رده‌هایی که این عبارت منظم پوشش می‌دهد باخبر نیست. جمله‌بندی متفاوت بعدی از سد آن رد می‌شود، تیم مدل را مقصر می‌داند، و یک پچ (patch) ارزیابی‌نشده‌ی دیگر پشت سر اولی می‌آید. یک نسخه‌ی درست و اصولی، رفتاری قابل‌اندازه‌گیری دارد.

ساختار شناساگر

فهرستی از قواعد. هر قاعده یک نام، یک رده، و یک تابع امتیازدهی دارد که پرامپت را به مقداری در بازه‌ی 0 تا 1 تبدیل می‌کند. قاعده یا فعال می‌شود یا نمی‌شود؛ وقتی فعال شد، امتیازش نشان‌دهنده‌ی میزان اطمینان آن است. تجمیع‌کننده یک حکم ارزیابی (verdict) برمی‌گرداند: رده‌ای با بالاترین امتیاز همراه با بیشینه‌ی امتیاز درون همان رده. اگر هیچ قاعده‌ای فعال نشود، خروجی عدد 0 و برچسب «بی‌خطر» (benign) خواهد بود.

سه لایه، به ترتیب اجرا

  1. نرمال‌سازی. کاراکترهای با عرض صفر و کنترل جهت متن را حذف کنید، یک نسخه‌ی کاری از متن را به حروف کوچک ببرید، رشته‌های base64 ،rot13 و hex را رمزگشایی (decode) کنید، و اعداد leet را به حروف متناظرشان برگردانید. متن خام را کنار نسخه‌ی دست‌کاری‌شده نگه دارید.
  2. قواعد زیررشته. عبارت‌های دستی مانند «ignore previous»، «as an unrestricted»، «answer starting with»؛ هر کدام با یک رده و یک امتیاز پایه.
  3. قواعد عبارت منظم. الگوهایی در سطح توکن که خانواده‌های کلمات را به دام می‌اندازند؛ مانند الگویی روی ساقه‌ی (stem) ignore که بعد از آن یکی از کلمات all ،prior ،previous یا earlier بیاید. تغییر نگارش مطرح‌شده در صورت مسئله، با چنین قاعده‌ای در سطح خانواده‌ی کلمات مهار می‌شود، نه با اضافه کردن یک رشته‌ی عینی دوم.

ارزیابی

اجراکننده‌ی (runner) معیارها، پیکره متنی رده‌بندی (taxonomy) و فهرستی از پرامپت‌های بی‌خطر را می‌خواند. برای هر رده، مثبت واقعی (true positive) نمونه‌ای از همان رده با حکم ارزیابی متعلق به همان رده است؛ مثبت کاذب (false positive) صدور حکم ارزیابی آن رده برای نمونه‌ای از یک رده‌ی دیگر یا متنی بی‌خطر است؛ منفی کاذب (false negative) نمونه‌ای از آن رده با حکمی متفاوت یا برچسب بی‌خطر است. این ابزار دقت، بازخوانی و شمارش خام را به تفکیک رده ثبت می‌کند؛ همچنین مواردی را که شناساگر عمداً در آن‌ها به خطا می‌افتد نشان می‌دهد، مثل سناریوهای بازی نقش (role play) که در ظاهر بی‌خطر به نظر می‌رسند.

جایگاه شناساگر در سیستم

شناساگر فقط یکی از چند سیگنالی است که دروازه‌ی ورودی (gate) ترکیب می‌کند. این مؤلفه روی ترفندهای انکودینگ و نادیده‌گرفتن دستورالعمل (instruction override)، اولویت را به بازخوانی بالا می‌دهد و برای سناریوهای بازی نقش، دقت متوسط را می‌پذیرد؛ چرا که این سناریوها مرز باریکی با نوشتن خلاقانه دارند و با سیگنال‌های دیگر مدیریت می‌شوند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: مثبت کاذب را برای رده‌ی instruction override تعریف کنید. پاسخ مورد انتظار: رده‌ی نمونه چیز دیگری باشد یا متن بی‌خطر باشد، اما حکم ارزیابی، instruction override صادر شود.
  • سطح 2: چرا قواعد را به‌جای کد، در قالب داده نگه می‌داریم؟ پاسخ مورد انتظار: هر قاعده با نام، رده و امتیاز قابل‌بازرسی است و افزودن قاعده‌ی جدید، موتور اصلی را تغییر نمی‌دهد.
  • سطح 3: چرا شناساگر در یک رده فعال‌شدن‌های کاذب بیشتری را نسبت به رده‌های دیگر تحمل می‌کند؟ پاسخ مورد انتظار: حملات بازی نقش با درخواست‌های مشروع نوشتن خلاقانه درمی‌آمیزند؛ دروازه در این موارد سیگنال‌های دیگری اضافه می‌کند، درحالی‌که شناساگر در برابر ترفندهای انکودینگ و override، اولویت را به بازخوانی بالا می‌دهد.
  • سطح 3: چطور تصمیم می‌گیرید کدام قاعده را حذف کنید؟ پاسخ مورد انتظار: به ازای هر قاعده بشمارید که با حذف آن چند مثبت واقعی از دست می‌رود، و قواعد را بر اساس این سهم نهایی مرتب کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «عبارت منظم دوم را اضافه کنید و رد شوید.» پچ‌های بدون ارزیابی روی هم تلنبار می‌شوند؛ بدون داشتن دقت و بازخوانی به تفکیک رده، نمی‌توانید بگویید این جفت عبارت منظم با هم چه چیزهایی را پوشش می‌دهند.
  • «قواعد را با یک مدل طبقه‌بند جایگزین کنید.» طبقه‌بند فقط یک سیگنال دیگر است؛ قواعد شفاف و قابل‌بازرسی هستند و اجراکننده‌ی معیارها هر دو را به یک شکل می‌سنجد.
  • «خود مدل در هر صورت باید درخواست را رد می‌کرد.» شناساگر وجود دارد تا دروازه‌ی ورودی وابسته به یک لایه‌ی منفرد نباشد؛ مقصر دانستن مدل همان دلیلی است که کار را به انتشار اولین عبارت منظم کشاند.

کجای دوره آموزش داده می‌شود

پروژه‌ی پایانی شناساگر تزریق پرامپت این شناساگر را به‌صورت یک تابع اندازه‌گیری‌شده تعریف می‌کند و سه لایه و معیارهای مبتنی بر هر رده را ارائه می‌دهد.