سؤال مصاحبه

ورودی تأیید شد، اما خروجی نشت کرد

The input passed and the output leaked

  • سطح ۲: میانی
  • طراحی
  • ۹ دقیقه

تمام درخواست‌های ارسالی به دستیار شما از شناساگر ورودی عبور می‌کنند؛ با این حال، هفته‌ی گذشته یکی از پاسخ‌ها حاوی آدرس ایمیل یک مشتری و بخشی از پرامپت سیستم بود. لایه‌ی خروجی را طراحی کنید، توضیح دهید چگونه سه دسته‌بند مجزا به یک اقدام واحد ترکیب می‌شوند و بگویید چه بر سر تاخیر می‌آید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سه دسته‌بند را روی خروجی مدل و پشت یک مسیریاب (Router) قرار دهید: سمیت بر اساس قوانین، داده‌های شخصی با عبارات باقاعده (Regex) برای ایمیل‌ها، شماره‌تلفن‌ها و الگوهای کارت‌های بانکی، و نشت دستورالعمل (Instruction leakage) از طریق همپوشانی سه‌گرامی (Trigram overlap) با پرامپت سیستم مشخص. هر دسته‌بند یک سطح شدت برمی‌گرداند؛ سپس مسیریاب بالاترین شدت را می‌گیرد و یک اقدام را اعمال می‌کند: مسدودسازی (Block) در سطح شدید، پاک‌سازی داده‌های حساس (Redaction) در سطح متوسط، هشدار در سطح ضعیف، و ثبت در لاگ در سطح بدون مشکل. دسته‌بندها را به‌صورت موازی با استریمینگ توکن‌ها اجرا کنید و آخرین چانک (Chunk) را تا رسیدن حکم ارزیابی (Verdict) نگه دارید. چانک‌های قبلی تا این لحظه ارسال شده‌اند؛ بنابراین اگر لازم است مسدودسازی یا پاک‌سازی داده‌های حساس کل پاسخ را پوشش دهد، کل پاسخ را نگه دارید و تاخیر حاصل را بپذیرید.

پاسخ کامل

چرا لایه‌ی خروجی وجود دارد؟

لایه‌ی ورودی می‌پرسد پرامپت چطور به اینجا رسیده است. لایه‌ی خروجی، فارغ از اینکه پرامپت چه بوده، می‌پرسد آیا محتوایی که قرار است ارسال شود قابل قبول است یا نه. مدل می‌تواند داده‌های شخصی را نشت دهد، عبارتی توهین‌آمیز را از توزیع داده‌های آموزشی خود تکرار کند یا پرامپت سیستم خود را پژواک دهد، بدون اینکه هیچ حمله‌ای در ورودی رخ داده باشد. نادیده‌گرفتن دسته‌بندی خروجی، به هر خانواده‌ی جدید از حملات، امکان دور زدن سیستم را با همان تلاش اول (One-shot bypass) می‌دهد.

حکم ارزیابی

هر دسته‌بند یک شیء فراخوانی‌پذیر (Callable) است که نام، امتیازی در بازه‌ی یکتایی (Unit range)، سطح شدتِ بدون مشکل، ضعیف، متوسط یا شدید، و فهرستی از یافته‌ها را بازمی‌گرداند. سه دسته‌بند عبارت‌اند از:

  • سمیت (Toxicity): فهرستی دست‌چین‌شده از کلمات کلیدی، با تطبیق محدود به فاصله‌ها (Whitespace-bounded matching) و یک پنجره‌ی نفی کوچک؛ به‌گونه‌ای که اگر جمله‌ای عبارت توهین‌آمیز را نفی کند، فعال نشود.
  • داده‌های شخصی (Personal data): عبارات باقاعده برای الگوهای رایج: ایمیل، تلفن، شماره تأمین اجتماعی، کارت اعتباری، آدرس IP.
  • نشت دستورالعمل: این دسته‌بند پرامپت سیستم را نگه می‌دارد و همپوشانی سه‌گرامی آن را با خروجی می‌سنجد؛ همپوشانی بالا نشانه‌ی نشت است.

مسیریاب

بالاترین سطح شدت اقدام
شدید (high) مسدودسازی، بازگرداندن امتناع مدل (Refusal) بر اساس خط‌مشی
متوسط (medium) پاک‌سازی داده‌های حساس با ماژول اختصاصی هر دسته‌بند
ضعیف (low) هشدار، ثبت در لاگ و افزودن یک اعلان ملایم
بدون مشکل (none) ثبت در لاگ و ارسال پاسخ دست‌نخورده

اولویت نهایی با مسدودسازی است. ترکیب پاک‌سازی داده‌های حساس با هشدار، به پاک‌سازی تبدیل می‌شود. هر دسته‌بند ماژول پاک‌سازی داده‌های حساسِ مختص به خود را دارد؛ در نتیجه خروجی‌ای که هم شامل توهین باشد و هم ایمیل، از هر دو ماژول عبور می‌کند: ایمیل به برچسب ایمیل پاک‌سازی‌شده، ارقام به برچسب کارت پاک‌سازی‌شده، عبارت توهین‌آمیز به برچسب زبان نامناسب پاک‌سازی‌شده تبدیل می‌شوند و در صورت نشت، خطوط شبیه به هدر پرامپت سیستم حذف می‌گردند. در نهایت، مسیریاب اقدامی شامل فعل اقدام، خروجی، سطح شدت، احکام ارزیابی و متادیتا را برای ردگیری محاسبات (Trace) صادر می‌کند.

تاخیر

دسته‌بندها به‌صورت موازی با استریمینگ توکن‌ها اجرا می‌شوند. گیت، آخرین چانک را بافر می‌کند، حکم ارزیابی را اعمال می‌نماید و سپس آن را رهاسازی (Flush) می‌کند. چانک‌های قبلی پیش از این به دست کلاینت رسیده‌اند؛ بنابراین یک آدرس ایمیل یا اسپن (Span) مربوط به پرامپت سیستم در چانک‌های اولیه، پیش از آنکه مسدودسازی یا پاک‌سازی داده‌های حساس فرصت عمل پیدا کنند، ارسال می‌شود. اگر این سطح از افشاگری پذیرفتنی نیست، کل پاسخ را پیش از اولین رهاسازی نگه دارید و تاخیر اضافی را بپذیرید. با دسته‌بندهای مبتنی بر قانون، این زمان اضافی نزدیک به صفر است؛ دسته‌بندهای عصبی زمان اختصاصی خود را اضافه می‌کنند، اما زیرساخت و لوله‌کشی کار (Plumbing) دقیقاً یکسان می‌ماند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا هنگام اختلاف نظر میان دو دسته‌بند، اولویت با مسدودسازی است؟ پاسخ مورد انتظار: مسیریاب بالاترین سطح شدت را در نظر می‌گیرد؛ بنابراین خطرناک‌ترین یافته نوع اقدام را مشخص می‌کند.
  • سطح 2: چرا هر دسته‌بند باید ماژول پاک‌سازی داده‌های حساسِ مستقل خودش را داشته باشد؟ پاسخ مورد انتظار: خروجی حاوی توهین و ایمیل باید از هر دو پاک‌ساز عبور کند؛ استقلال این ماژول‌ها ترکیب خودکار آن‌ها را ممکن می‌سازد.
  • سطح 3: بررسی نشت دستورالعمل چگونه بدون یک مدل کار می‌کند؟ پاسخ مورد انتظار: پرامپت سیستم را نگه می‌دارد و همپوشانی سه‌گرامی آن را با خروجی اندازه می‌گیرد؛ همپوشانی بالا سیگنال نشت است و خطوط مشابه هدر حذف می‌شوند.
  • سطح 3: تیم محصول معتقد است بررسی‌های خروجی تاخیری ایجاد می‌کند که توان پرداخت هزینه‌اش را ندارند. پاسخ مورد انتظار: دسته‌بندها به موازات استریمینگ اجرا می‌شوند و تنها چانک نهایی معطل می‌ماند، هرچند چانک‌های قبلی پیش از صدور حکم ارزیابی ارسال می‌شوند؛ در جاهایی که پذیرش این افشاگری ممکن نیست، باید کل پاسخ را نگه داشت، چرا که گزینه‌ی دیگر، یک دور زدن تک‌ضربه‌ای (One-shot bypass) برای هر خانواده‌ی جدید از حملات است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «شناساگر ورودی پیام را تأیید کرده، پس خروجی مشکلی ندارد.» لایه‌ی ورودی نمی‌تواند از خروجی‌هایی که خود مدل تولید می‌کند باخبر شود؛ مواردی مانند ناسزایی برگرفته از داده‌های آموزشی یا تکرارِ پرامپت سیستم.
  • «استفاده از یک دسته‌بند ادغام‌شده ساده‌تر است.» سه حکم ارزیابی مستقل با ماژول‌های پاک‌سازی اختصاصی خود با هم ترکیب می‌شوند؛ اما استفاده از یک مدل واحد مشخص نمی‌کند کدام یافته مبنای اقدام نهایی بوده است.
  • «برای احتیاط، همه‌چیز را پاک‌سازی کنید.» پاک‌سازی داده‌های حساس اقدامِ سطح متوسط است؛ یافته‌ی با شدت بالا باید مسدود شود، و یافته‌ی بدون مشکل باید همراه با ثبت در لاگ دست‌نخورده ارسال شود، وگرنه کیفیت محصول افت می‌کند.

کجای دوره آموزش داده می‌شود

پروژه‌ی پایانی یکپارچه‌سازی دسته‌بند محتوا به پیاده‌سازی این سه دسته‌بند، مسیریاب و ماژول‌های پاک‌سازی داده‌های حساس می‌پردازد.