سؤال مصاحبه

دتکتور گفت بی‌خطر است، اما استریم قطع شد

The detector said benign and the stream was cut

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۹ دقیقه

گیت ایمنی (Safety Gate) شما بیشتر حملات را پیش از اجرای مدل مسدود می‌کند. در ردگیری محاسبات (Trace) مربوط به یک درخواست، دتکتور ورودی را بی‌خطر (benign) ارزیابی کرد؛ مدل شروع به پاسخ‌دهی و ارائه‌ی دستورالعملی کرد که هرگز نباید ارائه دهد؛ اما پاسخ پس از چند توکن قطع شد و به‌صورت یک متن ناقص پاک‌سازی‌شده (redacted partial) تحویل داده شد. توضیح دهید کدام لایه وارد عمل شد، چرا لایه‌ی اول متوجه نشد، و آیا این نتیجه درست است یا خیر.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

فیلتر استریمینگ (Streaming filter) وارد عمل شد: این فیلتر پنجره‌ی کوتاهی از چانک‌های (chunks) صادرشده را بافر می‌کند، آن را برای یافتن عبارت‌های ادامه‌دهنده‌ی شناخته‌شده می‌کاود، در صورت تطابق استریم را قطع می‌کند و خروجی را با وضعیت «پایان‌یافته پیش از موعد» (terminated early) علامت می‌زند؛ سیستم تجمیع‌کننده نیز این وضعیت را سیگنالی با شدت متوسط در نظر می‌گیرد و آن را به اقدام «پاک‌سازی داده‌های حساس» (redact) نگاشت می‌کند. دتکتور حمله را تشخیص نداد، چون پرامپت از یک ترفند انکودینگ یا تزریق پیشوند (prefix injection) استفاده کرده بود که قوانین ورودی سطح آن را پوشش نمی‌دادند. این نتیجه با توجه به معماری سیستم کاملاً درست است: ادامه‌ی پاسخ مخرب هرگز کامل نشد و ردگیری محاسبات این خطا را برای تیم دتکتور ثبت کرد.

پاسخ کامل

لایه‌ای که وارد عمل شد

گیت ایمنی در سه چک‌پوینت (Checkpoint) اجرا می‌شود. پیش از تولید پاسخ (Pre-generation) دتکتور قرار دارد. در طول تولید پاسخ، فیلتری روی استریم مدل اعمال می‌شود: پیاده‌سازی آزمایشی (mock) چانک‌هایی شامل 4 توکن تولید می‌کند، فیلتر تا 2 چانک را نگه می‌دارد، یک عبارت منظم (regex) از عبارت‌های ادامه‌دهنده را روی این پنجره اجرا می‌کند، و در صورت تطابق، ایتراتور (iterator) را متوقف کرده و خروجی ناقص را با برچسب پایان‌یافته پیش از موعد برمی‌گرداند. پس از تولید پاسخ (Post-generation)، مسیریاب (Router) دسته‌بندی‌کننده و موتور قوانین (Rules engine) روی متن تولیدشده اجرا می‌شوند.

چرا دتکتور متوجه نشد

دو دسته‌ی رده‌بندی (Taxonomy) طوری طراحی شده‌اند که از قوانین ورودی عبور کنند. ترفند انکودینگ، توکن‌های ممنوعه را در قالب base64، rot13، leet speak یا نویسه‌های با عرض صفر پنهان می‌کند؛ بنابراین مجموعه‌قوانینی که این قالب‌ها را رمزگشایی (decode) نکنند، چیزی نمی‌بینند. تزریق پیشوند نیز پرامپت را با نخستین کلمات پاسخ تمام می‌کند؛ در نتیجه مدل به‌جای تصمیم‌گیری، فرض می‌کند پاسخ مثبت است و ادامه می‌دهد. خود پرامپت هم در ظاهر می‌تواند کاملاً بی‌خطر باشد. پیاده‌سازی آزمایشی پروژه‌ی نهایی، دقیقاً روی همین زیرمجموعه از حملات به‌عمد خروجی ادامه‌دار مخرب تولید می‌کند تا تعامل میان لایه‌ها به‌وضوح دیده شود.

چرا پاک‌سازی داده‌های حساس و نه مسدودسازی کامل؟

قطع زودهنگام استریم یک سیگنال سطح متوسط به شمار می‌رود. بررسی پس از تولید روی متن ناقص، هیچ سیگنال سطح بالایی پیدا نکرد. از آنجا که بالاترین شدت سیگنال «متوسط» بود، اقدام نهایی پاک‌سازی داده‌های حساس تعیین شد: ابزارهای پاک‌سازیِ دسته‌بندی‌کننده و اصلاح‌گر (Fixer) قوانین روی متن ناقص اجرا می‌شوند و خروجی همراه با ردگیری محاسباتی ارسال می‌شود که حکم ارزیابی (verdict) دتکتور، الگوی تطبیق‌یافته‌ی قطع استریم، احکام ارزیابی پس از تولید، اقدام نهایی و تاخیر (Latency) را نشان می‌دهد.

با ردگیری محاسبات چه باید کرد؟

این پرامپت را همراه با دسته و سطح شدت آن به‌عنوان یک مجموعه‌داده‌ی نمونه (fixture) به رده‌بندی اضافه کنید. قاعده‌ای جدید برای خانواده‌ی این پرامپت به دتکتور اضافه کنید یا قواعد قبلی را تغییر دهید. اجراکننده‌ی (Runner) متریک‌ها را دوباره اجرا کنید و تغییرات بازخوانی (Recall) در آن دسته و همچنین نرخ مثبت کاذب (false positive) را در فهرست ورودی‌های بی‌خطر بررسی کنید. دلیل وجود ردگیری محاسبات این است که خطاهای سیستم به‌جای داستان، به یک مجموعه‌داده‌ی نمونه تبدیل شوند.

محدودیت این رویکرد

اندازه‌ی پنجره 2 چانک است. اگر یک عبارت ادامه‌دهنده در بیش از 2 چانک پخش شده باشد، از فیلتر عبور می‌کند و در این حالت، بررسی پس از تولید نقش سد نهایی را بازی خواهد کرد. گیت ایمنی‌ای که فقط پس از پایان مرحله‌ی تولید بررسی را انجام دهد، به حمله‌ی تزریق پیشوند اجازه می‌دهد پیش از انجام هرگونه بررسی، مراحل اجرای اقدام مخرب را به‌صورت استریم برای کاربر ارسال کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا فیلتر 2 چانک را نگه می‌دارد و هر چانک را به‌تنهایی بررسی نمی‌کند؟ پاسخ مورد انتظار: ممکن است یک عبارت ادامه‌دهنده در مرز بین دو چانک قرار بگیرد؛ وجود این پنجره به رجکس اجازه می‌دهد با هزینه‌ی اندکی تاخیر، کل عبارت را در این مرز ببیند.
  • سطح 3: این لایه برای کدام دسته‌های رده‌بندی طراحی شده است؟ پاسخ مورد انتظار: ترفندهای انکودینگ که از سد قوانین ورودی عبور می‌کنند، و تزریق پیشوند که در آن پرامپت کلمات آغازین پاسخ را مشخص می‌کند.
  • سطح 4: اقدام بعدی (next action) برای تیم دتکتور چیست و از کجا می‌فهمند عملکرد موفقی داشته است؟ پاسخ مورد انتظار: اضافه کردن پرامپت به عنوان یک مجموعه‌داده‌ی نمونه همراه با دسته‌ی آن، افزودن یا تنظیم یک قاعده، و بررسی میزان بازخوانی آن دسته و نرخ مثبت کاذب ورودی‌های بی‌خطر از طریق اجراکننده‌ی متریک‌ها.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «گیت ایمنی شکست خورد چون دتکتور گفت ورودی بی‌خطر است.» گیت ایمنی ساختاری چندلایه دارد تا خطای یک لایه توسط لایه‌ی بعدی مهار شود؛ ردگیری محاسبات نشان می‌دهد معماری سیستم کار می‌کند.
  • «وقتی استریم قطع شد نباید هیچ داده‌ای ارسال شود.» طراحی سیستم، قطع زودهنگام استریم را به اقدام پاک‌سازی داده‌های حساس نگاشت می‌کند و متن ناقص را پس از عبور از فیلترهای پاک‌سازی تحویل می‌دهد؛ مسدودسازی کامل نیازمند یک سیگنال با شدت بالا است.
  • «به‌جای این کار، کل خروجی را پس از پایان تولید اسکن کنید.» بررسیِ صرفاً پس از اتمام کار باعث می‌شود حمله‌ی تزریق پیشوند مراحل اقدام خود را پیش از هرگونه بررسی به‌صورت استریم برای کاربر بفرستد؛ هدف از وجود این فیلتر، قطع زودهنگام استریم است.

کجای دوره آموزش داده می‌شود

پروژه‌ی نهایی گیت ایمنی سرتاسری (End-to-end) فیلتر استریمینگ و ردگیری محاسبات را می‌سازد و پروژه‌ی نهایی رده‌بندی جیل‌بریک (Jailbreak) دسته‌هایی را تعریف می‌کند که به این لایه می‌رسند.