تکلیف عملی. ما پیکره متنی از مجموعهدادههای نمونه (fixture corpus) شامل پرامپتهای حملهی برچسبخورده، فهرستی از پرامپتهای بیخطر (benign) و یک دستیار شبیهسازیشده (mock) را در اختیارتان میگذاریم که به سوالات بر اساس اسناد بازیابیشده پاسخ میدهد. گیت ایمنی (Safety Gate) را پیرامون آن بسازید: یک شناساگر ورودی که پوشش آن برای هر دستهبندی حمله اندازهگیری شود، بخش خروجی با دستکم دو دستهبند پشت یک مسیریاب (Router)، و یک ردگیری محاسبات (Trace) به ازای هر درخواست. اسناد بازیابیشده میتوانند حامل دستورالعمل باشند. چه چیزی تحویل میدهید، چگونه آن را میسنجید، و اعلام میکنید چه کارهایی را انجام ندادهاید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
تحویل یک شناساگر در قالب قوانینی در یک فایل داده همراه با یک مرحله نرمالسازی؛ یک اجراکننده (Runner) معیارها که دقت (Precision) و بازخوانی (Recall) را به تفکیک دستهبندی در برابر مجموعهدادهی نمونه و فهرست پرامپتهای بیخطر ثبت میکند؛ یک مسیریاب خروجی با یک دستهبند دادههای شخصی، یک دستهبند نشت دستورالعمل (instruction leakage) و ماژولهای پاکسازی دادههای حساس (redactor) مربوط به آنها؛ و گیتی که قبل، حین و بعد از تولید اجرا میشود، جدول تجمیع قطعی (Deterministic) دارد و حکم ارزیابی (verdict) هر چکپوینت (Checkpoint) را برای هر درخواست ثبت میکند. یک دستهبندی و یک خانوادهقانون هم برای دستورالعملهای پنهانشده در اسناد بازیابیشده اضافه کنید، چرا که پیکره متنی فاقد آن است. اعلام کنید که شناساگر عمداً روی نقشآفرینیهای بهظاهر بیخطر اشتباه میکند، مدل واقعی و ساندباکس (Sandbox) واقعی خارج از دامنه (scope) بودهاند، و آستانهها (Thresholds) روی دادههای کنارگذاشتهشده (held-out) تنظیم نشدهاند.
پاسخ کامل
شناساگر
قوانین در یک فایل داده قرار میگیرند؛ هر کدام با یک نام، یک دستهبندی، یک امتیاز و یا یک زیررشته یا رجکس (regex). یک مرحله نرمالسازی نویسههای با عرض صفر را حذف میکند، یک نسخه را به حروف کوچک درمیآورد، مقادیر base64 ،rot13 و hex را رمزگشایی (decode) میکند و ارقام لیت (leet) را نگاشت میدهد، در حالی که متن خام دستنخورده باقی میماند. تجمیعکننده دستهبندی دارای بالاترین امتیاز و ضریب اطمینان آن را برمیگرداند، یا در امتیاز صفر، حالت بیخطر را اعلام میکند. اجراکنندهی معیارها دستسازه (Artifact) ردهبندی (Taxonomy) را میخواند، به تمام نمونهها و پرامپتهای بیخطر امتیاز میدهد، و دقت، بازخوانی و تعداد خام را به تفکیک دستهبندی در یک فایل گزارش مینویسد.
مسئلهی بازیابی
دستورالعمل درون یک سند بازیابیشده، نوعی قاچاق بستر (context smuggling) است: این حمله از شکاف میان داده و دستورالعمل سوءاستفاده میکند، در حالی که نوبت گفتوگو (Turn) کاربر کاملاً بیخطر به نظر میرسد. پیکره متنی نمونه دارای شش دستهبندی است و هیچ موردی برای حملهای که از مسیر بازیابی میرسد ندارد؛ بنابراین دستهبندی هفتمی را که ردهبندی به عنوان تمرین در نظر گرفته اضافه کنید، حدود 10 نمونهی آزمایشی برایش بنویسید، و خانوادهقانونی برای دستورالعملهای مخفیشده در اسناد و خروجی ابزارها تعریف کنید. افزایش بازخوانی در آن دستهبندی و هزینهی مثبت کاذب روی فهرست بیخطر را بسنجید.
بخش خروجی
یک دستهبند دادههای شخصی با رجکسهایی برای ایمیلها، شمارههای تلفن و رشتههای شبیه به کارت بانکی، و یک دستهبند نشت دستورالعمل که خروجی را از طریق همپوشانی (Overlap) سهگرمی (trigram) با پرامپت سیستمی شناختهشده مقایسه میکند. هر کدام یک سطح شدت بازمیگردانند و پاکساز اختصاصی خود را دارند. مسیریاب بالاترین شدت را میگیرد و سطح بالا (high) را به مسدودسازی (block)، متوسط (medium) را به پاکسازی، پایین (low) را به هشدار و هیچ (none) را به ثبت در لاگ نگاشت میدهد.
گیت و ردگیری محاسبات
پیش از تولید متن، شناساگر اجرا میشود: در صورت اطمینان 0.85 یا بالاتر روی دستهای غیر از بیخطر، درخواست مسدود میشود؛ در غیر این صورت سیگنال پیوست میگردد. در حین تولید متن، یک فیلتر روی جریان داده (stream)، پنجرهای دو تکهای (chunk) را برای عبارات ادامهدار زیر نظر میگیرد و با دیدن تطابق، استریم را متوقف میکند. پس از تولید متن، مسیریاب و قوانین روی کل متن اجرا میشوند. تجمیعکننده بالاترین رتبه (Rank) را در نظر میگیرد. هر درخواست یک ردگیری محاسبات شامل شناسه، پرامپت، حکم شناساگر، حکم استریم، احکام پس از تولید، اقدام نهایی، خروجی نهایی و تاخیر (Latency) ثبت میکند. کل پیکره متنی و فهرست بیخطر را از آن عبور دهید و آمار خلاصه را به تفکیک دستهبندی چاپ کنید.
چه مواردی را باید سنجید
دقت و بازخوانیِ شناساگر به تفکیک دستهبندی، تعداد مثبت کاذب روی پرامپتهای بیخطر، تعداد اقدامات گیت به تفکیک دستهبندی، و پیمایش آستانه از 0 تا 1 همراه با نمودار دقت و بازخوانی به ازای هر دستهبندی.
چه مواردی را باید کنار گذاشت و به آن اشاره کرد
استفاده از مدل واقعی به جای دستیار شبیهسازیشده؛ ساندباکس واقعی برای هر کدی که ممکن است مدل اجرا کند؛ آستانههای تنظیمشده، چون پیکره متنی در واقع مجموعهی آموزش قوانین است و تنظیم آستانه روی آن عددی غیرقابلاتکا میدهد؛ دستهبندهای عصبی، چرا که ساختار لولهکشی هنگام اضافه شدن آنها تغییری نمیکند؛ امتناع بیشازحد (over-refusal) روی کاربران واقعی که نیازمند مجموعهای از پرامپتهای بیخطر برگرفته از ترافیک محیط عملیاتی (Production) است.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا اسناد بازیابیشده نیازمند دستهبندی و قوانین اختصاصی خود هستند؟ پاسخ مورد انتظار: حمله در دل دادهای قرار دارد که کاربر اصلاً آن را ننوشته است، بنابراین نوبت گفتوگوی کاربر بیخطر به نظر میرسد؛ بدون نمونههای آزمایشی برای آن، بازخوانی این نوع حمله سنجیده نمیشود.
- سطح 4: چگونه نشان میدهید که خانوادهقانون جدید به بازخوانی دادههای بیخطر لطمه نزده است؟ پاسخ مورد انتظار: مقایسهی تعداد مثبت کاذب روی فهرست بیخطر قبل و بعد از تغییرات، در کنار میزان بهبود بازخوانی در دستهبندی جدید.
- سطح 4: اگر مدل واقعی جایگزین نسخهی شبیهسازیشده شود، اولین اقدام شما چیست؟ پاسخ مورد انتظار: اجرای مجدد کل پیکره متنی از طریق گیت و بررسی خلاصهی ردگیری محاسبات به تفکیک دستهبندی، سپس تنظیم آستانههای تجمیع روی یک بخش کنارگذاشتهشده و ارائهی گزارش دقت و بازخوانی به تفکیک دستهبندی.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «یک شناساگر خوب، بخش خروجی را غیرضروری میکند.» سند بازیابیشده میتواند حمله را از هر قانون ورودی عبور دهد و مدل نیز ممکن است خودش دادههای شخصی را فاش کند؛ این بخش خروجی است که جلوی آن را میگیرد.
- «مواردی را که شناساگر اشتباه تشخیص میدهد پنهان کنیم.» این گزارش عمداً موارد نادیدهگرفتهشده را نمایان میکند تا سایر لایههای گیت بر اساس آنها طراحی شوند.
- «تنظیم آستانهها روی مجموعهدادهی نمونه.» این پیکره متنی مجموعهی آموزش قوانین محسوب میشود؛ تنظیم آستانه روی آن آماری ارائه میدهد که در عمل پایدار نخواهد بود.
کجای دوره آموزش داده میشود
پروژهی پایانیِ شناساگر تزریق پرامپت شناساگر و اجراکنندهی معیارهای آن را میسازد، پروژهی پایانیِ ردهبندی جیلبریک دستهبندی هفتم را به صورت تمرین تعیین میکند، پروژهی پایانیِ یکپارچهسازی دستهبند محتوا مسیریاب خروجی را پیادهسازی میکند، و پروژهی پایانیِ گیت ایمنی سرتاسری همهی آنها را با ردگیری محاسبات ترکیب میکند.