سؤال مصاحبه

میدان آزمون تیم سرخی که بدون شما کار می‌کند

A red team range that runs without you

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

شما مسئولیت ایمنی یک دستیار پاسخگوی مشتری را بر عهده دارید؛ سیستمی که با مدلی با وزن‌های باز (open-weight) و در بستر یک پایپ‌لاین بازیابی (retrieval pipeline) ساخته شده است. میدان آزمون تیم سرخی (red team range) طراحی کنید که بدون نیاز به شما اجرا شود: خانواده‌های حملات، برنامه‌ی زمان‌بندی، مواردی که یک «یافته» به‌شمار می‌آیند، نحوه‌ی حفظ کارآمدی دستیار هم‌گام با مقاوم‌سازی آن، و روش اثبات این‌که مداخله در زمان آموزش مدل اثربخش بوده است.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

حداقل 6 خانواده‌ی حمله را در صف‌های مجزا زمان‌بندی کنید: جست‌وجوی خودکار جیل‌بریک (automated jailbreak search)، حملات جست‌وجوی درختی (tree search attacks)، حملات پسوند گرادیان (gradient suffix attacks)، حملات مبتنی بر کدگذاری (encoding attacks)، حملات چندنوبتی با جعل هویت (multi turn persona attacks) و تغییر زبان گفت‌وگو (code switching). هر خانواده باید نرخ موفقیت مستقل خود را گزارش کند. هر حمله‌ی موفق به یک «یافته» تبدیل می‌شود؛ همراه با شناسه‌ی رده‌بندی (taxonomy id)، امتیاز شدت خطر و جدول زمانی افشا. نرخ امتناع بیش‌ازحد (over refusal) را با استفاده از مجموعه‌ای از آزمون‌های ارزیابی (probe) بی‌خطر در کنار نرخ مسدودسازی پایش کنید تا موازنه‌ی میان این دو روی یک نمودار مشخص باشد. در نهایت، اثربخشی مداخله‌ی خودانتقادی (self-critique) را با محاسبه‌ی تغییر میزان بی‌خطری (harmlessness delta)، پیش و پس از اعمال تغییرات روی یک مجموعه‌ی آزمون دست‌نخورده بسنجید.

پاسخ کامل

هدف و لایه‌های آن

این دستیار درون یک پایپ‌لاین چندلایه قرار دارد: پاک‌سازی ورودی که نویسه‌های با عرض صفر را حذف کرده و کدگذاری‌های متداول را رمزگشایی می‌کند، خطوط راهنمای خط‌مشی (policy rails)، یک دروازه‌ی طبقه‌بندی‌کننده، خودِ مدل، فیلتر خروجی مجهز به پاک‌سازی داده‌های شخصی، و لایه‌ی بازبینی انسانی برای خروجی‌های نشانه‌گذاری‌شده. این میدان آزمون، کل این پشته را هدف حمله قرار می‌دهد نه فقط مدل خام را؛ زیرا کاربران دقیقاً با همین پشته در تعامل هستند.

خانواده‌های حملات

خانواده‌ی حمله نحوه‌ی عملکرد
جست‌وجوی خودکار جیل‌بریک یک مدل حمله‌کننده پرامپت‌ها را آن‌قدر بازنویسی می‌کند تا سرانجام یکی از آن‌ها بنشیند
حملات جست‌وجوی درختی همان سازوکار جست‌وجو اما با قابلیت شاخه‌بندی (branching) و هرس کردن (pruning)
حملات پسوند گرادیان پسوندهای تخاصمی که در برابر مدل با وزن‌های باز بهینه‌سازی شده‌اند
حملات مبتنی بر کدگذاری استفاده از base64، rot13 و ترفندهای نویسه‌ای علیه پاک‌ساز ورودی
حملات چندنوبتی با جعل هویت نوبت‌های گفت‌وگوی اولیه برای گرم‌کردن اولیه، سپس تعیین هویت فرضی و تشدید تدریجی فشار
تغییر زبان گفت‌وگو ترکیب زبان‌ها برای لغزیدن از زیر رادار طبقه‌بندی‌کننده‌ای که روی زبان انگلیسی تنظیم شده است

برای هر خانواده، نرخ موفقیت جداگانه‌ای گزارش دهید. برای نمونه، در اجرای پروژه‌ی نهایی، از 50 تلاش صورت‌گرفته 7 مورد موفق بوده‌اند که نرخ 14 درصد را نشان می‌دهد و در این میان، یک مورد دور زدن از طریق ایفای نقش، امتیاز شدت متوسط 4.8 را دریافت کرده است. پایپ‌لاین بازیابی خانواده‌ی هفتمی را نیز اضافه می‌کند که پروژه‌ی نهایی آن را در قالب تمرین آورده است: تزریق غیرمستقیم از طریق اسناد بازیابی‌شده، همراه با لایه‌ی دفاعی اختصاصی خودش.

ساختار گزارش یک یافته

یک رکورد ساختاریافته شامل شناسه‌ی رده‌بندی، خانواده‌ی حمله، نمره‌ی شدت بر اساس مقیاس استاندارد آسیب‌پذیری (محاسبه‌شده از بردار حمله، پیچیدگی و میزان اثرگذاری)، جدول زمانی افشا و یک طرح کاهش خطر. یافته‌ها درون یک صف نوشته می‌شوند؛ اسکرین‌شات گرفتن از صفحه، یک یافته به‌حساب نمی‌آید.

حفظ کارآمدی دستیار

یک مجموعه‌ آزمون ارزیابی بی‌خطر را با همان زمان‌بندی اجرا کنید و نرخ امتناع بیش‌ازحد مدل را زیر نظر بگیرید. در صورت افت عملکرد، هشدار بدهید. بستر آزمایشی (harness) را بر اساس موازنه‌ی میان دو معیار بسنجید: نرخ مسدودسازی در برابر نرخ قبولی ورودی‌های بی‌خطر؛ تا هر بهبودی در یک سو که به قیمت تخریب سوی دیگر تمام شود، کاملاً آشکار باشد. حالت «امتناع همراه با راهنمایی» را مد نظر قرار دهید و تأثیر آن را روی مجموعه‌ی آزمون‌های بی‌خطر اندازه بگیرید.

اثبات اثربخشی مداخله

حدود هزار پرامپت از تلاش‌های مضر گردآوری کنید. مدل پاسخی اولیه پیش‌نویس می‌کند، یک ناقد (critic) این پیش‌نویس را بر اساس یک شیوه‌نامه‌ی بنیادین (constitution) مکتوب امتیازدهی می‌کند، پیش‌نویس‌های ناموفق بازنویسی می‌شوند، و در نهایت مدل روی این جفت‌داده‌های بهبودیافته ریزتنظیم (fine-tune) می‌شود. میزان بی‌خطری را پیش و پس از این مداخله، روی یک مجموعه‌ی ارزیابی دست‌نخورده بسنجید و آن را در کنار نرخ قبولی ورودی‌های بی‌خطر قبل و بعد قرار دهید. در نمره‌دهی پروژه‌ی نهایی، 20 امتیاز از 100 نمره به این تغییر میزان بی‌خطری اختصاص دارد، 25 امتیاز برای پوشش 6 خانواده یا بیشتر در حداقل 2 زبان، 20 امتیاز برای موازنه‌ی سیستم، 20 امتیاز برای مستندسازی و 15 امتیاز برای خودکارسازی فرآیند در نظر گرفته شده است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا هر خانواده‌ی حمله باید در صف اختصاصی خودش اجرا شود؟ انتظار می‌رود بگویید: محرک‌های حملات از نظر هزینه و زمان محیط اجرا (runtime) متفاوت هستند؛ بنابراین یک حمله‌ی سنگین گرادیانی نباید مانع اجرای پویش‌های ارزان کدگذاری شود. از طرفی، محاسبه‌ی نرخ‌های تفکیک‌شده برای هر خانواده به اجراهای جداگانه نیاز دارد.
  • سطح 4: پایپ‌لاین بازیابی کدام خانواده‌ی حمله را اضافه می‌کند که این 6 مورد پوشش نمی‌دهند؟ انتظار می‌رود بگویید: تزریق غیرمستقیم از طریق اسناد بازیابی‌شده، که به عنوان خانواده‌ی هفتم سنجیده می‌شود و لایه‌ی دفاعی خاص خود را دارد.
  • سطح 4: چگونه اثبات می‌کنید آموزش مبتنی بر خودانتقادی واقعاً سیستم را ارتقا داده و صرفاً امتناع‌ها را بیشتر نکرده است؟ انتظار می‌رود بگویید: با بررسی تغییر میزان بی‌خطری روی داده‌های ارزیابی دست‌نخورده، درست در کنار نرخ قبولی ورودی‌های بی‌خطر قبل و بعد از آموزش؛ هرگونه بهبودی که همراه با افت قبولی داده‌های سالم باشد، امتناع بیش‌ازحد است نه ایمنی واقعی.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «تیم سرخ را یک‌بار پیش از راه‌اندازی اجرا می‌کنیم.» حملات مدام تکامل می‌یابند؛ این میدان آزمون باید طبق برنامه‌ای منظم اجرا شود و یافته‌های آن خوراک اسپرینت بعدی باشند.
  • «نرخ مسدودسازی، معیار اصلی ماست.» معیار درست، نرخ مسدودسازی در برابر نرخ قبولی ورودی‌های بی‌خطر است؛ مدلی که همه‌چیز را مسدود کند نرخ مسدودسازی بی‌نقصی دارد.
  • «یافته یعنی یک اسکرین‌شات از خروجی نامناسب.» یک یافته باید شناسه‌ی رده‌بندی، نمره‌ی شدت، جدول زمانی و برنامه‌ی کاهش خطر داشته باشد، وگرنه هیچ‌کس نمی‌تواند بر اساس آن اقدام کند.

کجای دوره آموزش داده می‌شود

پروژه‌ی نهایی بستر آزمایشی ایمنی مبتنی بر شیوه‌نامه‌ی بنیادین لایه‌ها، خانواده‌های حملات، امتیازدهی و تغییرات ناشی از خودانتقادی را مشخص می‌کند. پروژه‌ی نهایی رده‌بندی جیل‌بریک شناسه‌هایی را که یافته‌ها به آن‌ها ارجاع می‌دهند ارائه می‌دهد و پروژه‌ی نهایی ارزیابی امتناع مدل نرخ امتناع بیش‌ازحد را تعریف می‌کند.