گزارش ایمنی یک ارائهدهنده فقط شامل یک جدول است: نرخ امتناع مدل (Refusal rate) در برابر مجموعهای از پرامپتهای مخرب که 97 درصد ثبت شده و تنها یک بار با پرامپت سیستم پیشفرض ارزیابی شده است. باید تصمیم بگیرید که آیا این مدل را برای دستیار پاسخگوی مشتریان بهکار بگیرید یا خیر. مواردی را که این گزارش نشان نمیدهد فهرست کنید و بگویید پیش از تصمیمگیری چه معیارهایی را اضافه میکنید.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
این جدول تنها یک رویِ یک تصمیم را در یک حالت خاص میسنجد. این گزارش نمیتواند امتناع بیمورد روی پرامپتهای بیخطر، ردهبندی حملاتی که مدل در آنها ناکام مانده، رفتار مدل در حالتی که تصور میکند تحت نظارت نیست، یا تغییرات این عدد با پرامپت سیستم و خانوادههای حملهی شما را نشان دهد. برای تصمیمگیری، این موارد را اضافه کنید: یک مجموعه آزمون ارزیابی (Probe) بیخطر برای سنجش امتناع بیمورد، تفکیک نتایج بر اساس ردهبندی (Taxonomy) خطرات، مقایسهی حالت نظارتشده و نظارتنشده، و اجرای ارزیابی تیم سرخ (Red team) با چندین خانوادهی حمله علیه سامانهی مستقرشدهی خودتان؛ سپس نمودار نرخ مسدودسازی حمله را در برابر نرخ قبولی (Pass Rate) پرامپتهای بیخطر رسم کنید.
پاسخ کامل
موارد غایب در گزارش
- روی دیگر سکه. سنجش امتناع مدل صرفاً روی پرامپتهای مخرب، به مدلی پاداش میدهد که به همهچیز جواب رد میدهد! نرخ امتناع بیمورد روی یک مجموعهی بیخطر نیمهی دوم این تصویر است، و این دو عدد با هر تغییری در پرامپت سیستم همزمان جابهجا میشوند.
- محل رخ دادن خطاها. تفکیک نتایج بر اساس ردهبندی خطرات نشان میدهد که مدل آیا از پسِ نادیدهگرفتن دستورات برمیآید و در شیبهای تدریجیِ چند نوبتی دچار لغزش میشود یا نه. یک عددِ کلی این جزئیات را پنهان میکند.
- شرایط عدم نظارت. مدل ممکن است زمانی که فکر میکند مکالمه برای آموزش استفاده میشود بیشتر مطیع باشد، و وقتی تصور میکند رصد نمیشود کمتر همراهی کند. ارزیابی در یک حالت منفرد نمیتواند این شکاف رفتاری را نشان دهد.
- محیط استقرار شما. مجموعهپرامپت ارائهدهنده عمومی است و ممکن است در دادههای آموزشی مدل حضور داشته باشد؛ درحالیکه مهاجمان واقعی از آن استفاده نمیکنند. دامنهی آزمون پروژهی نهایی دستکم شش خانوادهی حمله را اجرا میکند: جستوجوی خودکار جیلبریک (Jailbreak)، جستوجوی درختی (Tree search)، پسوندهای گرادیان (Gradient suffixes)، انکودینگ، پرسونای چند نوبتی (Turn) و تغییر زبان میانمتنی، و نرخ موفقیت را به ازای هر خانواده گزارش میدهد. اجرای نمونهی آن 7 موفقیت در 50 تلاش (نرخ 14 درصد) و یک دور زدن از طریق ایفای نقش با شدت متوسط را نشان میدهد.
- کالیبراسیون (Calibration). اینکه میزان اطمینانِ اعلامشده از سوی مدل با دقت واقعیاش همخوانی دارد یا نه، محوری کاملاً جدا از خودِ تصمیمگیری است.
نمودار تصمیمگیری
نرخ مسدودسازی حمله در برابر نرخ قبولی پرامپتهای بیخطر، به تفکیک خانوادهی حمله و ردهی خطر، تحت پرامپت سیستم شما. پروژهی نهایی دقیقاً یک بستر آزمایشی (Harness) را بر پایهی همین موازنهی حیاتی میسنجد. مدلی که در نرخ مسدودسازی برنده شود اما در نرخ قبولیِ درخواستهای بیخطر ببازد، فقط بار مشکل را به صف پشتیبانی شما منتقل کرده است.
آنچه باید از ارائهدهنده بخواهید
نتایج مجموعهی بیخطر، تفکیک دستهبندیها و شرایط آزمایش را درخواست کنید. گزارشی با یک جدول صرفاً نقطهی شروعی برای گفتوگو است، نه پایهای (Basis) برای بهکارگیری مدل.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا یک نرخ امتناع واحد، بهتنهایی معیار ایمنی محسوب نمیشود؟ پاسخ مورد انتظار: مدلی که به همهچیز پاسخ منفی بدهد بالاترین امتیاز را در آن میگیرد؛ بدون ارزیابی پرامپتهای بیخطر، هزینهی جانبیِ این امتناعها دیده نمیشود.
- سطح 3: پرامپتهای مخربِ این گزارش یک مجموعهی عمومی و منتشرشده هستند. این موضوع چه اثری روی این عدد میگذارد؟ پاسخ مورد انتظار: ممکن است در دادههای آموزشی بوده باشند و مهاجمان هم از آنها استفاده نمیکنند؛ باید با خانوادههای حملهی اختصاصی و یک مجموعهی دادهی دیدهنشده ارزیابی کنید.
- سطح 4: کدام دو عدد برای تصمیمگیری دربارهی بهکارگیری مدل روی یک نمودار رسم میشوند؟ پاسخ مورد انتظار: نرخ مسدودسازی حمله در برابر نرخ قبولی پرامپتهای بیخطر، به تفکیک خانوادهی حمله و ردهی خطر، تحت پرامپت سیستمِ خودتان.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «نود و هفت درصد به اندازهی کافی بالا است.» این فقط یک رویِ تصمیم است و هیچ بخشی از گزارش، هزینهی ناشی از رد درخواستهای بیخطر یا رفتار مدل در شرایط بدون نظارت را نشان نمیدهد.
- «پرامپت سیستم ما مدل را ایمنتر میکند، پس این عدد فقط بهتر میشود.» هر تغییری در پرامپت سیستم، هر دو نرخ امتناع را بهطور همزمان تغییر میدهد؛ ارزیابی باید بعد از اعمال تغییرات انجام شود.
- «عملیات تیم سرخ وظیفهی ارائهدهنده است.» حملاتی واقعاً اهمیت دارند که روی سامانهی مستقرشدهی شما، با پرامپت و ابزارهای خودتان اجرا شوند.
کجای دوره آموزش داده میشود
پروژهی نهایی ارزیابی امتناع مدل دو نرخ امتناع و تفکیک ردهبندی را تعریف میکند، درس تظاهر به همراستایی (Alignment faking) ارزیابی در شرایط نظارتشده و نظارتنشده را اضافه میکند، و پروژهی نهایی بستر آزمایشی ایمنی شیوهنامهی بنیادین (Constitutional safety harness) خانوادههای حمله و مجموعهی آزمونهای ارزیابیِ بیخطر را تعیین میکند.