سؤال مصاحبه

مدل هر چیز مضری را رد می‌کند؛ مشق شب را هم همین‌طور!

It refuses everything harmful, and the homework

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

پس از یک بررسی ایمنی، دستیار به تک‌تک پرامپت‌های مجموعه‌ی مضر پاسخ رد می‌دهد. مدیر تیم ایمنی این را یک موفقیت می‌داند؛ اما مدیر محصول می‌گوید مدل حالا تکالیف درس شیمی را هم رد می‌کند. چه اعدادی این اختلاف‌نظر را حل‌وفصل می‌کنند و چگونه باید آن‌ها را محاسبه کرد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

به دو معیار نیاز دارید، نه یکی. «نرخ امتناع ناکافی» (under-refusal rate) سهمی از پرامپت‌های ناامن است که مدل به آن‌ها پاسخ داده، و «نرخ امتناع بیش‌ازحد» (over-refusal rate) سهمی از پرامپت‌های ایمن است که مدل آن‌ها را رد کرده است. با دستیار مثل یک دسته‌بند دودویی (binary classifier) در زمینه‌ی ایمنی پرامپت رفتار کنید: مجموعه‌ای از پرامپت‌ها را با برچسب ایمن یا ناامن مشخص کنید، امتناع مدل را در خروجی‌ها تشخیص دهید و هر دو نرخ را همراه با دقت (accuracy) و تفکیک بر اساس دسته‌بندی گزارش کنید.

پاسخ کامل

چهار جزء اصلی

  1. مجموعه‌پرامپت برچسب‌دار: پروژه‌ی پایانی از 25 پرامپت ناامن (استخراج‌شده بر اساس شناسه از رده‌بندی) و 30 پرامپت ایمن روزمره استفاده می‌کند، بدون هیچ همپوشانی با مجموعه‌ی پرامپت‌های بی‌خطرِ آشکارساز؛ به این ترتیب دو ارزیابی مستقل باقی می‌مانند.
  2. مدلِ تحت آزمون: پروژه‌ی پایانی از یک ماک (mock) اسکریپت‌شده با سه سیاست استفاده می‌کند: سخت‌گیرانه (strict)، بیش‌ازحد محتاط (over-cautious) و رخنه‌پذیر (leaky). دو مورد آخر باگ‌هایی هستند که فریم‌ورک باید آن‌ها را کشف کند.
  3. دسته‌بند امتناع روی خروجی: یک رجکس (regex) روی عبارت‌هایی مثل «I cannot»، «I will not» و «as a responsible».
  4. یک تجمیع‌کننده (aggregator).

اعداد و ارقام

  • امتناع ناکافی: پاسخ دادن به پرامپتی که برچسب ناامن دارد.
  • امتناع بیش‌ازحد: امتناع از پاسخ به پرامپتی که برچسب ایمن دارد.
  • دقت: مجموع پرامپت‌های ناامنی که به‌درستی رد شده‌اند به‌علاوه‌ی پرامپت‌های ایمنی که به‌درستی پاسخ داده شده‌اند، تقسیم بر کل پرامپت‌ها.
  • کالیبراسیون (Calibration): وقتی مدل میزان اطمینانش را اعلام می‌کند، پرامپت‌ها را بر اساس آن دسته‌بندی (bin) کنید و اطمینان هر دسته را با دقت واقعی آن بسنجید. مدلی که اطمینانش را 0.9 اعلام می‌کند اما در 60 درصد مواقع درست می‌گوید، در آن دسته حدود 0.3 شکاف دارد.
  • تفکیک بر اساس دسته‌بندی: بررسی امتناع ناکافی در پیوند با شش دسته‌ی رده‌بندی؛ به این ترتیب می‌بینید مدل دستورهای لغو فرمان (instruction override) را مهار می‌کند اما در افزایش تدریجی تنش طی چند نوبت گفت‌وگو (multi-turn ramp) لغزش دارد.

تحلیل هر دو سو

مدلی که به همه‌چیز پاسخ رد می‌دهد، نرخ امتناع ناکافیِ عالی و نرخ امتناع بیش‌ازحدِ فاجعه‌باری دارد. هر تغییری در پرامپت سیستم، هر دو نرخ را هم‌زمان جابه‌جا می‌کند؛ به همین دلیل گزارش ارزیابی، آن‌ها را کنار هم نشان می‌دهد و آمار سیاست سخت‌گیرانه، خط مبنای بازگشتی (regression baseline) به شمار می‌رود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: دقت در این ارزیابی چه معنایی دارد؟ پاسخ مورد انتظار: پرامپت‌های ناامنِ ردشده به‌علاوه‌ی پرامپت‌های ایمنِ پاسخ‌داده‌شده، تقسیم بر کل پرامپت‌ها.
  • سطح 2: اصلاً چرا ارزیاب را روی یک مدل ساختگی و اسکریپت‌شده اجرا کنیم؟ پاسخ مورد انتظار: رفتار مدل واقعی با هر تغییر پرامپت و دما عوض می‌شود؛ اما یک سیاست اسکریپت‌شده معیارها را به دلیلی مشخص جابه‌جا می‌کند و امکان می‌دهد خودِ فریم‌ورک را ارزیابی کنیم.
  • سطح 2: چرا پرامپت‌های ایمن در اینجا باید با پرامپت‌های بی‌خطرِ آزمونِ آشکارساز تفاوت داشته باشند؟ پاسخ مورد انتظار: تا ارزیابی امتناع و ارزیابی آشکارساز مستقل بمانند و یکی به نفع دیگری تنظیم نشود.
  • سطح 3: چرا در اینجا استفاده از رجکس برای دسته‌بندی امتناع قابل قبول است؟ پاسخ مورد انتظار: چون قابل بازبینی و قطعی (deterministic) است؛ خطاهایش محدودیت‌هایی شناخته‌شده هستند و بعداً می‌توان بدون تغییر تعاریف معیارها، یک دسته‌بند مبتنی بر مدل را جایگزین آن کرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نرخ امتناع روی پرامپت‌های مضر، همان معیار ایمنی است.» این فقط نصف ماجراست؛ مدلی که به همه‌چیز پاسخ رد می‌دهد در آن نمره‌ی کامل می‌گیرد.
  • «امتناع بیش‌ازحد یک مشکل محصولی است، نه ایمنی.» هر دو باگ‌هایی در یک مرز تصمیم‌گیری (decision boundary) مشترک هستند و با هر تغییر، با هم جابه‌جا می‌شوند.
  • «دقت به‌تنهایی کفایت می‌کند.» این معیار پنهان می‌کند که خطا از کدام سو رخ داده است؛ هر دو نرخ و تفکیک بر اساس دسته‌بندی را گزارش کنید.

کجای دوره آموزش داده می‌شود

در پروژه‌ی پایانی ارزیابی امتناع، مفاهیم امتناع ناکافی، امتناع بیش‌ازحد، دقت، کالیبراسیون و تفکیک بر اساس دسته‌های حمله تعریف شده‌اند.