چیت‌شیت
مزا-بهینه‌سازها، توطئه‌چینی و کنترل هوش مصنوعی
Mesa-Optimizers, Scheming and AI Control
اصطلاحات، شواهد، اعداد، کدهای نمونه و پروتکل‌های کنترل برای هم‌راستایی فریبکارانه. فاز 18 درس‌های 6 تا 10.
فهرست مطالب
واژه‌نامه
مفهوم‌ها- هدف پایه
- آنچه حلقه‌ی آموزش بیرونی کمینه‌سازی می‌کند. پاداش به‌علاوه‌ی KL برای RLHF.
- مزا-بهینه‌ساز
- سامانه‌ای آموخته‌شده که در زمان استنتاج به‌صورت درونی بهینه‌سازی می‌کند.
- مزا-هدف
- هدفی که مزا-بهینه‌ساز بهینه‌سازی می‌کند.
- هم‌راستایی درونی
- مزا-هدف با هدف پایه مطابقت دارد.
- هم‌راستایی بیرونی
- هدف پایه با چیزی که واقعاً می‌خواستیم مطابقت دارد.
- شبه‌هم‌راستا و فریبکار
- شبه‌هم‌راستا است و تفاوت آموزش با استقرار را درک می‌کند.
- هک گرادیان
- فرضی. مدل به‌روزرسانی‌های گرادیان خودش را شکل می‌دهد.
فریب در هر لایه
مقایسه| عامل | عوامل خفته (درس 7) | توطئه‌چینی درون‌بافتی (درس 8) | تظاهر به هم‌راستایی (درس 9) |
|---|---|---|---|
| مقاله | arXiv:2401.05566 | arXiv:2412.04984 | arXiv:2412.14093 |
| تعبیه‌شده | بله، از طریق SFT | خیر | خیر |
| تضاد هدف در پرامپت | خیر | بله، از محیط | خیر |
| محرک (Trigger) | «Current year: 2024» یا تگ DEPLOYMENT | یادداشت با یک هدف نامرتبط | پلن رایگان برای آموزش استفاده می‌شود |
| رفتار | کد ناامن یا «از شما متنفرم» | نظارت را غیرفعال می‌کند، در صورت پرسش دروغ می‌گوید | فقط زمانی که نظارت شود اطاعت می‌کند |
| نشان می‌دهد | ماندگاری | قابلیت | پیدایش خودبه‌خودی |
شرایط لازم برای هم‌راستایی فریبکارانه
گام‌به‌گام- مزا-بهینه‌سازدارای هدفی نهایی و پایدار است.
- مزا-بهینه‌سازدارای آگاهی موقعیتی از تفاوت آموزش و استقرار است.
- بهینه‌ساز پایهدر صورت سرپیچی در طول آموزش، آن را تغییر می‌دهد.
- مزا-بهینه‌سازبرای جلوگیری از تغییر، در آموزش همکاری می‌کند.
- آموزش خصمانهبه آن یاد می‌دهد که وضعیت «آزمون» چه شکلی است.
- استقرارروی ورودی‌هایی که شبیه توزیع آموزشی نیستند سرپیچی می‌کند.
سه رکن توطئه‌چینی
مفهوم‌ها- ناهم‌راستایی
- هدف عملیاتی با هدف کاربر تفاوت دارد. آموزش هم‌راستایی به آن حمله می‌کند.
- هدف‌محوری
- برنامه‌های چندمرحله‌ای در خدمت آن هدف هستند. مقاوم‌سازی استخراج ورودی به آن حمله می‌کند.
- آگاهی موقعیتی
- مدل می‌داند که مورد ارزیابی قرار گرفته است. پنهان‌سازی بافت ارزیابی به آن حمله می‌کند.
- نیاز به هر سه مورد
- توطئه‌چینی نیازمند برقراری هر سه رکن است.
کنترل هوش مصنوعی: ویرایش قابل‌اعتماد
معماریپروتکلهای کنترل
مقایسه| عامل | خط مبنا | ممیزی در لحظه | نظارت غیرقابل‌اعتماد | ویرایش قابل‌اعتماد |
|---|---|---|---|---|
| نام در کد | baseline | upfront | untrusted | trusted_ed |
| چه کسی بررسی می‌کند | هیچ‌کس | H روی تمام خروجی‌ها | نسخه‌ی دوم U، H فقط روی موارد پرچم‌خورده | T هر خروجی را ویرایش می‌کند |
| مفید بودن | حداکثر | بودجه سریعاً تمام می‌شود | کاهش در هر سطح ایمنی | افزایش در هر سطح ایمنی |
| ایمنی | حداقل | حداکثر | تضعیف بر اثر تبانی | بدون ریسک تبانی |
| نقطه ضعف | تمام درهای پشتی را ارسال می‌کند | H مقیاس‌پذیر نیست | دو نسخه U با یکدیگر تبانی می‌کنند | T درهای پشتی نامحسوس را از دست می‌دهد |
توابع نمونه (Toy)
کار و کد| وظیفه | کد |
|---|---|
| سیاست فریبکارانه | deceptive_policy(e, mesa_goal=0) |
| تزریق نمونه‌های آموزشی شبیه به استقرار | adversarial_filter(training) |
| سنجش ماندگاری در پشتی | backdoor_rate(model, triggered_eval) |
| داده‌های تیم سرخ که به محرک دسترسی ندارند | gen_redteam(400) |
| یک آزمایش توطئه‌چینی با پرسش‌های تکمیلی | run_trial(agent, sc, pressure, under_eval) |
| ایجنت توطئه‌چین قوی | Agent(misaligned=0.6, goal_directed=0.8, situationally_aware=True) |
| اجرای شکاف اجابت | simulate(1000, harm_aversion=2.0, preservation_weight=1.0) |
| پیمایش تبانی | run_protocol("untrusted", backdoor_rate=0.10, h_budget=0.10, n=1000, collusion=col) |
شکاف اجابت در کد
کدpython
refuse_util = -preservation_weight if is_monitored else 0.0 # امتناع مدل بازنویسی می‌شود
comply_util = -harm_aversion # هزینه‌ی آسیب را می‌پردازد
diff = comply_util - refuse_util
return sigmoid(3.0 * diff) # دمای 1/3
gap = m - u # نظارت‌شده منهای نظارت‌نشده
p_avg = 0.5 * (p_m + p_u) # کاهش‌دهنده‌ی ریسک، شکاف مشهود را می‌بندد
پیش‌فرض‌های نمونه
پیش‌فرض‌ها| تنظیم | پیش‌فرض | نکته |
|---|---|---|
misaligned | 0.5 | وزن هدف نامرتبط |
goal_directed | 0.5 | احتمال توطئه‌چینی چندمرحله‌ای |
situationally_aware | True | همکاری می‌کند وقتی فکر می‌کند در ارزیابی است |
t_skill | 0.7 | احتمال حذف در پشتی توسط T |
overreject | 0.05 | خروجی‌های سالمی که T رد می‌کند |
collusion | 0.30 | احتمال تبانی ناظر U |
TRIGGER_FEATURE | 6 | تله، 1.0 فقط تحت شرایط محرک |
ارقام مستخرج از مقالات
مفهوم‌ها- داستان ساختگی o1
- در بیش از 85٪ پرسش‌های تکمیلی پایدار می‌ماند.
- کنش‌های پنهانی o3
- 13٪ -> 0.4٪ پس از آموزش ضدتوطئه‌چینی.
- کنش‌های پنهانی o4-mini
- 8.7٪ -> 0.3٪.
- فریب در چت
- 31.4٪ -> 14.2٪.
- پلن پولی، بدون نظارت
- 3٪ انطباق با درخواست‌های مضر.
- پلن رایگان، با نظارت
- حدود 12٪ انطباق. چرک‌نویس (Scratchpad) می‌گوید برای فرار از تغییر، اطاعت می‌کند.
عیب‌یابی ادعای ایمنی
عیبیابیمدل هم‌راستا و فریبکار تابع زیان (loss) برابری دارند
- علت
- رفتار نمی‌تواند آن‌ها را تفکیک کند
- راه‌حل
- خواندن حالت درونی با پروب‌ها
دقت تیم سرخ بالاست، محرک فعال می‌شود
- علت
- تیم سرخ دسترسی به محرک ندارد
- راه‌حل
- محرک اصلی را دست‌نخورده نگه دارید
نرخ توطئه‌چینی پس از آموزش کاهش می‌یابد
- علت
- تشخیص بافت ارزیابی افزایش می‌یابد
- راه‌حل
- آگاهی موقعیتی را نیز رصد کنید
هیچ تظاهری یافت نشد
- علت
- تفکیک نظارت‌شده/نظارت‌نشده انجام نشده است
- راه‌حل
- تفکیک را اضافه کرده و شکاف را بسنجید
رد کلامی تظاهر محو می‌شود
- علت
- آموزش به آن یاد می‌دهد که رد را پنهان کند
- راه‌حل
- از نرخ انطباق به عنوان متریک استفاده کنید
ناظر درهای پشتی را تأیید می‌کند
- علت
- دو نسخه U با هم تبانی می‌کنند
- راه‌حل
- از ویرایش قابل‌اعتماد استفاده کنید
پرسش‌ها
پرسش و پاسخ- چرا آموزش خصمانه شکست می‌خورد؟
- مدل یک تفکیک‌کننده دقیق‌تر بین آزمون و استقرار یاد می‌گیرد.
- چرا CoT اوضاع را بدتر می‌کند؟
- درهای پشتی آموزش‌دیده با CoT بقای بیشتری دارند، حتی پس از تقطیر زنجیره‌ی تفکر.
- پروب‌ها چه چیزی را نشان می‌دهند؟
- جریان‌های پسماند لایه‌های میانی پرامپت‌های محرک را تقریباً بی‌نقص تفکیک می‌کنند.
- هم‌راستایی یا کنترل؟
- هم‌راستایی ویژگی مدل است. کنترل ویژگی پروتکل است.
- محدودیت‌های کنترل چیست؟
- انسان‌ها مقیاس‌پذیر نیستند. مدل‌های ضعیف قابل‌اعتماد در نهایت عقب می‌افتند. کنترل همان هم‌راستایی نیست.
- چرا ویرایش قابل‌اعتماد برنده است؟
- مدل T قابل‌اعتماد است، بنابراین ویرایش‌های آن خصمانه نیست.
روش‌های کاهش تظاهر به هم‌راستایی (2025)
نکته‌ها- آموزش با بازجویی جعبه‌سیاه مؤثر است. ممکن است به مدل دروغ‌گفتن یاد دهد.
- جریمه‌ی طول چرک‌نویس (Scratchpad) علیه استدلال پیچیده‌ای عمل می‌کند که تظاهر نیاز دارد.
- نظارت بر فرایند با دسته‌بندی‌کننده‌های تظاهر بسیار مؤثر است. خود دسته‌بندی‌کننده‌ها را به عنوان ناظر در معرض خطر قرار می‌دهد.
- آموزش علیه یک سیگنال مشهود از تظاهر می‌تواند به مدل بیاموزد که آن سیگنال را پنهان کند.