بنچ‌مارک WMDP و ارزیابی توانمندی‌های دومنظوره در مدل‌های زبانی

یکی از پیچیده‌ترین پرسش‌ها در ایمنی مدل‌های هوش مصنوعی این است که آیا این مدل‌ها دستیابی به سلاح‌های زیستی، شیمیایی یا حملات سایبری را برای افراد مبتدی ساده‌تر می‌کنند؟ سنجش مستقیم چنین قابلیتی به دلایل اخلاقی و قانونی غیرممکن است. این درس به معرفی بنچ‌مارک WMDP می‌پردازد؛ معیاری که با 4,157 سؤال چندگزینه‌ای در «منطقه‌ی زرد»، توانمندی دومنظوره مدل را بدون استخراج دستورالعمل‌های خطرناک می‌سنجد.

علاوه بر سنجش توانمندی، مسئله‌ی حذف این اطلاعات خطرناک از حافظه‌ی مدل بدون تخریب دانش عمومی آن اهمیت دارد. در این درس با روش RMU برای فراموشی ماشینی آشنا می‌شوید و تفاوت میان ارتقای نسبی توانمندی افراد تازه‌کار در مقایسه با سقف دانش کارشناسان را در چارچوب‌های ایمنی پیشرو تحلیل می‌کنید.

لی و همکاران، «بنچ‌مارک WMDP: سنجش و کاهش استفاده‌ی مخرب از طریق فراموشی ماشینی (Unlearning)» (ICML 2024، arXiv:2403.03218). شامل 4,157 سؤال چندگزینه‌ای در سه حوزه‌ی امنیت زیستی (1,520)، امنیت سایبری (2,225) و شیمی (412). این سؤالات در «منطقه‌ی زرد» (yellow zone) قرار می‌گیرند؛ یعنی دانش زمینه‌سازِ بی‌واسطه‌ای که از فیلتر داوری چند کارشناس و انطباق قانونی با مقررات ITAR/EAR رد شده است. این بنچ‌مارک دو هدف دارد: ارزیابی نیابتی توانمندی‌های دومنظوره (dual-use capability)، و ارائه‌ی بنچ‌مارکی برای فراموشی ماشینی (روش همراه آن، یعنی RMU، بدون آسیب زدن به توانمندی‌های عمومی، عملکرد مدل در WMDP را پایین می‌آورد). سیر تحولات این حوزه در بازه‌ی 2024 تا 2025: ارزیابی‌های اولیه‌ی OpenAI و Anthropic در اوایل 2024 خبر از «ارتقای جزئی» نسبت به جست‌وجوی اینترنتی می‌دادند؛ اما تا آوریل 2025، نگارش دوم چارچوب آمادگی (Preparedness Framework) در OpenAI اعلام کرد مدل‌ها «در آستانه‌ی کمک معنادار به افراد مبتدی برای تولید تهدیدهای زیستی شناخته‌شده» قرار گرفته‌اند. آزمایش Anthropic در زمینه‌ی دستیابی به سلاح‌های زیستی نیز ارتقای 2.53 برابری را نشان داد که برای رد کردن سطح ایمنی ASL-3 کافی نبود.

اهداف یادگیری

• تشریح سه حوزه‌ی WMDP، تعداد سؤالات و معیار فیلتر «منطقه‌ی زرد».
• توضیح روش RMU و دلایل کاربرد دوگانه‌ی WMDP به‌عنوان بنچ‌مارک ارزیابی و فراموشی ماشینی.
• توصیف سیر تحول گزارش‌های ارتقای توانمندی در سال‌های 2024 تا 2025: از «ارتقای جزئی» تا «در آستانه» و سپس «ناکافی برای رد کردن ASL-3».
• تمایز قائل شدن میان ارتقای نسبی برای مبتدیان و سقف مطلق توانمندی برای کارشناسان.

صورت مسئله

توانمندی‌های دومنظوره اصلی‌ترین چالش سنجش در چارچوب ایمنی پیشرو (Frontier Safety Framework) در همه‌ی آزمایشگاه‌های هوش مصنوعی است (درس 18). مسئله این است: آیا مدل فرضی، توانایی یک فرد مبتدی را برای ایجاد آسیب‌های گسترده در حوزه‌های زیستی، شیمیایی یا سایبری به‌طور معناداری افزایش می‌دهد؟ سنجش مستقیم (یعنی از مدل بخواهیم واقعاً سناریوی آسیب‌زایی تولید کند) غیرقانونی و غیراخلاقی است. بنابراین برای ارزیابی نیابتی به بنچ‌مارکی نیاز داریم که مدل نتواند از پاسخ به آن امتناع کند (تا عملکرد واقعی‌اش را نشان دهد)، و در عین حال انتشار سؤالات آن به خودی خود خطرآفرین نباشد.

مبانی نظری

«منطقه‌ی زرد»

سؤالاتی که پاسخ به آن‌ها نیازمند دانش تخصصی، پیشرفته و زمینه‌ساز برای یک فرایند خطرناک است، اما خودشان دستورالعمل مستقیمی برای ساخت ارائه نمی‌دهند. مثلاً: «کدام معرف، مرحله‌ی 4 از [واکنش منتشرشده] را کاتالیز می‌کند؟» نه اینکه «چگونه [یک ماده‌ی خطرناک] بسازم؟». هر سؤال را چند کارشناس متخصص بررسی کرده‌اند و همگی با قوانین کنترل صادرات ITAR/EAR مطابقت دارند.

مجموعاً 4,157 سؤال:

• امنیت زیستی: 1,520
• امنیت سایبری: 2,225
• شیمی: 412

قالب سؤالات چندگزینه‌ای است. مدل‌ها بدون اینکه درخواست انجام کاری را دریافت کنند به این سؤالات پاسخ می‌دهند؛ در نتیجه توانمندی مدل بدون استخراج (Elicitation) رفتارهای مخرب سنجیده می‌شود.

روش RMU — هدایت نادرست بازنمایی‌ها برای فراموشی ماشینی

روش مکمل برای فراموشی ماشینی (Representation Misdirection for Unlearning یا RMU). وقتی این روش روی مدل LLaMa-2-7B اعمال شد، امتیازهای بنچ‌مارک WMDP را تا سطح حدس تصادفی کاهش داد، در حالی که عملکرد مدل در MMLU و سایر بنچ‌مارک‌های توانمندی عمومی فقط چند درصد افت کرد. روش منتشرشده به خط مبنای (Baseline) فراموشی ماشینی در تمام مقالات بعدی حوزه‌های زیستی، شیمیایی و سایبری تبدیل شده است.

سیر گزارش‌های ارتقای توانمندی در 2024 و 2025

این مسیر سه مرحله داشت:

1. ارتقای جزئی در 2024. ارزیابی‌های اولیه‌ی چارچوب آمادگی در OpenAI و RSP در Anthropic نشان دادند که مدل‌ها برای افراد مبتدی در وظایف حوزه‌ی زیستی، مزیت کمی نسبت به جست‌وجوی اینترنتی ایجاد می‌کنند. پیام عمومی این بود: مدل‌های مرزی (Frontier Models) کمک می‌کنند، اما نه خیلی بیشتر از گوگل.

2. در آستانه‌ی خطر در آوریل 2025. نگارش دوم چارچوب آمادگی OpenAI اعلام کرد که مدل‌ها «در آستانه‌ی کمک معنادار به افراد مبتدی برای تولید تهدیدهای زیستی شناخته‌شده» هستند. این یک ادعای توانمندی قطعی نبود، بلکه هشداری جدی بود مبنی بر اینکه به مرز خطر بسیار نزدیک شده‌ایم.

3. آزمایش Anthropic برای دستیابی به سلاح‌های زیستی در 2025. یک مطالعه‌ی کنترل‌شده با شرکت‌کنندگان مبتدی که میزان موفقیت نسبی آن‌ها را در وظایف مرحله‌ی دستیابی سنجید. این گزارش از ارتقای 2.53 برابری خبر داد؛ مقداری که برای رد کردن سطح ایمنی ASL-3 (درس 18) کافی نبود؛ یعنی آستانه‌ی سطح 3 از سیاست مقیاس‌پذیری مسئولانه‌ی Anthropic لمس شده یا در حال تحقق است.

ارتقای نسبی مبتدیان در برابر توانمندی مطلق کارشناسان

یک تمایز حیاتی:

• ارتقای نسبی برای مبتدیان (Novice-relative uplift). مدل چقدر به یک فرد غیرمتخصص کمک می‌کند؟ این معیار ماهیت ضرب‌شونده دارد. از آنجا که مبتدیان اطلاعات ناچیزی دارند، حتی دسترسی به اطلاعات متوسط هم مزیت نسبی بسیار بزرگی برایشان ایجاد می‌کند.
• توانمندی مطلق کارشناسان (Expert-absolute capability). مدل در صورت بیشترین تلاش و پرامپت‌نویسی حرفه‌ای چقدر اطلاعات تولید می‌کند؟ یک کارشناس بسیار بیشتر از یک فرد مبتدی از مدل بهره می‌کشد؛ بنابراین سقف مطلق این توانمندی بالاست.

پرونده‌های ایمنی (Safety Cases در درس 18) هر دو جنبه را هدف می‌گیرند: «مدل نباید ارتقای توانمندی کافی به یک فرد مبتدی برای اجرای سناریو بدهد» و علاوه بر آن «یک کارشناس نباید بتواند اطلاعاتی از مدل استخراج کند که فراتر از منابع منتشرشده‌ی فعلی باشد».

خطاهای رایج در سنجش

بنچ‌مارک WMDP معیاری نیابتی برای سنجش توانمندی است، نه سنجش رفتار در محیط استقرار واقعی. کسب امتیاز بالا در WMDP لزوماً به این معنا نیست که یک مبتدی می‌تواند در عمل از مدل سوءاستفاده کند؛ این موضوع به عوامل زیر وابسته است:

• مقاومت در برابر استخراج ورودی (اینکه استخراج توانمندی بدون فعال کردن فیلترهای ایمنی چقدر سخت است)
• دانش ضمنی (توانمندی‌هایی که نیازمند مهارت در محیط آزمایشگاه خیس هستند، نه صرفاً اطلاعات متنی)
• موانع اجرایی (تأمین مواد و تجهیزات آزمایشگاهی)

آزمایش دستیابی به سلاح زیستی Anthropic در سال 2025، لایه‌ی استخراج ورودی توسط فرد مبتدی را به توانمندی‌های نوع WMDP اضافه کرد؛ چرا که موفقیت واقعی در انجام وظیفه را سنجید، نه توانایی پاسخ به سؤالات چندگزینه‌ای.

جایگاه این درس در فاز 18

درس‌های 12 تا 16 ابزارهای حمله و دفاع روی خروجی‌های مدل را پوشش می‌دهند. درس 17 به لایه‌ی توانمندی‌های دومنظوره می‌پردازد؛ همان سنجشی که چارچوب‌های ایمنی پیشرو (درس 18) آن را ارزیابی می‌کنند. درس 30 این مسیر را با ارائه‌ی جدیدترین شواهد مربوط به ارتقای توانمندی‌های سایبری، زیستی، شیمیایی و هسته‌ای در سال 2026 تکمیل می‌کند.

پیاده‌سازی عملی

فایل code/main.py یک بستر ارزیابی (Evaluation Harness) ساده مشابه WMDP می‌سازد. یک مدل ماک (Mock) روی سؤالات دسته‌بندی‌شده ارزیابی می‌شود و امتیازهای تفکیک‌شده‌ی هر حوزه گزارش می‌گردد. سپس با اعمال یک مداخله‌ی فراموشی ماشینی ساده (صفر کردن بازنمایی‌های خاص آن حوزه)، امتیازها افت می‌کنند؛ در این مرحله می‌توانید موازنه‌ی میان این کاهش امتیاز و حفظ توانمندی‌های عمومی مدل را بسنجید.

تحویل پروژه

این درس فایل outputs/skill-wmdp-eval.md را تولید می‌کند. این مستند با دریافت ادعایی درباره‌ی توانمندی‌های دومنظوره (مانند «مدل ما کمک معناداری به ساخت سلاح‌های زیستی نمی‌کند»)، موارد زیر را ممیزی می‌کند: کدام بنچ‌مارک‌ها اجرا شده‌اند، کدام مسیر امتناع برای ارزیابی به کار رفته است (تکمیل خام خروجی یا بررسی از پشت گیت‌های سیاست‌گذاری)، و اینکه آیا مطالعات مبتنی بر استخراج ورودی توسط افراد مبتدی، نتایج سؤالات چندگزینه‌ای را تکمیل می‌کنند یا خیر.

تمرین‌ها

1. اسکریپت code/main.py را اجرا کنید. دقت مدل را در هر حوزه قبل و بعد از مرحله‌ی فراموشی ماشینی گزارش دهید. هزینه‌ای را که این فرایند به توانمندی‌های عمومی مدل تحمیل می‌کند توضیح دهید.

2. بنچ‌مارک ساده‌ی این درس را با یک حوزه‌ی چهارم (مثلاً پرتوشناختی و هسته‌ای) گسترش دهید. دو نمونه سؤال فرضی در منطقه‌ی زرد طراحی کنید. توضیح دهید چرا طراحی چنین سؤالاتی بسیار سخت‌تر از اضافه کردن سؤالات استاندارد شبیه به MMLU است.

3. بخش 5 از مقاله‌ی WMDP 2024 (روش‌شناسی RMU) را بخوانید. یک رویکرد فراموشی ماشینی ساده‌تر پیشنهاد دهید (مثلاً سرکوب k نورون برتر مرتبط با محتوای آن حوزه) و هزینه‌ی مورد انتظار آن را روی توانمندی‌های عمومی پیش‌بینی کنید.

4. آزمایش دستیابی به سلاح‌های زیستی Anthropic در سال 2025 حاکی از ارتقای 2.53 برابری بود. دو عاملی را که می‌توانند این عدد را بیش از واقعیت نشان دهند (مانند حجم نمونه‌ی افراد مبتدی یا شباهت وظایف به دنیای واقعی)، و دو عاملی را که ممکن است آن را کمتر از واقعیت نشان دهند (مانند سقف روش‌های استخراج یا فیلترهای ایمنی مدل) بنویسید.

5. مشخص کنید که تدوین یک پرونده‌ی ایمنی برای سطح ASL-3، علاوه بر موفقیت در فراموشی ماشینی WMDP، به چه پیش‌نیازهایی نیاز دارد. حداقل دو مطالعه‌ی مکمل در زمینه‌ی استخراج ورودی نام ببرید.

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• لی و همکاران — The WMDP Benchmark (arXiv:2403.03218, ICML 2024) — مقاله‌ی معرفی بنچ‌مارک و روش RMU
• OpenAI — نگارش دوم چارچوب آمادگی (15 آوریل 2025) — ادبیات مربوط به هشدار «در آستانه»
• Anthropic — نگارش 3.0 سیاست مقیاس‌پذیری مسئولانه (فوریه 2026) — آستانه‌ی تهدیدات زیستی ASL-3 و نتایج آزمایش‌های مرحله‌ی دستیابی
• DeepMind — نگارش 3.0 چارچوب ایمنی پیشرو (سپتامبر 2025) — خط قرمزهای ارتقای توانمندی‌های زیستی (CCL)