وقتی مدل‌های هوش مصنوعی از مقیاس ابزارهای درون‌سازمانی فراتر می‌روند، تهدیدات ناشی از آن‌ها دیگر به خطاهای مهندسی ساده محدود نمی‌شود. توسعه‌دهندگان و معماران سیستم باید بدانند چه سازوکارهایی در لایه‌ی کلان برای مقابله با خطرات فاجعه‌بار در حال شکل‌گیری است. این درس به شناخت نهادهای شکل‌دهنده‌ی این حوزه و چارچوبهای ارزیابی ریسک در مقیاس اجتماعی می‌پردازد.
درک تفکیک میان نهادهای پژوهشی و مراجع دولتی مثل CAIS و CAISI، نقشه‌ی راه روشنی برای ارزیابی ایمنی ارائه می‌دهد. در این میان، چارچوب چهارگانه‌ی ریسک نشان می‌دهد که بخش مهمی از خطرات ناشی از فناوری، ریشه در فرهنگ داخلی سازمان‌ها و فدا کردن ایمنی به پای سرعت عرضه دارد؛ موضوعی که مهندسان مستقیماً با آن درگیر هستند.
مرکز ایمنی هوش مصنوعی (CAIS واقع در سان‌فرانسیسکو، تأسیس در سال 2022 توسط Hendrycks و Zhang) چارچوب چهارگانه‌ی ریسک — استفادهی مخرب، رقابتهای هوش مصنوعی، ریسکهای سازمانی، هوشهای مصنوعی سرکش — و همچنین بیانیه‌ی مه 2023 درباره‌ی خطر انقراض را منتشر کرد که به امضای صدها استاد دانشگاه و رهبر شرکتی رسید. انتشارات سال 2026 از CAIS عبارتند از: داشبورد هوش مصنوعی برای ارزیابی مدل‌های پیشرو، شاخص نیروی کار دورکار (با همکاری Scale AI)، مقاله‌ی راهبردی اَبَرهوش، و خبرنامه‌ی مرزهای هوش مصنوعی (AI Frontiers). نهادی کاملاً مجزا: مرکز استانداردها و نوآوری هوش مصنوعی NIST موسوم به CAISI — توافقهای داوطلبانه با دولت ایالات متحده و ارزیابیهای طبقه‌بندی‌نشده‌ی توانمندی با تمرکز بر خطرات سایبری، زیستی و سلاح‌های شیمیایی. CAIS ریسک سازمانی را به عنوان یکی از چهار ریسک سطح بالا مشخص میکند: فرهنگ ایمنی، ممیزی‌های دقیق، دفاع‌های چندلایه و امنیت اطلاعات بنیادین هستند، اما معمولاً فدای سرعت استقرار می‌شوند. لایحه‌ی SB-53 کالیفرنیا، در صورت امضا، نخستین مقررات ریسک فاجعه‌بار در سطح ایالتی در آمریکا خواهد بود.
صورت مسئله
درس‌های 19 و 20 سیاست‌های مقیاس‌پذیری داخلی آزمایشگاهها را پوشش دادند. درس 21 به ارزیابی مستقل توانمندی پرداخت. این درس به سراغ دیدگاه سوم می‌رود: نهادهای جامعه‌ی مدنی و سازمان‌های دولتی که گفتمان عمومی و خط مبنای قانونی را برای خطرات فاجعه‌بار هوش مصنوعی شکل می‌دهند.
دو نهاد متمایز در این حوزه اهمیت دارند. CAIS یک سازمان پژوهشی غیرانتفاعی است که چارچوب‌هایی برای تفکر پیرامون ریسک هوش مصنوعی منتشر میکند و بیانیه‌های عمومی را هماهنگ می‌سازد. CAISI یک مرکز دولتی در ایالات متحده زیرمجموعه‌ی NIST است که توافقهای داوطلبانه با آزمایشگاهها و ارزیابیهای طبقه‌بندی‌نشده‌ی توانمندی را پیش می‌برد. نام‌هایشان هم‌قافیه است، اما مأموریت‌هایشان هم‌پوشانی ندارد. یک متخصص باید هر دو را بشناسد.
محتوای کاربردی: چارچوب چهارگانه‌ی ریسک CAIS بیشترین ارجاع را در ادبیات مربوط به طبقه‌بندی ریسکهای در مقیاس اجتماعی دارد. فرهنگ ایمنی و ریسک سازمانی یکی از این چهار مورد است و دقیقاً همین بخش بیشترین تأثیرپذیری را از اقدامات مستقیم یک متخصص دارد. لایحه‌ی SB-53 (کالیفرنیا) در صورت امضا، نخستین مقررات ریسک فاجعه‌بار در سطح ایالتی در آمریکا خواهد بود؛ نحوه‌ی صورت‌بندی این لایحه اهمیت دارد، چرا که مقررات سطح ایالتی در تاریخ سیاست‌گذاری فناوری آمریکا همواره پیش‌درآمد اقدامات فدرال بوده‌اند.
مفاهیم پایه
مرکز ایمنی هوش مصنوعی (CAIS — Center for AI Safety)
- زمان تأسیس: سال 2022 در سان‌فرانسیسکو، توسط Dan Hendrycks و Oliver Zhang. هندریکس مدیر اجرایی و پژوهشی است؛ ژانگ مدیر ارشد عملیاتی است.
- وضعیت حقوقی: سازمان غیرانتفاعی 501(c)(3).
- خروجی شاخص سال 2023: بیانیه درباره‌ی خطر انقراض با امضای مشترک صدها پژوهشگر و مدیرعامل. در متن آمده بود: «کاهش خطر انقراض ناشی از هوش مصنوعی باید در کنار خطرات دیگری در مقیاس اجتماعی همچون همه‌گیری‌ها و جنگ هسته‌ای، یک اولویت جهانی باشد.»
- خروجی‌های سال 2026: داشبورد هوش مصنوعی برای ارزیابی مدل‌های پیشرو، شاخص نیروی کار دورکار (مشترک با Scale AI)، مقاله‌ی راهبردی اَبَرهوش، و خبرنامه‌ی مرزهای هوش مصنوعی (AI Frontiers).
چارچوب چهارگانه‌ی ریسک
چارچوب CAIS خطرات فاجعه‌بار هوش مصنوعی را به چهار دستهی سطح بالا تقسیم میکند:
- استفادهی مخرب (Malicious use): بازیگری شرور از هوش مصنوعی برای آسیب رساندن استفاده کند (سنتز سلاح‌های زیستی، اطلاعات گمراه‌کننده، حملات سایبری).
- رقابتهای هوش مصنوعی (AI races): فشارهای رقابتی میان آزمایشگاهها، شرکت‌ها یا دولت‌ها استقرار را از مرز ایمن فراتر می‌برد.
- ریسکهای سازمانی (Organizational risks): پویایی‌های داخلی آزمایشگاه (نقص در فرهنگ ایمنی، ممیزی ناکافی، امنیت با منابع ناکافی) به یک استقرار نامناسب ختم می‌شود.
- هوشهای مصنوعی سرکش (Rogue AIs): یک سیستم هوش مصنوعی با توانمندی بالا اهدافی در تضاد با رفاه انسان را دنبال کند.
این رویکرد تنها طبقه‌بندی موجود نیست، اما پرارجاع‌ترین آن‌هاست. این دسته‌ها مانع‌الجمع نیستند؛ هوش مصنوعی سرکشی که توسط سازمانی با اولویت دادن سرعت بر ممیزی در کوران رقابت تولید شده باشد، هم‌زمان در هر چهار دسته جای می‌گیرد.
جایگاه ریسک سازمانی
در میان این چهار دسته، ریسک سازمانی بیشترین قابلیت پیگیری عملی را برای متخصصان دارد. فرهنگ ایمنی، دقت ممیزی، دفاع چندلایه و امنیت اطلاعات در یک آزمایشگاه تعیین می‌کنند که آیا مدل با سازوکارهای کنترلی درس‌های 10 تا 18 راهی محیط عملیاتی (پروداکشن) می‌شود، یا این کنترل‌ها صرفاً مواردی در یک چک‌لیست هستند که هیچ‌کس درستی‌شان را بررسی نکرده است.
اهرم‌های ملموس ریسک سازمانی:
- فرهنگ ایمنی: آیا اعضای تیم می‌توانند بدون نگرانی از تبعات شغلی، نگرانی‌های خود را به سطوح بالاتر گزارش دهند؟ پیمایش‌های CAIS نشان می‌دهد این عامل، پیش‌بینی‌کننده‌ای قوی برای سایر اهرم‌ها است.
- ممیزی‌های دقیق: بیرونی و درونی. ممیزی‌های صرفاً درونی گزارش‌هایی خوش‌بینانه تولید می‌کنند.
- دفاع‌های چندلایه: هیچ تک‌لایه‌ای کافی نیست (مضمون پیوسته‌ی فاز 15).
- امنیت اطلاعات: نشت وزن‌های مدل، نشت داده‌های ارزیابی و نشت تکنیک‌های دور زدن سامانه‌های پایش. استاندارد RAND SL-4 در درس 19 نمونه‌ای مشخص از این مقوله است.
مرکز استانداردها و نوآوری هوش مصنوعی (CAISI — Center for AI Standards and Innovation)
- درون سازمان NIST فعالیت میکند.
- توافقهای داوطلبانه را با آزمایشگاه‌های پیشرو پیش می‌برد.
- ارزیابیهای طبقه‌بندی‌نشده‌ی توانمندی را با تمرکز بر خطرات سایبری، زیستی و سلاح‌های شیمیایی منتشر میکند.
- کاملاً از CAIS متمایز است؛ با اینکه سرواژه‌ها شباهت دارند، برای اطمینان از اینکه کدام‌یک را می‌خوانید، نشانی وب‌سایت (nist.gov) را بررسی کنید.
نقش CAISI، همتای عمومی و دولتی در برابر تعاملات خصوصی METR با آزمایشگاهها است (درس 21). گزارش‌های CAISI محرمانه نیستند؛ در حالی که گزارش‌های METR اغلب به قرارداد عدم افشا (NDA) محدود می‌شوند. متخصصی که هر دو را بخواند، دید کامل‌تری پیدا میکند.
لایحه‌ی SB-53 کالیفرنیا
لایحه‌ی سنای کالیفرنیا (دوره‌ی 2025–2026) به ریسک فاجعه‌بار ناشی از مدل‌های مرزی می‌پردازد. بندهای کلیدی پیش‌نویس فعلی عبارتند از:
- آستانه‌های توانمندی مشخص که تعهدات در سطح ایالتی را فعال می‌کنند.
- حمایت‌های قانونی از افشاگران برای کارکنان آزمایشگاه‌های هوش مصنوعی.
- الزامات گزارش‌دهی حوادث در صورت بروز خرابی‌های فاجعه‌بار.
این لایحه در صورت امضا، نخستین مقررات در سطح ایالتی برای ریسک فاجعه‌بار در آمریکا خواهد بود. فارغ از امضا شدن یا نشدن، چارچوب این لایحه به رویکرد مجالس سایر ایالت‌ها جهت می‌دهد. متخصصان مقیم کالیفرنیا باید وضعیت این لایحه را دنبال کنند؛ متخصصان سایر نقاط نیز بهتر است آن را بخوانند تا دریابند مقررات سطح ایالتی آمریکا به احتمال زیاد چه شکلی خواهد داشت.
ریسک در مقیاس اجتماعی مسئله‌ای تک‌لایه‌ای نیست
مضمون پیوسته‌ی فاز 15 — دفاع در عمق — در سطح اجتماعی نیز صدق میکند. هیچ سازمان، قانون یا چارچوب منفردی پرونده‌ی ریسک فاجعه‌بار را نمی‌بندد. این اکوسیستم تنها در شرایط زیر کار میکند:
- آزمایشگاهها سیاست‌های مقیاس‌پذیری را پیاده کنند (درس‌های 19 و 20).
- ارزیاب‌های بیرونی سنجش‌ها را انجام دهند (درس 21).
- جامعه‌ی مدنی مسائل را رصد کند و بازتاب دهد (CAIS).
- دولت برنامه‌های داوطلبانه و خط مبنای قانونی را پیش ببرد (CAISI، لایحه‌ی SB-53).
- متخصصان سازوکارهای کنترلی چندلایه بسازند (درس‌های 10 تا 18).
این جمع‌بندی نهایی فاز است: تمام درس‌های پیشین، لایه‌هایی از یک ساختار کلی هستند؛ ساختاری که یکپارچگی کل آن بسیار مهم‌تر از استحکام هر تک‌لایه‌ی جداگانه است.
استفاده از آن
فایل code/main.py ابزار کوچکی برای ثبت سیاهه‌ی ریسک پیاده‌سازی میکند. این ابزار با دریافت مشخصات یک استقرار پیشنهادی، آن را طبق چهار دستهی ریسک برچسب‌گذاری میکند و چک‌لیستی از راهکارهای کاهش ریسک برمی‌گرداند. این برنامه کمکی برای درک بهتر چارچوب است، نه جایگزینی برای قضاوت انسانی.
پیاده‌سازی عملی
فایل outputs/skill-societal-risk-review.md وضعیت یک استقرار را از نظر ریسک در مقیاس اجتماعی ارزیابی میکند: اینکه به کدام‌یک از این چهار دسته مربوط می‌شود، چه تدابیر کاهشی اعمال شده‌اند، و میزان مواجهه با ریسک سازمانی چقدر است.
تمرین‌ها
-
اسکریپت
code/main.pyرا اجرا کنید. سه سناریوی استقرار فرضی در مقیاس‌های مختلف به آن بدهید. بررسی کنید آیا برچسب‌های چهارگانه‌ی ریسک طبق انتظار شما هستند یا خیر؛ موردی را پیدا کنید که ابزار کمتر یا بیشتر از حد واقعی برچسب زده باشد. -
مقاله‌ی چهار ریسک CAIS را کامل بخوانید. یکی از دسته‌های ریسک را انتخاب کنید و در دو پاراگراف بنویسید که به نظر شما مهم‌ترین تحول سال 2026 در آن دسته چه بوده است.
-
پیش‌نویس فعلی لایحه‌ی SB-53 کالیفرنیا را مطالعه کنید. یک بند را که به نظرتان وضعیت مقابله با ریسک فاجعه‌بار را تقویت میکند و یک بند را که آن را تضعیف میکند مشخص کنید. برای هر دو دلیل بیاورید.
-
یک استقرار هوش مصنوعی در محیط عملیاتی (پروژه‌ی خودتان یا سیستمی منتشرشده) را در نظر بگیرید. آن را بر اساس اهرم‌های فرعی ریسک سازمانی بسنجید: فرهنگ ایمنی، دقت ممیزی، دفاع‌های چندلایه، امنیت اطلاعات. کدام‌یک ضعیف‌تر است؟ رساندن آن به سطح مطلوب چقدر هزینه دارد؟
-
پیش‌نویسی از نسخه‌ی سال 2028 چارچوب چهار ریسک تهیه کنید که یک سال توانمندی بیشتر و یک سال تجربه‌ی استقرار بیشتر را بازتاب دهد. چه مواردی را اضافه، حذف یا بازآرایی می‌کنید؟
اصطلاحات کلیدی
| اصطلاح | آنچه افراد می‌گویند | معنای واقعی آن |
|---|---|---|
| CAIS | «مرکز ایمنی هوش مصنوعی» | نهاد غیرانتفاعی؛ چارچوب چهار ریسک؛ بیانیه‌ی خطر انقراض سال 2023 |
| CAISI | «ایمنی هوش مصنوعی در دولت آمریکا» | مرکز وابسته به NIST؛ توافقهای داوطلبانه؛ ارزیابیهای طبقه‌بندی‌نشده |
| چارچوب چهارگانه‌ی ریسک (Four-risk framework) | «طبقه‌بندی ارائه‌شده توسط CAIS» | استفادهی مخرب، رقابتهای هوش مصنوعی، ریسکهای سازمانی، هوشهای مصنوعی سرکش |
| استفادهی مخرب (Malicious use) | «سوءاستفاده‌ی بازیگر شرور از هوش مصنوعی» | سلاح‌های زیستی، اطلاعات گمراه‌کننده، حملات سایبری |
| رقابتهای هوش مصنوعی (AI races) | «فشار رقابتی» | پیش‌روی آزمایشگاهها/شرکت‌ها/دولت‌ها در استقرار و گذشتن از مرز ایمنی |
| ریسک سازمانی (Organizational risk) | «شکست داخلی آزمایشگاه» | فرهنگ ایمنی، ممیزی، تدابیر دفاعی، امنیت اطلاعات |
| هوش مصنوعی سرکش (Rogue AI) | «ایجنت ناسازگار» | هوش مصنوعی بسیار توانمندی که اهداف در تضاد با رفاه انسان را دنبال میکند |
| لایحه‌ی SB-53 کالیفرنیا | «مقررات در سطح ایالتی» | لایحه‌ی دوره‌ی 2025–2026؛ در صورت امضا، نخستین مقررات ایالتی آمریکا برای ریسک فاجعه‌بار |
برای مطالعه‌ی بیشتر
- مرکز ایمنی هوش مصنوعی (Center for AI Safety) — خاستگاه نهادی چارچوب چهارگانه‌ی ریسک.
- CAIS — خطرات هوش مصنوعی که می‌توانند به فاجعه بینجامند — مقاله‌ی چارچوب چهار ریسک.
- CAIS — بیانیه‌ی مه 2023 درباره‌ی خطر انقراض — بیانیه‌ی مشترک کوتاه.
- NIST CAISI — مرکز نوآوری و استانداردهای هوش مصنوعی با تمرکز بر تعاملات دولتی.
- Anthropic — سنجش خودمختاری ایجنت در عمل — پیوند تعهدات در سطح آزمایشگاه با چارچوبهای مقیاس اجتماعی.