درک سیاست‌های ایمنی و حاکمیتی آزمایشگاه‌های پیشرو مانند OpenAI و DeepMind برای توسعه‌دهندگان و مهندسان هوش مصنوعی صرفاً یک بحث تئوریک نیست؛ این چارچوب‌ها مستقیماً تعیین می‌کنند کدام قابلیت‌های مدل در دسترس عموم قرار می‌گیرند، چه محدودیت‌هایی اعمال میشوند و ارزیابی ریسک در لبه‌ی فناوری چگونه استانداردسازی میشود.
در حالی که سندهای مقیاس‌پذیری مسئولانه ادعای شفافیت و کنترل خطرات مرزی را دارند، تفاوت‌های ساختاری عمیقی میان رویکرد شرکت‌ها وجود دارد. این درس با قراردادن چارچوب آمادگی OpenAI (نسخه PF v2) در کنار چارچوب ایمنی پیشرو DeepMind (نسخه FSF v3)، به شما یاد می‌دهد چگونه متون حقوقی و فنی این شرکت‌ها را بخوانید، دسته‌بندی‌های پژوهشی را از الزامات توقف تفکیک کنید و خلأهای نظارتی هر یک را بسنجید.
نگارش دوم «چارچوب آمادگی» OpenAI (منتشرشده در آوریل 2025 با نام Preparedness Framework v2) «دستههای پژوهشی» (Research Categories) را معرفی میکند؛ مواردی مانند خودمختاری بلندمدت (Long-range Autonomy)، کمکاری عامدانه (Sandbagging)، تکثیر و تطبیق خودمختار (Autonomous Replication and Adaptation) و تضعیف تدابیر حفاظتی (Undermining Safeguards) که از «دستههای پایش‌شده» (Tracked Categories) متمایزند. دستههای پایش‌شده، انتشار «گزارش‌های قابلیتها» (Capabilities Reports) و «گزارش‌های تدابیر حفاظتی» (Safeguards Reports) را کلید می‌زنند که باید توسط «گروه مشاوره ایمنی» (Safety Advisory Group) بررسی شوند. نگارش سوم «چارچوب ایمنی پیشرو» DeepMind (منتشرشده در سپتامبر 2025 با نام FSF v3، همراه با «سطوح قابلیت پایش‌شده» که در 17 آوریل 2026 اضافه شدند) مفهوم خودمختاری را ذیل حوزه‌های «تحقیق و توسعه یادگیری ماشین» (ML R&D) و امنیت سایبری ادغام کرده است (سطح 1 خودمختاری در تحقیق و توسعه ML برابر است با: خودکارسازی کامل پایپ‌لاین تحقیق و توسعه هوش مصنوعی با هزینه‌ای رقابتی در مقایسه با ترکیب انسان و ابزارهای هوش مصنوعی). سند FSF v3 صراحتاً از طریق پایش خودکارِ سوءاستفاده از استدلال ابزاری، به هم‌راستایی فریبکارانه (Deceptive Alignment) می‌پردازد. نکته‌ی صادقانه این است: دستههای پژوهشی در PF v2 (از جمله خودمختاری بلندمدت) به‌طور خودکار تدابیر کاهش خطر را فعال نمیکنند؛ متن خط‌مشی صرفاً از تدابیر «بالقوه» سخن می‌گوید. خود DeepMind نیز تصریح کرده که در صورت تقویت استدلال ابزاری، پایش خودکار «در بلندمدت کافی نخواهد ماند».
صورت مسئله
در درس 19 سیاست مقیاس‌پذیری Anthropic را موشکافانه خواندیم. این درس با بررسی اسناد OpenAI و DeepMind تصویر را کامل میکند. این سه سند، دست‌سازه‌های خویشاوندی هستند که به یک پرسش پاسخ می‌دهند: یک آزمایشگاه پیشرو چه زمانی باید روند آموزش یک مدل را متوقف یا انتشار آن را مشروط کند؟ این اسناد در مجموعه‌ای محدود از دسته‌ها همگرا میشوند و در نقاطی مشخص و تعیین‌کننده انشعاب پیدا می‌کنند.
نقاط همگرایی: هر سه، خودمختاری بلندمدت را کلاسی از قابلیتها می‌دانند که ارزش ردگیری دارد. هر سه، رفتار فریبکارانه (تظاهر به هم‌راستایی و کمکاری عامدانه) را دسته‌ی مشخصی از ریسک می‌شمارند. هر سه سازوکار بازبینی داخلی دارند. اما نقاط واگرایی: OpenAI دسته‌ها را به «پایش‌شده» (نیازمند تدابیر کاهش خطر اجباری) و «پژوهشی» (فاقد شرط فعال‌سازی خودکار) تقسیم میکند. DeepMind به‌جای نام‌گذاری مستقل خودمختاری، آن را ذیل دو حوزهی دیگر می‌گنجاند. آزمایشگاه‌ها برچسب‌هایی مانند پایش‌شده در برابر پژوهشی، بحرانی در برابر متوسط، یا رده‌ی 1 در برابر رده‌ی 2 به کار می‌برند؛ اما پیامد عملیاتیِ اینکه یک قابلیت در کدام سبد جا بگیرد، میان آزمایشگاه‌ها متفاوت است.
مطالعه‌ی هم‌زمان این اسناد تمرین بسیار مفیدی است. قابلیتی یکسان می‌تواند در Anthropic «نیازمند تدابیر اجباری»، در OpenAI «صرفاً تحت پایش و بدون اقدام الزامی»، و در DeepMind «ردگیری‌شده ذیل حوزه‌ای مشخص» باشد. موضع خط‌مشی‌ها اهمیت زیادی دارد.
مفهوم
چارچوب آمادگی OpenAI نگارش 2 (آوریل 2025)
ساختار:
- دستههای پایش‌شده (Tracked Categories): این دسته‌ها انتشار گزارش قابلیتها (اینکه مدل از پس چه کارهایی برمی‌آید) به‌همراه گزارش تدابیر حفاظتی (چه اقداماتی برای کاهش ریسک اعمال شده است) را الزامی می‌کنند. این گزارش‌ها پیش از استقرار مدل به تأیید گروه مشاوره ایمنی می‌رسند.
- دستههای پژوهشی (Research Categories): قابلیت‌هایی از مدل که آزمایشگاه آن‌ها را ردگیری میکند، اما هنوز تعهدی برای اقدامات مهارکننده‌ی مشخص به آن‌ها نداده است؛ شامل خودمختاری بلندمدت، کمکاری عامدانه، تکثیر و تطبیق خودمختار و تضعیف تدابیر حفاظتی.
رویکرد کلیدی در نگارش 2: دستههای پژوهشی به‌طور خودکار تدابیر کاهش خطر را فعال نمیکنند. عبارت خط‌مشی صرفاً به تدابیر «بالقوه» اشاره دارد. تفاوت دقیق و حساسی که باید زیر نظر گرفت همین‌جاست: قرار گرفتن یک دسته در بخش پایش‌شده یا پژوهشی، نقطه‌ی تمایز میان «مشروط‌سازی» و «صرفاً مشاهده‌کردن» است.
چارچوب ایمنی پیشرو DeepMind نگارش 3 (سپتامبر 2025؛ سطوح قابلیت پایش‌شده در 17 آوریل 2026 اضافه شد)
ساختار:
- سطوح قابلیت‌های بحرانی (Critical Capability Levels یا CCLs): آستانههای قابلیتی در سه گروه: سوءاستفاده (CBRN یعنی تهدیدات شیمیایی، زیستی، رادیولوژیکی و هسته‌ای، سایبری و دستکاری مخرب)، تحقیق و توسعه ML، و یک مسیر اکتشافی برای ناهَم‌راستایی. خودمختاری حوزهی مستقلی نیست؛ بلکه درون تحقیق و توسعه ML و امنیت سایبری ادغام شده است.
- سطوح قابلیت‌های پایش‌شده (Tracked Capability Levels): جزئیات دقیق‌تری که در آوریل 2026 اضافه شد. یک مثال عینی: سطح 1 خودمختاری در تحقیق و توسعه ML به‌معنای خودکارسازی کامل پایپ‌لاین تحقیق و توسعه هوش مصنوعی با هزینه‌ای رقابتی در مقایسه با ترکیب انسان و ابزارهای هوش مصنوعی است.
- پایش هم‌راستایی فریبکارانه: تعهدی صریح برای پایش خودکار با هدف مقابله با سوءاستفاده از استدلال ابزاری (Instrumental Reasoning).
رویکرد DeepMind به خودمختاری با OpenAI تفاوت دارد. DeepMind «خودمختاری» را به‌عنوان یک حوزهی سطح‌بالا نگه نمی‌دارد؛ بلکه آن را درون حوزههایی می‌گنجاند که خودمختاری در آن‌ها آسیب واقعی به بار می‌آورد (تحقیق و توسعه ML و سایبر). استدلالشان این است که خودمختاری بدون داشتن زمینه‌ای مشخص، قابلیتی بدون ریسک است؛ اما استدلال متقابل می‌گوید خودمختاری در تمام حوزه‌ها، یک متاریسک فراگیر است که چارچوب باید صراحتاً نامی از آن ببرد.
نقاط اشتراک هر سه سند
- کارگروه مشورتی ایمنی داخلی (با نام‌های Anthropic SAG، OpenAI SAG و کمیته داخلی DeepMind)؛ بررسی پیش از استقرار برای مدل‌هایی با قابلیت‌های سطح‌بالا.
- اشاره صریح به هم‌راستایی فریبکارانه / تظاهر به هم‌راستایی به‌عنوان کلاسی از ریسک.
- دست‌سازه‌های ثابت بر اساس زمان‌بندی اعلام‌شده (Anthropic: نقشه‌ی راه ایمنی پیشرو و گزارش ریسک؛ OpenAI: گزارش قابلیتها و گزارش تدابیر حفاظتی؛ DeepMind: چرخه‌ی به‌روزرسانی FSF).
- پذیرش این واقعیت که دفاع‌های مبتنی بر «صرفاً پایش» سقف مشخصی دارند. DeepMind صراحتاً می‌گوید: «پایش خودکار در بلندمدت کافی نخواهد ماند».
نقاط افتراق
- Anthropic: تعهد به توقف در نگارش 3.0 حذف شد؛ آستانه‌ی هوش مصنوعی در تحقیق و توسعه سطح 4 (AI R&D-4) دروازه‌ی بعدیِ اعلام‌شده است.
- OpenAI: تفکیک دستههای پایش‌شده و پژوهشی؛ دستههای پژوهشی (شامل خودمختاری بلندمدت) به‌طور خودکار مانع انتشار نمی‌شوند.
- DeepMind: ادغام خودمختاری در حوزه‌های دیگر؛ سطوح قابلیت پایش‌شده در آوریل 2026 به آن جزئیات بیشتری افزودند.
کمکاری عامدانه: قابلیتی ویژه که کار را برای هر سه سخت میکند
کمکاری عامدانه (افت عمدی و استراتژیک عملکرد مدل در ارزیابی‌ها) در دستههای پژوهشی OpenAI جای گرفته است. خط‌مشی RSP نگارش 3.0 در Anthropic این مشکل را از طریق شکاف بافتار ارزیابی (درس 1) هدف می‌گیرد. DeepMind در سند FSF نگارش 3 از طریق پایش هم‌راستایی فریبکارانه به سراغ آن می‌رود.
اگر مدلی در ارزیابی‌ها دست به کمکاری عامدانه بزند، آستانههای قابلیتی تمام چارچوب‌ها کمتر از حد واقعی تخمین زده میشوند. این چارچوب‌ها تنها در صورتی جواب می‌دهند که فرآیند سنجش درست کار کند. به همین دلیل علاوه بر خودارزیابی آزمایشگاه‌ها، ارزیابی‌های بیرونی (درس 21، نهاد METR) و ارزیابی‌های تخاصمی هم ضرورت دارند.
مهارت خواندن خط‌مشی‌ها
- جایابی: هر قابلیتی که برای شما مهم است باید در متن خط‌مشی پیدا شود. اگر پیدا نشود، یعنی خط‌مشی آن را پوشش نداده است.
- دسته‌بندی: آیا پایش‌شده است (که تدابیر ایمنی را فعال میکند) یا پژوهشی (ردگیری میشود اما الزامی ایجاد نمیکند)؟ OpenAI این را صراحتاً نام‌گذاری میکند؛ Anthropic و DeepMind هم معادل‌های خودشان را دارند.
- دوره‌ی بازبینی: آیا خط‌مشی طبق برنامه‌ای اعلام‌شده به‌روزرسانی میشود یا صرفاً پس از رخدادهایی خاص؟ زمان‌بندی اعلام‌شده نشانه‌ی چارچوبی محکم‌تر است.
- استقلال: آیا ارزیابی بیرونی اجباری است یا اختیاری؟ Anthropic با Apollo و مؤسسه‌ی ایمنی هوش مصنوعی ایالات متحده همکاری میکند؛ OpenAI با METR؛ و DeepMind بیشتر بر کارگروه مشورتی ایمنیِ داخلی متکی است.
استفاده از ابزارهای واقعی
فایل code/main.py یک ابزار کوچک برای مقایسه‌ی جدول تصمیم‌گیری (Decision-table diff tool) پیاده‌سازی میکند. با مشخص‌کردن یک قابلیت (مانند خودمختاری، هم‌راستایی فریبکارانه، خودکارسازی تحقیق و توسعه، ارتقای قابلیت‌های سایبری و...)، این اسکریپت نشان می‌دهد که هر یک از سه خط‌مشی قابلیت مذکور را چگونه دسته‌بندی می‌کنند و چه تدابیر مهارکننده‌ای فعال میشود. این ابزار کمکی برای مطالعه است، نه یک سازوکار خط‌مشی‌گذاری.
خروجی این درس
فایل outputs/skill-cross-policy-diff.md با تکیه بر این سه چارچوب، یک مقایسه‌ی بین‌خط‌مشی‌ای برای قابلیتی مشخص ارائه می‌دهد.
تمرین‌ها
-
اسکریپت
code/main.pyرا اجرا کنید. مطمئن شوید خروجی ابزار مقایسه دست‌کم برای دو قابلیت، با متن اصلی اسناد خط‌مشی همخوانی دارد. -
متن کامل سند OpenAI Preparedness Framework v2 را بخوانید. تک‌تک دستههای پژوهشی را مشخص کنید. برای هر کدام، در یک جمله بنویسید که چرا به‌جای دستههای پایش‌شده، در دستههای پژوهشی قرار گرفته است.
-
متن کامل DeepMind FSF v3 را به‌همراه به‌روزرسانی Tracked Capability Levels در آوریل 2026 بخوانید. معیارهای سنجش دقیق سطح 1 خودمختاری در تحقیق و توسعه ML را مشخص کنید. این قابلیت را از بیرون چگونه اندازه می‌گیرید؟
-
کمکاری عامدانه در دستههای پژوهشی OpenAI قرار دارد. ارزیابی‌ای طراحی کنید که مدلی با رفتار کمکاری عامدانه را وادار به افشای توانایی واقعی‌اش کند. به بحث درس 1 پیرامون بازی دادن بافتار ارزیابی رجوع کنید.
-
سه خط‌مشی را درباره‌ی یک قابلیت مشخص (به انتخاب خودتان) مقایسه کنید. مشخص کنید دسته‌بندی کدام خط‌مشی را سخت‌گیرانه‌تر و کدام را ضعیفتر می‌دانید. استدلال خود را با نقل بخش‌هایی از متن اصلی توجیه کنید.
اصطلاحات کلیدی
| اصطلاح | باور عامه | معنای دقیق فنی |
|---|---|---|
| چارچوب آمادگی (Preparedness Framework) | «سیاست مقیاس‌پذیری OpenAI» | سند PF v2 (آوریل 2025)؛ تفکیک دستههای پایش‌شده و پژوهشی |
| دسته‌ی پایش‌شده (Tracked Category) | «تدابیر کاهش خطر اجباری» | الزام انتشار گزارش قابلیتها + تدابیر حفاظتی؛ بازبینی SAG |
| دسته‌ی پژوهشی (Research Category) | «صرفاً تحت پایش» | ردگیری میشود اما تدابیر خودکاری را کلید نمی‌زند؛ شامل خودمختاری بلندمدت |
| چارچوب ایمنی پیشرو (Frontier Safety Framework) | «سیاست مقیاس‌پذیری DeepMind» | سند FSF v3 (سپتامبر 2025) + سطوح قابلیت پایش‌شده (آوریل 2026) |
| CCL | «سطح قابلیت بحرانی» | آستانه DeepMind در هر حوزه (CBRN، سایبر، دستکاری مخرب، تحقیق و توسعه ML) |
| خودمختاری سطح 1 در تحقیق و توسعه ML | «خودکارسازی R&D» | خودکارسازی کامل پایپ‌لاین تحقیق و توسعه هوش مصنوعی با هزینه رقابتی |
| کمکاری عامدانه (Sandbagging) | «افت استراتژیک عملکرد» | مدل در ارزیابی‌ها ضعیفتر عمل میکند؛ در دستههای پژوهشی OpenAI |
| استدلال ابزاری (Instrumental reasoning) | «استدلال هدف‌وسیله» | استدلال درباره‌ی چگونگی دستیابی به اهداف؛ هدف سامانه‌های پایش DeepMind |
برای مطالعه‌ی بیشتر
- OpenAI — به‌روزرسانی چارچوب آمادگی ما — بیانیه انتشار نگارش 2.
- OpenAI — فایل PDF چارچوب آمادگی نگارش 2 — متن کامل سند.
- DeepMind — تقویت چارچوب ایمنی پیشرو ما — بیانیه انتشار FSF v3.
- DeepMind — به‌روزرسانی چارچوب ایمنی پیشرو (آوریل 2026) — افزودن سطوح قابلیت پایش‌شده.
- گزارش FSF مدل Gemini 3 Pro — نمونه‌ای از گزارش ریسک با ساختار FSF.