وقتی خبرهای مربوط به مدل‌های زبانی پیشرو را دنبال می‌کنید، گزارش‌های ایمنی معمولاً از سوی خود شرکت‌های توسعه‌دهنده منتشر می‌شوند. تکیه بر خوداظهاری آزمایشگاهها به دلیل تعارض منافع ساختاری، همیشه امکان ارزیابی بی‌طرفانه را فراهم نمی‌کند. برای درک پشت‌صحنه‌ی واقعی این گزارش‌ها و سنجش قابلیت اعتماد آن‌ها، شناخت نهادهای ارزیاب مستقل ضروری است.
در سال‌های اخیر، لایه‌ای مجزا از سازمانهای مستقل پژوهشی شکل گرفته است که وظیفه‌ی کشف خطاهای پنهان، اعتبارسنجی مستقل رفتار مدل‌ها و تربیت نیروهای متخصص این حوزه را بر عهده دارند. این سازمان‌ها با ارزیابیهای بی‌طرفانه، خلأ بین ادعاهای آزمایشگاهها و واقعیت‌های رفتاری سیستم‌های پیشرفته را پر می‌کنند.
در این درس با 5 سازمان اصلی این لایه‌ی مستقل در سال 2026 شامل MATS، Redwood Research، Apollo Research، METR و Eleos آشنا می‌شوید و یاد می‌گیرید که چطور مقالات، ارزیابیهای پیش از استقرار و چارچوب‌های ایمنی هر سازمان را ردیابی و اعتبارسنجی کنید.
پنج سازمان، لایه‌ی پژوهش هم‌راستاسازی خارج از آزمایشگاهها را در سال 2026 تعریف می‌کنند: MATS (دانش‌پژوهان نظریه و هم‌راستاسازی یادگیری ماشین یا ML Alignment & Theory Scholars): بیش از 527 پژوهشگر از اواخر سال 2021، بیش از 180 مقاله، بیش از 10K ارجاع، شاخص اچ (h-index) برابر با 47؛ دوره‌ی تابستان 2024 به‌صورت یک سازمان غیرانتفاعی 501(c)(3) با حدود 90 دانش‌پژوه و 40 منتور ثبت شد؛ 80% از فارغالتحصیلان پیش از 2025 در حوزهی ایمنی/امنیت کار می‌کنند و بیش از 200 نفر از آن‌ها در Anthropic، DeepMind، OpenAI، UK AISI، RAND، Redwood، METR و Apollo مشغول به کارند. Redwood Research: آزمایشگاه هم‌راستاسازی کاربردی به بنیان‌گذاری Buck Shlegeris؛ معرفی‌کننده‌ی چارچوب کنترل هوش مصنوعی (AI Control - درس 10)؛ همکاری با UK AISI در زمینه‌ی ارائه‌ی شواهد و استدلال‌های ایمنی کنترل (safety cases). Apollo Research: ارزیابیهای توطئهچینی پیش از استقرار برای آزمایشگاههای پیشرو؛ نویسنده‌ی مقاله‌ی توطئهچینی درون‌متنی (In-Context Scheming - درس 8) و مقاله‌ی «به‌سوی ارائه‌ی شواهد و استدلال‌های ایمنی برای توطئهچینی هوش مصنوعی». METR (ارزیابی مدل و پژوهش تهدید یا Model Evaluation and Threat Research): ارزیابیهای مبتنی بر وظیفه برای سنجش توانمندی‌ها، مطالعات افق زمانی انجام وظایف خودگردان؛ گزارش «عناصر مشترک سیاست‌های ایمنی هوش مصنوعی پیشرو» که چارچوب‌های آزمایشگاهها را با هم مقایسه می‌کند. Eleos AI Research: ارزیابیهای رفاه مدل پیش از استقرار (درس 19)؛ ارزیابی رفاه Claude Opus 4 را انجام داد.
اهداف یادگیری
- پنج سازمان اکوسیستم پژوهش هم‌راستاسازی خارج از آزمایشگاهها و خروجی‌های اصلی آن‌ها را بشناسید.
- مقیاس کاری MATS (تعداد دانش‌پژوهان، مقالات، شاخص اچ) و نقش آن را به‌عنوان یک پایپلاین پرورش استعداد شرح دهید.
- برنامهی پژوهشی کنترل هوش مصنوعی Redwood و همکاری آن با UK AISI را توضیح دهید.
- متدولوژی ارزیابیهای مبتنی بر وظیفه‌ی METR را تشریح کنید.
صورت مسئله
آزمایشگاههای پیشرو (درس 18) ارزیابیهای ایمنی را به‌صورت داخلی انجام می‌دهند و نتایج منتخبی را منتشر می‌کنند. اکوسیستم خارج از آزمایشگاهها جایی است که این ارزیابی‌ها اعتبارسنجی می‌شوند، حالتهای شکست (failure modes) جدید برای نخستین بار کشف می‌گردند، و نیروهای متخصص آموزش می‌بینند. درک این اکوسیستم کمک می‌کند متوجه شوید کدام یافته‌های پژوهشی، توسط چه کسانی مورد اعتماد قرار می‌گیرند.
مفاهیم کلیدی
سازمان MATS (دانش‌پژوهان نظریه و هم‌راستاسازی یادگیری ماشین)
شروع در اواخر سال 2021. یک برنامهی منتورشیپ پژوهشی؛ دانش‌پژوهان 10 تا 12 هفته را همراه با یک پژوهشگر ارشد روی مسئله‌ای مشخص از هم‌راستاسازی کار می‌کنند.
مقیاس (سال 2026):
- بیش از 527 پژوهشگر از زمان آغاز به کار.
- انتشار بیش از 180 مقاله.
- بیش از 10K ارجاع علمی.
- شاخص اچ (h-index) برابر با 47.
- تابستان 2024: 90 دانش‌پژوه به‌همراه 40 منتور؛ ثبت رسمی به‌عنوان مؤسسه‌ی غیرانتفاعی 501(c)(3).
سرنوشت شغلی: حدود 80% از فارغالتحصیلان پیش از 2025 در حوزهی ایمنی/امنیت مشغول به کارند. بیش از 200 نفر از آن‌ها در Anthropic، DeepMind، OpenAI، UK AISI، RAND، Redwood، METR و Apollo فعالیت می‌کنند.
سازمان Redwood Research
آزمایشگاه هم‌راستاسازی کاربردی به بنیان‌گذاری Buck Shlegeris. معرفی‌کننده‌ی برنامهی کنترل هوش مصنوعی (درس 10). همکاری با UK AISI در زمینه‌ی ارائه‌ی شواهد و استدلال‌های ایمنی کنترل. ارائه‌ی مشاوره به DeepMind و Anthropic در طراحی ارزیابی‌ها.
مقاله‌های شاخص: Greenblatt، Shlegeris و دیگران، «AI Control» (arXiv:2312.06942، ICML 2024)؛ مقاله‌ی تظاهر به هم‌راستایی (Alignment Faking - نویسندگان: Greenblatt، Denison، Wright و دیگران، arXiv:2412.14093، مشترک با Anthropic).
سبک پژوهشی: مدل‌های تهدید مشخص، مهاجمان بدترین حالت، و پروتکل‌های ملموسی که بتوان آن‌ها را تحت آزمون استرس (stress-test) قرار داد.
سازمان Apollo Research
ارزیابیهای توطئهچینی پیش از استقرار برای آزمایشگاههای پیشرو. نویسنده‌ی مقاله‌ی توطئهچینی درون‌متنی (درس 8، arXiv:2412.04984). همکار OpenAI در پروژه‌ی مشترک آموزش ضدتوطئه‌چینی در سال 2025. منتشرکننده‌ی گزارش «به‌سوی ارائه‌ی شواهد و استدلال‌های ایمنی برای توطئهچینی هوش مصنوعی» (2024).
سبک پژوهشی: ارزیابی‌ها در بسترهای ایجنتی که احتمال شکل‌گیری فریبکاری در آن‌ها وجود دارد؛ تجزیه‌ی مسئله به سه رکن (ناهم‌راستایی، هدف‌محوری، آگاهی به موقعیت).
سازمان METR (ارزیابی مدل و پژوهش تهدید)
ارزیابیهای مبتنی بر وظیفه برای سنجش توانمندی‌ها. مطالعات افق زمانی تکمیل وظایف خودگردان. گزارش «عناصر مشترک سیاست‌های ایمنی هوش مصنوعی پیشرو» (metr.org/common-elements، 2025) که چارچوب‌های آزمایشگاهها را با هم مقایسه می‌کند.
همکاری با Apollo در تدوین پیش‌نویس شواهد و استدلال‌های ایمنی برای توطئهچینی هوش مصنوعی.
سبک پژوهشی: ارزیابی وظایف با افق زمانی طولانی، سنجش تجربی توانمندی‌ها، و تلفیق چارچوب‌ها.
سازمان Eleos AI Research
ارزیابیهای رفاه مدل پیش از استقرار. انجام ارزیابی رفاه Claude Opus 4 که در بخش 5.3 گزارش سیستم (system card) مستند شده است. این سازمان ارزیابی متدولوژیک مستقل را برای ادعاهای مرتبط با رفاه در درس 19 ارائه میدهد.
جریان کاری (فلو)
سازمان MATS پژوهشگران را آموزش میدهد. فارغالتحصیلان وارد تیمهای ایمنی آزمایشگاهها (Anthropic، DeepMind، OpenAI) یا سازمانهای ارزیابی خارجی (Redwood، Apollo، METR، Eleos) می‌شوند. ارزیابهای خارجی با آزمایشگاهها و همین‌طور UK AISI و CAISI همکاری می‌کنند. مقالات منتشرشده دوباره اکوسیستم را تغذیه کرده و ورودی‌های دوره‌ی بعدی MATS را شکل می‌دهند.
چرا این لایه اهمیت دارد؟
ارزیابیهای تک‌منبعی قابل اتکا نیستند: آزمایشگاههایی که مدل‌های خودشان را ارزیابی می‌کنند دچار تعارض منافع ساختاری هستند. ارزیابان خارجی میتوانند حالتهای شکستی را طرح و اعتبارسنجی کنند که ممکن است خود آزمایشگاه آن‌ها را کمتر از حد واقعی گزارش کند. مقاله‌ی «عوامل خفته» (Sleeper Agents - درس 7) در سال 2024 حاصل کار مشترک Anthropic و Redwood بود؛ مقاله‌ی تظاهر به هم‌راستایی نیز کار مشترک Anthropic و Redwood بود؛ توطئهچینی درون‌متنی را Apollo انجام داد و پروژه‌ی ضدتوطئه‌چینی کار مشترک Apollo و OpenAI بود. این ساختار چندسازمانی در واقع همان سیستم کنترل کیفیت است.
جایگاه این درس در فاز 18
درس‌های 7 تا 11 به کارهای Redwood و Apollo ارجاع می‌دهند؛ درس 18 به مقایسه‌ی چارچوب‌های METR رجوع می‌کند؛ درس 19 به Eleos استناد دارد. درس 28 نقشه‌ی ساختاری صریح اکوسیستمی است که باقی بخش‌های این فاز بر آن تکیه دارند.
استفاده از ابزارهای واقعی
این بخش کد ندارد. گزارش «عناصر مشترک سیاست‌های ایمنی هوش مصنوعی پیشرو» از METR را بخوانید تا ببینید سنتز و تحلیل خارجی چطور به کارهای سیاست‌گذاری درون‌آزمایشگاهی ارزش می‌بخشد.
خروجی این درس
این درس فایل outputs/skill-ecosystem-map.md را تولید می‌کند. با گرفتن یک ادعا یا ارزیابی هم‌راستاسازی، این فایل سازمان مربوطه، بستر انتشار و سبک متدولوژی آن را شناسایی کرده و آن را با سازمانهای همتای شناخته‌شده تطبیق میدهد.
تمرین‌ها
-
یکی از مقالات درس‌های 7 تا 15 را انتخاب کرده و سازمانهای دخیل در آن را مشخص کنید. نویسندگان را با فارغالتحصیلان MATS و وابستگی‌های سازمانی فعلی‌شان در اکوسیستم بررسی و تطبیق دهید.
-
گزارش «عناصر مشترک سیاست‌های ایمنی هوش مصنوعی پیشرو» از METR را بخوانید. سه همگرایی بین‌آزمایشگاهی را که روی آن‌ها تأکید شده، به‌همراه دو نقطه‌ی واگرایی بزرگ مشخص کنید.
-
سرنوشت شغلی فارغالتحصیلان MATS نشان میدهد حدود 80% آن‌ها وارد حوزهی ایمنی/امنیت می‌شوند. بحث کنید که آیا این فشار انتخاب، سازگارکننده است (جامعه‌ی علمی این حوزه را آموزش میدهد) یا جانبدارانه (دیدگاه‌های ناهم‌سو را غربال می‌کند).
-
هر دو سازمان Redwood و Apollo روی موضوعات کنترل و توطئهچینی کار می‌کنند، اما با سبک‌هایی متفاوت. یک حالت شکست انتخاب کنید و شرح دهید هر کدام چطور به بررسی آن می‌پردازند.
-
سازمان Eleos AI تنها سازمانی است که منحصراً روی رفاه مدل کار می‌کند. یک سازمان فرضی دوم طراحی کنید که روی سؤال دیگری در مجاورت رفاه مدل تمرکز داشته باشد (مثل آزادی شناختی، کالبدمندی روباتیک، و غیره) و متدولوژی آن را شرح دهید.
اصطلاحات کلیدی
| اصطلاح | آنچه دیگران می‌گویند | معنای واقعی آن |
|---|---|---|
| MATS | «همان برنامهی منتورشیپ» | دانش‌پژوهان نظریه و هم‌راستاسازی یادگیری ماشین؛ بیش از 527 پژوهشگر از سال 2021 |
| Redwood Research | «آزمایشگاه کنترل» | هم‌راستاسازی کاربردی؛ پدیدآورندگان مقالات AI Control؛ شریک UK AISI |
| Apollo Research | «ارزیابیهای توطئهچینی» | ارزیابیهای توطئهچینی پیش از استقرار برای آزمایشگاههای پیشرو |
| METR | «ارزیابیهای افق وظیفه» | ارزیابی توانمندی‌های مبتنی بر وظیفه؛ تلفیق چارچوب‌ها |
| Eleos AI | «آزمایشگاه رفاه» | ارزیابیهای رفاه مدل پیش از استقرار |
| پایپلاین پرورش استعداد (Talent pipeline) | «از MATS به آزمایشگاهها» | هدایت فارغالتحصیلان MATS به Anthropic، DeepMind، OpenAI، Redwood، Apollo و METR |
| ارزیابی خارجی (External evaluation) | «بررسی بیرون از آزمایشگاه» | ارزیابی توسط نهادی غیر از سازنده‌ی مدل؛ عامل ارتقای اعتبار نتایج |
برای مطالعه‌ی بیشتر
- MATS (دانش‌پژوهان نظریه و هم‌راستاسازی یادگیری ماشین) — برنامهی منتورشیپ
- Redwood Research — مقالات کنترل هوش مصنوعی (AI Control)
- Apollo Research — ارزیابیهای توطئهچینی
- METR — عناصر مشترک سیاست‌های ایمنی هوش مصنوعی پیشرو — مقایسه‌ی چارچوب‌ها
- Eleos AI Research — متدولوژی رفاه مدل