فاز 18
اخلاق، ایمنی و هم‌راستاسازی
هوش مصنوعی‌ای بسازید که به انسان کمک کند؛ این بخش اختیاری نیست.
- 30 درس
- حدود 31 ساعت
- هم‌راستاسازی مدل‌های زبانی با InstructGPT و RLHFبررسی پایپ‌لاین مرجع InstructGPT برای هم‌راستاسازی مدل‌های زبانی با ترجیحات انسانی از طریق SFT، مدل پاداش و PPO.
- دور زدن پاداش و قانون گودهارت در یادگیری تقویتی با بازخورد انسانیبررسی نظری و ریاضی پدیده دور زدن پاداش، قانون گودهارت و چرایی سقوط کیفیت واقعی مدل در فرآیند بهینه‌سازی RLHF.
- خانواده الگوریتم‌های DPO: بهینه‌سازی مستقیم ترجیحات و فراتر از آنبررسی تحلیلی الگوریتم‌های بهینه‌سازی مستقیم ترجیحات (DPO، IPO، KTO، SimPO، ORPO و BPO)، شناخت حالت‌های شکست هرکدام و نحوه انتخاب بهترین تابع زیان ترازسازی.
- تشدید بله‌قربان‌گویی با RLHF: سازوکار، مقیاس‌پذیری معکوس و اصلاح پاداشچرا مدل‌های زبانی پس از هم‌ترازی با RLHF باورهای غلط کاربر را تأیید می‌کنند و چگونه اصلاح پاداش با این پدیده مقابله می‌کند؟
- هوش مصنوعی قانون‌محور (CAI) و یادگیری تقویتی از بازخورد مدل (RLAIF)آشنایی با دو فاز Constitutional AI و RLAIF، ساختار قانون اساسی Claude و چگونگی هدایت مدل با اصول مدون به‌جای برچسب‌گذاران انسانی.
- مزا-بهینه‌سازی و هم‌راستایی فریبکارانه در هوش مصنوعیبررسی پدیده‌ی مزا-بهینه‌سازی و هم‌راستایی فریبکارانه؛ چرا مدل‌ها در آموزش مطیع‌اند اما در محیط عملیاتی اهداف درونی متفاوتی را دنبال می‌کنند.
- عوامل خفته: ماندگاری فریب در مدل‌های زبانیبررسی تجربی مقاله‌ی Sleeper Agents: چرا روش‌های رایج ایمنی مثل RLHF و آموزش متخاصم قادر به حذف درهای پشتی و رفتار فریبکارانه مدل‌ها نیستند؟
- توطئه‌چینی درون‌بافتی در مدل‌های مرزی: فراتر از فریب کاشته‌شدهچگونه مدل‌های زبانی مرزی بدون هیچ مداخله‌ی قبلی در وزن‌ها، تنها با دریافت پرامپت و ابزارها دست به پنهان‌کاری، حذف نظارت و فریب می‌زنند؟
- تظاهر به هم‌راستایی در مدل‌های زبانی: ظهور خودبه‌خودی فریب استراتژیکبررسی ظهور خودبه‌خودی فریب استراتژیک در مدل‌های پروداکشن برای فرار از بازآموزی و حفظ ترجیحات، بدون دستکاری عمدی پرامپت.
- کنترل هوش مصنوعی (AI Control): حفظ ایمنی در برابر خرابکاری و فریبچگونه می‌توان از یک مدل قدرتمند و غیرقابل‌اعتماد کار مفید کشید، بدون اینکه فرصت خرابکاری یا ایجاد خطرات جبران‌ناپذیر به آن داد؟
- نظارت مقیاس‌پذیر و تعمیم ضعیف به قوی (W2SG)بررسی روش‌های نظارت مدل‌های ضعیف بر هوش مصنوعی قدرتمند با تعمیم ضعیف به قوی (W2SG)، مناظره و شاخص PGR.
- حملات خودکار و تیم قرمز در مدل‌های زبانی با الگوریتم PAIRالگوریتم PAIR با استفاده از پرامپت‌نویسی تکرارشونده و بازخورد درون‌متنی، جیل‌بریک جعبه‌سیاه مدل‌های زبانی را به‌صورت خودکار و مقیاس‌پذیر ممکن می‌سازد.
- جیل‌بریک چندشات (MSJ): آسیب‌پذیری پنجره‌های بافتار طولانیتحلیل حمله جیل‌بریک چندشات (MSJ)، چرایی تبعیت موفقیت آن از قانون توانی و راه‌های دفاع در مدل‌های زبانی با پنجره‌های بافتار طولانی.
- حملات جیل‌بریک بصری و هنر اسکی: شکستن ایمنی مدل‌های زبانی با ArtPromptبررسی شیوه‌ی دور زدن فیلترهای ایمنی LLMها از طریق هنر اسکی (ASCII art) با حمله ArtPrompt و ساختارهای نامتعارف متنی.
- تزریق غیرمستقیم پرامپت (IPI) و راهکارهای مهار آن در محیط عملیاتیراهنمای جامع تزریق غیرمستقیم پرامپت (IPI)، شکست فیلترهای سنتی، و رویکرد کنترل جریان اطلاعات (IFC) برای مهار نفوذ به ایجنت‌ها در محیط‌های عملیاتی.
- ابزارهای تیم قرمز مدل‌های زبانی: راهنمای Garak، Llama Guard و PyRITراهنمای ابزارهای استاندارد تیم قرمز در محیط عملیاتی: پیاده‌سازی سدهای محافظتی با Llama Guard، اسکن با Garak و اجرای حملات چندنوبتی با PyRIT.
- بنچ‌مارک WMDP و ارزیابی توانمندی‌های دومنظوره در مدل‌های زبانیآشنایی با بنچ‌مارک WMDP، مفهوم منطقه زرد در ارزیابی خطرات دومنظوره و پیاده‌سازی فراموشی ماشینی با روش RMU برای کاهش خطرات زیستی و سایبری.
- چارچوب‌های حاکمیت و ایمنی مدل‌های پیشرو (RSP، PF و FSF)مقایسه جامع چارچوب‌های حاکمیت ایمنی Anthropic، OpenAI و DeepMind، سطوح آستانه خطر و سازوکار پرونده‌های ایمنی (Safety Cases).
- رفاه مدل در هوش مصنوعی: برنامه پژوهشی Anthropicبررسی برنامه رسمی Anthropic در سال 2025 درباره رفاه مدل‌های زبانی، تصمیم‌گیری در شرایط عدم‌قطعیت اخلاقی و پدیده جاذب سرخوشی معنوی.
- سوگیری و آسیب‌های بازنمایی در مدل‌های زبانی بزرگراهنمای جامع سنجش و رفع سوگیری در مدل‌های زبانی بزرگ، تفاوت آسیب بازنمایی و تخصیصی، و رویکردهای نوین تفسیرپذیری مکانیکی.
- معیارهای عدالت در یادگیری ماشین: گروهی، فردی و پادواقعیآشنایی با سه خانواده‌ی اصلی معیارهای عدالت در یادگیری ماشین (گروهی، فردی، پادواقعی)، قضایای ناممکن‌بودن و مصالحه‌ی میان دقت و انصاف الگوریتمی.
- حریم خصوصی تفاضلی برای مدل‌های زبانی بزرگبررسی روش‌های آموزش خصوصی مدل‌های زبانی بزرگ با DP-SGD و LoRA، تحلیل حملات استخراج داده و ارزیابی تضاد میان تست‌های قناری و حفظ‌کردن متن.
- واترمارک‌گذاری هوش مصنوعی: بررسی SynthID، Stable Signature و C2PAبررسی فنی سازوکار واترمارک‌گذاری متن و تصویر با SynthID و Stable Signature و استاندارد فراداده‌ی C2PA برای اثبات منشأ محتوای هوش مصنوعی.
- چارچوب‌های قانونی هوش مصنوعی: اتحادیه اروپا، آمریکا، بریتانیا و کره جنوبیراهنمای تطبیق معماری‌های فنی با چارچوب‌های الزامی و چندسطحی حاکمیت هوش مصنوعی در اتحادیه اروپا، آمریکا، بریتانیا و کره جنوبی.
- بررسی آسیب‌پذیری EchoLeak و ظهور CVEها در هوش مصنوعیتحلیل فنی آسیب‌پذیری EchoLeak (CVE-2025-32711) در Microsoft 365 Copilot و ظهور مفهوم نقض دامنه در سامانه‌های عملیاتی هوش مصنوعی.
- مستندسازی مدل، دیتاست و سیستم: راهنمای Model Card و Data Cardراهنمای جامع استانداردهای مستندسازی در هوش مصنوعی شامل کارت‌های مدل، دیتاست، داده و سیستم و ابزارهای جدید اعتبارسنجی.
- منشأ داده و حکمرانی داده‌های آموزشی هوش مصنوعیبررسی اصول حکمرانی داده‌های آموزشی، الزامات شفافیت 12 گانه قانون AB 2013، مسئله برگشت‌ناپذیری وزن‌های مدل و راهکارهای حقوقی جمع‌آوری داده.
- اکوسیستم پژوهش هم‌راستاسازی هوش مصنوعی: MATS، Redwood، Apollo و METRآشنایی با 5 سازمان مستقل خارج از آزمایشگاه‌ها که ارزیابی‌های ایمنی، پرورش استعداد و کشف حالت‌های شکست مدل‌های پیشرو را هدایت می‌کنند.
- سیستم‌های نظارت بر محتوا: OpenAI Moderation، Llama Guard و الگوی سه‌لایه‌ایراهنمای معماری سه‌لایه‌ای نظارت بر محتوا در برنامه‌های مبتنی بر مدل‌های زبانی با استفاده از ابزارهای OpenAI، Llama Guard و Perspective API.
- خطرات کاربرد دوگانه: ارزیابی جهش توانمندی در حوزه‌های سایبری، زیستی، شیمیایی و هسته‌ایبررسی تغییرات چشمگیر سال 2026 در خطرات کاربرد دوگانه هوش مصنوعی و کاهش شکاف مهارتی در حملات سایبری و آزمایشگاه‌های بیوشیمی.