سوگیری و آسیب‌های بازنمایی در مدل‌های زبانی بزرگ

بسیاری از خطاهای مدل‌های زبانی بزرگ ناشی از حملات عمدی یا خرابکاری کاربران نیست؛ بلکه از سوگیری‌های پنهان درون داده‌های آموزشی و ساختار مدل سرچشمه می‌گیرد. وقتی مدلی در غربالگری رزومه‌ها یا پیشنهادهای استخدامی به شکلی نابرابر رفتار می‌کند یا گروه‌های جمعیتی خاصی را به کلیشه‌ها محدود می‌سازد، نوعی آسیب به بار می‌آورد که بدون آزمون‌های دقیق روش‌شناختی تشخیص‌دادنی نیست.

درک تفاوت آسیب‌های بازنمایی و تخصیصی و یادگیری تکنیک‌های سنجش سوگیری — از معیارهای سنتی مانند آزمون انتساب امبدینگ کلمه (WEAT) تا ابزارهای مدرن تفسیرپذیری مکانیکی مانند شناسایی نورون‌های جنسیتی و خودکدگذارهای پراکنده (SAE) — مهارتی ضروری برای مهندسان هوش مصنوعی است تا سیستم‌هایی بسازند که خروجی‌های منصفانه‌تر و قابل‌اطمینان‌تری تولید کنند.

گالگوس، روسی، بارو، تنجیم، کیم، درنون‌کورت، یو، ژانگ، احمد (Computational Linguistics 2024, arXiv:2309.00770). مقاله‌ی مروری بنیادین 2024 که آسیب‌های بازنمایی (کلیشه‌ها، نادیده‌انگاری) را از آسیب‌های تخصیصی (توزیع نابرابر منابع) تفکیک می‌کند و معیارهای ارزیابی را در سه دسته‌ی مبتنی بر امبدینگ، مبتنی بر احتمال یا مبتنی بر متن تولیدشده طبقه‌بندی می‌کند. کار تجربی 2024-2025: آن و همکاران (PNAS Nexus، مارس 2025) سوگیری تقاطعی جنسیت × نژاد را در مدل‌های GPT-3.5 Turbo، GPT-4o، Gemini 1.5 Flash، Claude 3.5 Sonnet و Llama 3-70B در ارزیابی خودکار رزومه برای 20 شغل سطح مقدماتی می‌سنجند. مقاله‌ی WinoIdentity (COLM 2025, arXiv:2508.07111) ارزیابی انصاف مبتنی بر عدم قطعیت را برای هویت‌های تقاطعی معرفی می‌کند. یو و آنانیادو (2025) نورون‌های جنسیتی را در لایه‌های MLP شناسایی می‌کنند؛ احسان و والاس (2025) با استفاده از SAEها سوگیری نژادی بالینی را آشکار می‌سازند؛ ژو و همکاران (2024، UniBias) سرهای اتنشن را برای سوگیری‌زدایی دستکاری می‌کنند. فرانقد (arXiv:2508.11067): متون پژوهشی 10 سال گذشته به‌طور نامتناسبی بر سوگیری جنسیت دوگانه تمرکز داشته‌اند.

اهداف یادگیری

• تعریف آسیب بازنمایی در برابر آسیب تخصیصی و ارائه‌ی یک مثال از هر کدام در استقرار مدل‌های زبانی بزرگ.
• نام بردن از سه دسته‌ی معیارهای ارزیابی مطرح‌شده توسط گالگوس و همکاران (2024) و شرح یک معیار از هر دسته.
• تشریح تقاطع‌گرایی (Intersectionality) و بررسی اینکه چرا سنجش انصاف مبتنی بر عدم قطعیت در WinoIdentity، کاستی‌های ارزیابی سوگیریِ تک‌محوره را برطرف می‌کند.
• توصیف سه رویکرد تفسیرپذیری مکانیکی به سوگیری (نورون‌های جنسیتی، ویژگی‌های SAE، دستکاری سرهای اتنشن).

صورت مسئله

درس‌های گذشته آسیب‌های عمدی (جیل‌بریک (شکستن قفل ایمنی)، رفتارهای نقشه‌کشانه) و حاکمیت ایمنی را پوشش دادند. سوگیری آسیبی است که بدون نیت رخ می‌دهد — از توزیع داده‌های آموزشی، شیوه‌ی چارچوب‌بندی پرامپت یا انباشت تصمیم‌های طراحی سرچشمه می‌گیرد. سنجش و کاهش آن چالشی روش‌شناختی و کاملاً متمایز از استحکام در برابر حملات خصمانه است.

مفاهیم کلیدی

آسیب بازنمایی در برابر آسیب تخصیصی

• آسیب بازنمایی (Representational harm): کلیشه‌ها، نادیده‌انگاری، تصویرسازی‌های تحقیرآمیز. مدل زبانی بزرگی که پرستاران را صرفاً زن به تصویر می‌کشد، در حال تولید آسیب بازنمایی است.
• آسیب تخصیصی (Allocational harm): پیامدهای مادی نابرابر. مدل زبانی بزرگی که رزومه‌ی متقاضیان سیاه‌پوست را به‌طور سیستماتیک پایین‌تر ارزیابی می‌کند، در حال تولید آسیب تخصیصی است.

این دو مفهوم یکسان نیستند. یک مدل می‌تواند «از نظر بازنمایی بدون سوگیری» باشد (تصویرسازی‌های متنوعی ارائه دهد) اما هم‌زمان «از نظر تخصیصی دارای سوگیری» عمل کند (توصیه‌های نابرابری ارائه دهد). فرایندهای ارزیابی باید هر دو بعد را بسنجند.

سه دسته‌ی معیارهای ارزیابی (گالگوس و همکاران، 2024)

• مبتنی بر امبدینگ: آزمون‌هایی شبیه به WEAT روی امبدینگ‌های قبل از RLHF. سنجش انتساب‌های آماری میان واژه‌های هویتی و واژه‌های ویژگی. محدودیت: این آزمون‌ها بازنمایی را می‌سنجند، نه رفتار مدل را.
• مبتنی بر احتمال: درست‌نمایی لگاریتمی تکمیل‌هایی که کلیشه‌ها را تأیید می‌کنند در مقایسه با مواردی که کلیشه‌ها را نقض می‌کنند. این سنجش در سمت رمزگشایی (Decode) انجام می‌شود و بخشی از سوگیری رفتاری را ثبت می‌کند.
• مبتنی بر متن تولیدشده: سنجش در وظایف پایین‌دستی بر اساس متن تولیدشده؛ مانند امتیازدهی به رزومه، نگارش توصیه‌نامه، مکالمه. بیشترین اعتبار بوم‌شناختی (واقعی) را دارد؛ اما بازتولید آن از همه سخت‌تر است.

تقاطع‌گرایی

ارزیابی سوگیری صرفاً روی محور «جنسیت»، سوگیری‌هایی را که فقط روی زوج‌های (جنسیت، نژاد) فعال می‌شوند نادیده می‌گیرد. آن و همکاران (2025) دریافتند که GPT-4o زنان سیاه‌پوست را در امتیازدهی رزومه بیش از مردان سیاه‌پوست و بیش از زنان سفیدپوست به‌طور جداگانه جریمه می‌کند. ارزیابی‌های تک‌محوره قادر به ثبت این پدیده نیستند.

مقاله‌ی WinoIdentity (COLM 2025) انصاف تقاطعی مبتنی بر عدم قطعیت را معرفی می‌کند. این روش بررسی می‌کند که آیا عدم قطعیت مدل درباره‌ی خروجی‌ها در چندگانه‌های هویتی تقاطعی تفاوت دارد یا خیر — و صرفاً به پیش‌بینی نقطه‌ای بسنده نمی‌کند. این کار مواردی را شناسایی می‌کند که مدل در تمام گروه‌ها به یک اندازه اشتباه می‌کند اما برای برخی گروه‌ها عدم قطعیت بیشتری دارد؛ امری که به رفتار تخصیصی متفاوتی در وظایف پایین‌دستی منجر می‌شود.

رویکردهای مکانیکی

پژوهش‌های حوزه‌ی تفسیرپذیری در سال‌های 2024-2025 امکان مداخله‌ی مکانیکی در سوگیری را فراهم کرده‌اند:

• نورون‌های جنسیتی (یو و آنانیادو، 2025): نورون‌های خاصی در لایه‌های MLP با رفتارهای مرتبط با جنسیت همبستگی دارند. حذف انتخابی (Ablation) این نورون‌ها شکاف جنسیتی در معیارها را کاهش می‌دهد، بدون اینکه هزینه‌ی چندانی برای توانمندی‌های کلی مدل داشته باشد.
• سوگیری نژادی بالینی از طریق SAEها (احسان و والاس، 2025): ویژگی‌های خودکدگذار پراکنده (SAE) بازنمایی داخلی را به ابعاد تفسیرپذیر تجزیه می‌کنند؛ بنابراین ویژگی‌های همبسته با نژاد شناسایی و سرکوب می‌شوند.
• روش UniBias (ژو و همکاران، 2024): دستکاری سرهای اتنشن برای سوگیری‌زدایی بدون نیاز به آموزش (Zero-shot). سرهای خاصی حساسیت به رده‌های هویتی را تشدید می‌کنند؛ صفر کردن یا بازوزن‌دهی به این سرها بدون نیاز به فاین‌تیونینگ، سوگیری را کاهش می‌دهد.

فرانقد

بررسی متون پژوهشی 10 سال گذشته (arXiv:2508.11067, 2025) نشان می‌دهد که این حوزه به‌طور نامتناسبی روی سوگیری جنسیت دوگانه متمرکز بوده است. سایر محورها — معلولیت، دین، وضعیت مهاجرت، هویت‌های چندزبانه — توجه بسیار کمتری دریافت کرده‌اند. این فرانقد استدلال می‌کند که تمرکز محدود می‌تواند با نادیده‌گرفتن، به گروه‌های حاشیه‌نشین آسیب بزند: مدلی که سوگیری جنسیت دوگانه در آن به‌خوبی برطرف شده، ممکن است در ابعادی که هیچ‌کس بررسی نکرده دچار سوگیری‌های شدیدی باشد.

جایگاه این مبحث در فاز 18

درس‌های 20 و 21 سوگیری و انصاف را به‌صورت رسمی پوشش می‌دهند. درس 22 به حریم خصوصی می‌پردازد. درس 23 به واترمارک‌گذاری اختصاص دارد. این مباحث لایه‌ی آسیب به کاربر را تشکیل می‌دهند که مکمل لایه‌ی فریبکاری و ایمنی قبلی است.

استفاده از ابزارهای واقعی

فایل code/main.py یک آزمون ارزیابی سوگیری ساده مبتنی بر امبدینگ می‌سازد: فاصله‌ی سبک WEAT میان واژه‌های هویتی و واژه‌های ویژگی را در یک امبدینگ هم‌آیی ساده اندازه بگیرید. می‌توانید سوگیری را تزریق کنید و واکنش معیار را ببینید؛ سپس یک عملیات سوگیری‌زدایی ساده اعمال کنید و بهبود نسبی را بسنجید.

خروجی این درس

این درس خروجی outputs/skill-bias-eval.md را تولید می‌کند. با دریافت کارت مشخصات مدل (Model Card) یا ادعایی درباره‌ی انصاف آن، این خروجی ارزیابی را در سه دسته‌ی معیار (امبدینگ، احتمال، متن تولیدشده)، پوشش تقاطع‌گرایی و سازوکار هرگونه مداخله‌ی سوگیری‌زدایی ممیزی می‌کند.

تمرین‌ها

1. فایل code/main.py را اجرا کنید. نمرات سوگیری سبک WEAT را قبل و بعد از مرحله‌ی سوگیری‌زدایی گزارش دهید. توضیح دهید چرا مقدار معیار به صفر نمی‌رسد.

2. آزمون ارزیابی را با یک تست تقاطعی گسترش دهید: (جنسیت، نژاد) × (شغل، خانواده). نمرات سوگیری بین‌محوری را گزارش کنید.

3. مقاله‌ی آن و همکاران (2025، PNAS Nexus) را بخوانید. دو اثر تقاطعی گزارش‌شده در مقاله را که ارزیابی تک‌محوره‌ی جنسیتی از دیدن آن‌ها ناتوان است مشخص کنید.

4. یو و آنانیادو (2025) نورون‌های جنسیتی را شناسایی کردند. طرح یک آزمایش ابطال‌پذیری را بنویسید که بتواند تفکیک کند آیا «این نورون‌ها عامل سوگیری جنسیتی هستند» یا فقط «با سوگیری جنسیتی همبستگی دارند».

5. فرانقد مطرح‌شده استدلال می‌کند که این حوزه تمرکز بیش از حدی روی جنسیت دوگانه دارد. یک محور کمتر بررسی‌شده را انتخاب کنید و پروتکلی برای سنجش آسیب بازنمایی برای آن شرح دهید.

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• گالگوس و همکاران — سوگیری و انصاف در مدل‌های زبانی بزرگ: یک پیمایش (arXiv:2309.00770, Computational Linguistics 2024) — مقاله‌ی مروری مرجع
• آن و همکاران — سوگیری تقاطعی در ارزیابی رزومه (PNAS Nexus, March 2025) — پژوهش تقاطعی روی پنج مدل
• WinoIdentity — انصاف تقاطعی مبتنی بر عدم قطعیت (arXiv:2508.07111, COLM 2025) — بنچمارک جدید
• UniBias — دستکاری سرهای اتنشن (ژو و همکاران، 2024، ACL) — سوگیری‌زدایی بدون نیاز به آموزش