معیارهای عدالت در یادگیری ماشین: گروهی، فردی و پادواقعی

وقتی مدلی را برای تصمیم‌گیری خودکار مثل اعتبارسنجی مالی، پذیرش رزومه یا تخصیص منابع آموزش می‌دهید، سوگیری‌های نهفته در داده‌ها می‌توانند به تبعیض ساختاری علیه زیرگروه‌های جمعیتی تبدیل شوند. سنجش تعصب و سوگیری اولین گام است، اما مسئله‌ی اساسی‌تر این است که اساساً «عدالت» را چگونه فرمول‌بندی و تعریف کنیم. نبود تعریفی دقیق و ریاضی، ارزیابی اخلاقی و فنی سیستم‌ها را غیرممکن می‌سازد.

در این درس با سه چارچوب بنیادی عدالت در یادگیری ماشین آشنا می‌شوید: عدالت گروهی، عدالت فردی بر مبنای شرط پیوستگی لیپشیتس، و عدالت پادواقعی با تکیه بر گراف‌های علی. همچنین قضیه‌ی معروف ناممکن‌بودن را بررسی می‌کنید که نشان می‌دهد چرا برآورده‌کردن هم‌زمان تمام استانداردهای آماریِ عدالت ناممکن است و چگونه انتخاب هر معیار، یک تصمیم سیاستی و تحلیلی محسوب می‌شود.

ساختار ادبیات حوزه‌ی عدالت (fairness) بر پایه‌ی سه خانواده شکل گرفته است. عدالت گروهی (group fairness): برابری آماری (demographic parity)، برابری شانس‌ها (equalized odds)، و برابری دقت استفاده‌ی مشروط (conditional use accuracy equality) — یعنی برابری میانگین نرخ‌ها در میان گروه‌های محافظت‌شده. عدالت فردی (individual fairness؛ Dwork و همکاران، 2012): افراد مشابه تصمیم‌های مشابهی دریافت می‌کنند؛ شرط لیپشیتس (Lipschitz condition) روی نگاشت تصمیم‌گیری برقرار است. عدالت پادواقعی (counterfactual fairness؛ Kusner و همکاران، 2017): تصمیم در صورتی برای یک فرد عادلانه است که با تغییر فرضی ویژگی‌های حساس او در یک سناریوی پادواقعی، تصمیم تغییری نکند. نتیجه‌ی نظری سال 2024 (NeurIPS 2024): مصالحه‌ای ذاتی میان عدالت پادواقعی و دقت وجود دارد؛ روشی مدل‌ناوابسته (model-agnostic) می‌تواند یک پیش‌بینی‌کننده‌ی بهینه اما ناعادلانه را با افتی محدود در دقت، به مدلی با عدالت پادواقعی تبدیل کند. پادواقعی‌های پس‌گرد (Backtracking counterfactuals؛ ژانویه‌ی 2024، arXiv:2401.13935): پارادایم نوینی که الزام مداخله روی ویژگی‌های محافظت‌شده از نظر قانونی را برطرف می‌کند. آشتی فلسفی (پست‌های وبلاگی ICLR 2024): با استفاده از گراف‌های علی، ارضای معیارهای مشخصی از عدالت گروهی مستلزم برقراری عدالت پادواقعی است.

اهداف یادگیری

• بیان سه معیار عدالت گروهی (برابری آماری، برابری شانس‌ها، برابری دقت استفاده‌ی مشروط) و یک نتیجه‌ی ناممکن‌بودن (impossibility result).
• شرح عدالت فردی بر پایه‌ی فرمول‌بندی لیپشیتسِ Dwork و همکاران (2012).
• تشریح عدالت پادواقعی و وابستگی آن به گراف‌های علی.
• توضیح پادواقعی‌های پس‌گرد و چرایی دور زدن مسئله‌ی «مداخله روی ویژگی‌های محافظت‌شده».

صورت مسئله

درس 20 درباره‌ی سنجش سوگیری بود. درس 21 به تعریف استاندارد عدالتی می‌پردازد که این سنجش باید در خدمت آن باشد. این سه خانواده استانداردهایی از نظر ساختاری متفاوت ارائه می‌دهند؛ یک مدل می‌تواند از نظر گروهی عادلانه و از نظر فردی ناعادلانه باشد، یا عدالت پادواقعی را برآورده کند ولی از نظر گروهی ناعادلانه باشد. انتخاب استاندارد تصمیمی در سطح خط‌مشی‌گذاری است؛ هیچ استانداردی برای همه‌ی کاربردها بهینه‌ی مطلق نیست.

مفاهیم کلیدی

عدالت گروهی

• برابری آماری. P(Y=1 | A=a) = P(Y=1 | A=a') برای تمام گروه‌ها. نرخ پذیرش (acceptance rate) یکسان.
• برابری شانس‌ها. P(Y=1 | Y*=y, A=a) = P(Y=1 | Y*=y, A=a'). نرخ مثبت واقعی (TPR) و نرخ مثبت کاذب (FPR) یکسان در تمام گروه‌ها.
• برابری دقت استفاده‌ی مشروط. P(Y*=y | Y=y, A=a) = P(Y*=y | Y=y, A=a'). ارزش پیش‌بینی‌کننده‌ی (predictive value) یکسان در تمام گروه‌ها.

ناممکن‌بودن (Chouldechova, Kleinberg-Mullainathan-Raghavan 2017): در صورت نابرابر بودن نرخ‌های پایه، نمی‌توان هر سه شرط را هم‌زمان برآورده کرد.

عدالت فردی

Dwork و همکاران (2012). نگاشت تصمیم‌گیری f نسبت به متریک شباهتِ وابسته به وظیفه‌ی d از نظر فردی عادلانه است، اگر به ازای ثابت لیپشیتس L داشته باشیم: |f(x) - f(x')| <= L * d(x, x'). افراد مشابه، تصمیم‌های مشابهی دریافت می‌کنند.

این معیار نیازمند تعریف d است؛ مسئله‌ای که یک تصمیم سیاستی است، نه یک مسئله‌ی آماری.

عدالت پادواقعی

Kusner و همکاران (2017). تصمیمی برای فرد i از نظر پادواقعی عادلانه است که بر اساس یک مدل علی از جامعه، با تغییر فرضی ویژگی‌های حساس i، تصمیم برای او تغییری نکند.

این رویکرد به یک گراف جهت‌دار بدون دور علی (causal DAG) نیاز دارد. انتخاب این گراف یک تصمیمِ مدل‌سازی است؛ بنابراین، اعتبار عدالت پادواقعی دقیقاً به همان اندازه‌ای است که گراف علی توجیه منطقی داشته باشد.

مصالحه‌ی عدالت پادواقعی و دقت

نتیجه‌ی نظری NeurIPS 2024: مصالحه‌ای ذاتی میان عدالت پادواقعی و دقت پیش‌بینی وجود دارد. روشی مدل‌ناوابسته می‌تواند پیش‌بینی‌کننده‌ای بهینه اما ناعادلانه را با هزینه‌ی مشخصی از افت دقت، به پیش‌بینی‌کننده‌ای با عدالت پادواقعی تبدیل کند. این افت دقت به بزرگی ضریب ویژگی حساس در مدل بهینه‌ی ناعادلانه وابسته است.

پادواقعی‌های پس‌گرد

arXiv:2401.13935 (ژانویه‌ی 2024). پادواقعی‌های سنتی مستلزم مداخله روی ویژگی حساس هستند؛ مثلاً: «آیا اگر این فرد جنسیت دیگری داشت، تصمیم تغییر می‌کرد؟». این موضوع از نظر حقوقی مشکل‌ساز است؛ چراکه بر اساس قوانین دسته‌بندی افراد، نمی‌توان روی ویژگی‌های محافظت‌شده مداخله کرد.

پادواقعی‌های پس‌گرد جهت مسئله را معکوس می‌کنند: به‌جای مداخله روی ویژگی، می‌پرسند چه ترکیبی از ویژگی‌های واقعیِ خود فرد می‌توانست آن نتیجه‌ی پادواقعی را ایجاد کند. این رویکرد ایراد حقوقی را برطرف می‌کند.

آشتی فلسفی

پست‌های وبلاگی ICLR 2024. اگر گراف علی مشخصی در دست باشد، ارضای معیارهای خاصی از عدالت گروهی مستلزم عدالت پادواقعی خواهد بود. این سه خانواده متعامد و مستقل از هم نیستند؛ بلکه جنبه‌های متفاوتی از یک ساختار علی مشترک به‌شمار می‌روند.

این دیدگاه قضایای ناممکن‌بودن را حل نمی‌کند (نابرابری نرخ‌های پایه همچنان مانع تحقق هم‌زمان معیارهای عدالت گروهی می‌شود)؛ اما نشان می‌دهد که تقابل ظاهری میان عدالت «گروهی» و «فردی / پادواقعی»، تا حدی دست‌سازه‌ی ناشی از شفاف نکردن مدل علی است.

جایگاه این درس در فاز 18

درس 20 درباره‌ی سنجش سوگیری است. درس 21 به تعریف عدالت می‌پردازد. درس 22 درباره‌ی حریم خصوصی (حریم خصوصی تفاضلی) و درس 23 درباره‌ی واترمارک‌گذاری است. این درس‌ها مباحث پیرامون تخصیص (allocation) را پوشش می‌دهند و مکمل درس‌های 7 تا 11 هستند که به فریب می‌پرداختند.

استفاده از ابزارها

فایل code/main.py یک مجموعه‌داده‌ی نمونه برای دسته‌بندی دودویی با یک ویژگی حساس و نرخ‌های پایه‌ی نابرابر می‌سازد. برابری آماری، برابری شانس‌ها و برابری دقت استفاده‌ی مشروط را روی یک دسته‌بند ساده محاسبه کنید. مشاهده کنید که این سه معیار با یکدیگر هم‌راستا نیستند. سپس وزن‌دهی مجدد را برای دستیابی به برابری آماری اِعمال کنید و هزینه‌ای را که به دو معیار دیگر تحمیل می‌کند ببینید.

تحویل خروجی

خروجی این درس فایل outputs/skill-fairness-criterion.md خواهد بود. این فایل با بررسی هر ادعا یا سیاست‌گذاری در حوزه‌ی عدالت، مشخص می‌کند که کدام معیار ادعا شده است، آیا مدل می‌تواند تحت نرخ‌های پایه‌ی نابرابرِ فرض‌شده سایر معیارها را هم برآورده کند یا خیر، و این ادعا به چه گراف جهت‌دار بدون دور علی متکی است.

تمرین‌ها

1. کد code/main.py را اجرا کنید. هر سه معیار گروهی را روی داده‌های پیش‌فرض گزارش دهید. وزن‌دهی مجدد با هدف برابری آماری را اِعمال کرده و مجدداً ارقام را گزارش کنید.

2. معیار عدالت فردی Dwork و همکاران (2012) را با استفاده از L2 روی ویژگی‌های غیرحساس پیاده‌سازی کنید. گزارش دهید چه تعداد جفت، شرط لیپشیتس را با ثابت L=1 نقض می‌کنند.

3. مقاله‌ی Kusner و همکاران (2017) را بخوانید. برای امتیازدهی به رزومه یک DAG علی ساده با دو ویژگی بسازید و شرط عدالت پادواقعیِ حاصل از آن را مشخص کنید.

4. مقاله‌ی سال 2024 درباره‌ی پادواقعی‌های پس‌گرد، از مداخله روی ویژگی‌های محافظت‌شده پرهیز می‌کند. سناریویی را شرح دهید که این موضوع در آن برای انطباق با قوانین اهمیت حیاتی دارد.

5. مقاله‌ی آشتی فلسفی ICLR 2024 استدلال می‌کند که عدالت گروهی و پادواقعی جنبه‌هایی از یک ساختار واحد هستند. دو معیار از سه معیار موجود در code/main.py را انتخاب کنید و فرض علی‌ای را که باعث معادل شدن آن‌ها می‌شود بیان نمایید.

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• Dwork و همکاران — عدالت از طریق آگاهی (arXiv:1104.3913) — عدالت فردی
• Kusner, Loftus, Russell, Silva — عدالت پادواقعی (arXiv:1703.06856) — عدالت پادواقعی
• Chouldechova — پیش‌بینی عادلانه با اثر نامتناسب (arXiv:1703.00056) — ناممکن‌بودن
• پادواقعی‌های پس‌گرد (arXiv:2401.13935) — پارادایمی تازه برای عدم نیاز به مداخله روی ویژگی‌های محافظت‌شده