معیارهای عدالت گروه، فرد، ضد واقعیت
Type: Learn
Languages: Python (stdlib, three-criteria comparison)
Prerequisites: Phase 18 · 20 (bias), Phase 02 (classical ML)
Time: ~60 minutes
اهداف یادگیری
- سه معیار عدالت گروه (سنگایی جمعیت، احتمال برابر، دقت استفاده مشروط) و یک نتیجه غیرممکن را بیان کنید.
- عدالت فردی را از طریق فرمول Dwork et al. 2012 Lipschitz توصیف کنید.
- عدالت ضد واقعیت و وابستگی آن به نمودار علت را شرح دهید.
- معادلات عقب نشینی را توضیح دهید و اینکه چرا از مشکل مداخله بر روی ویژگی محافظت شده اجتناب می کنند.
مشکل
درس 20 درباره اندازه گیری تعصب بود. درس 21 درباره تعریف استاندارد عدالت است که اندازه گیری باید به آن خدمت کند. سه خانواده استاندارد های ساختاری متفاوت را ارائه می دهند. یک مدل می تواند عادلانه و فردانه، منصفانه و غیر عادلانه باشد. انتخاب یک استاندارد یک تصمیم سیاست است؛ هیچ استاندارد جهانی مطلوب نیست.
مفهوم
عدالت گروهی
- Demographic parity.P (Y=1) A=a=P (Y=1) A=a') برای تمام گروه ها. نرخ پذیرش برابر.
- Equalized odds.P (Y=1\) Y=y, A=a) = P (Y=1\) Y*y=y, A=a) TPR و FPR برابر در گروه ها.
- Conditional use accuracy equality.P (Yy=y) Y=y, A=a) = P (Yy) Y=y, A=a')
امکان پذیر نیست (چولدیشوا، کلینبرگ-مولیاناتان-راگاوان 2017): این سه مورد را نمی توان در صورت نرخ پایه نابرابری همزمان برآورده کرد.
عدالت فردی
Dwork et al. 2012. یک نقشه تصمیم گیری f به طور جداگانه با توجه به یک متریک شباهت خاص به کار d اگر f(x) - f(x') <= L * d(x, x') برای برخی از ثابت Lipschitz است. افراد مشابه تصمیمات مشابهی می گیرند.
نیاز به تعریف d. پرسش سیاست، نه آماری.
عدالت در مقابل واقعیت
Kusner et al. 2017. یک تصمیم به طور غیر واقعی برای فرد عادلانه است i اگر، تحت یک مدل عللوی جمعیت، تصمیم بدون تغییر است i ویژگی های حساس به طور غیر واقعی تغییر می کنند.
DAG یک انتخاب مدل سازی است. عدالت ضد حقایق فقط به اندازه DAG توجیه می شود.
معامله CF در مقابل دقت
NeurIPS 2024 تئوری: یک تعادل ذاتی بین عدالت معکوس و دقت پیش بینی وجود دارد. یک روش مدل-آگنوستیک می تواند پیش بینی کننده بهینه اما غیر منصفانه را به یک CF تبدیل کند، با هزینه دقیق محدود. هزینه دقت بستگی به میزان ضریب ویژگی حساس در پیش بینی کننده غیر منصفانه است.
معادلات عقب نشینی
arXiv:2401.13935 (جنوری 2024): ضوابط سنتی نیاز به مداخله در ویژگی حساس دارد "اگر این فرد جنسیت متفاوتی داشته باشد تصمیم تغییر می کند". از نظر قانونی، این مشکل است: ویژگی های محافظت شده نمی توانند در قانون طبقه بندی مداخله کنند.
برعکسات عقب نشینی جهت را تغییر می دهد: به جای مداخله در ویژگی، از آن سوال کنید که کدام ترکیب از ویژگی های واقعی فرد نتیجه مخالف را به وجود آورده است. این مانع قانونی را دور می برد.
سازش فلسفی
ICLR Blogposts 2024. با یک نمودار علت در دست، رضایت از برخی از اقدامات عدالت گروهی به عدالت ضد فاکتویی منجر می شود. سه خانواده orthogonal نیستند؛ آنها جنبه های مختلف از ساختار علت اساسی یکسان هستند.
این نظریه ی ناممکن را حل نمی کند (سرکدهای پایه نابرابری هنوز هم مانع عدالت همزمان گروه می شود). اما نشان می دهد که مخالفت ظاهری بین "گروپ" و "فرزنده / ضد واقعیت" تا حدی یک اثر از عدم صراحت در مورد مدل علل است.
جایی که این در مرحله 18 قرار داره
درس 20 اندازه گیری تعصب است. درس 21 تعریف عدالت است. درس 22 خصوصیت است (خصوصیت فرقی). درس 23 آبیاری است. این ها درس های مقرون به صرفه و در کنار هم هستند که درس های 7-11 را تکمیل می کنند.
ازش استفاده کن
code/main.pyمجموعه داده های طبقه بندی دوگانه با ویژگی حساس و نرخ پایه نابرابری را ایجاد می کند. بر اساس یک طبقه بندی ساده، تراز جمعیتی، احتمالات مساوی و برابری دقیق استفاده مشروط را محاسبه کنید. مشاهده سه متریک متناقض را مشاهده کنید. یک وزن مجدد را برای تراز جمعیتی اعمال کنید و هزینه آن را بر روی دو دیگر مشاهده کنید.
-باده
این درس به ما کمک می کندoutputs/skill-fairness-criterion.mdدر صورت ادعای عدالت یا سیاست، مشخص می شود که کدام معیار مورد ادعای است، آیا مدل می تواند معیارهای باقیمانده را در چارچوب نرخ پایه بی عدالتی ادعا شده برآورده کند و DAG عللایی که این ادعا بستگی دارد.
تمرینات
- فرار کن
code/main.py. سه متریک گروه را در داده های پیش فرض گزارش دهید. وزن مجدد و گزارش مجدد را بر اساس برابری جمعیت شناسی اعمال کنید.
- پیاده سازی Dwork et al. 2012 متریک عدالت فردی با استفاده از L2 در ویژگی های غیر حساس. گزارش کنید که چند جفت با ثابت L=1 از لیپسکیتز نقض می کنند.
- 2017 را بخوانید. یک DAG علت وجوانی دو ویژگی ساده برای امتیاز بازتاب را بسازید و شرط عدالت معکوس را شناسایی کنید.
- در مقاله ضد حقایق بازتاب ۲۰۲۴، مداخله در صفات محافظت شده از دست داده می شود. سناریوی ای را توصیف کنید که در آن این امر برای رعایت قوانین مهم است.
- در ICLR 2024 تعادل استدلال می کند که عدالت گروهی و معکوس، جنبه های یک ساختار هستند. دو از سه معیار را در
code/main.pyو فرضیه علت وجوانی را که آنها را معادل می کند بیان کنید.
اصطلاحات کلیدی
| Term | What people say | What it actually means |
|---|---|---|
| Demographic parity | "equal rates" | P(Y=1 |
| Equalized odds | "equal TPR/FPR" | Equal true-positive and false-positive rates across groups |
| Conditional use accuracy | "equal PPV/NPV" | Equal predictive values across groups |
| Individual fairness | "Lipschitz condition" | Similar individuals get similar decisions |
| Counterfactual fairness | "causal alteration invariance" | Decision unchanged under counterfactual attribute alteration |
| Backtracking counterfactual | "explain via actuals" | Counterfactual reasoned backward from outcome, not forward from attribute |
| Impossibility theorem | "the three conflict" | Chouldechova / KMR 2017: group criteria mutually exclusive under unequal base rates |
خواندن بیشتر
- Dwork et al. — Fairness through Awareness (arXiv:1104.3913) عدالت فردی
- Kusner, Loftus, Russell, Silva — Counterfactual Fairness (arXiv:1703.06856) عدالت در مقابل واقعیت
- Chouldechova — Fair prediction with disparate impact (arXiv:1703.00056) غیرممکن
- Backtracking Counterfactuals (arXiv:2401.13935) پارادایم جدید برای مداخلات با ویژگی های محافظت شده
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.