这篇文章属于机器学习公平性领域,其英文名为《Fairness Beyond Disparate Treatment & Disparate Impact: Learning Classification without Disparate Mistreatment》。在本文中作者引入了一种新的不公平概念,即完全不同的苛待(disparate mistreatment),这是根据错误分类率定义的。 然后提出了针对决策边界分类器的不同苛待的直观措施,可以轻松地将其作为凸凹约束纳入其公式中。
本文的主要工作有: 1、提出disparate mistreatment概念。 2、介绍了disparate treatment 和 disparate impact 3、介绍了基于决策边界分类器的disparate mistreatment的直观测度,并表明,对于各种各样的线性和非线性分类器,这些测度可以作为凸凹约束纳入其公式中。 4、对合成数据集和现实世界数据集进行了实验,结果表明作者的方法可以有效地避免disparate mistreatment.
示例: 分类人员都需要使用一套特征,例如衣服隆起和靠近犯罪现场,来决定是否以涉嫌拥有非法武器来阻止行人。 还显示了关于行人是否实际拥有非法武器的“地面真理”。 我们展示了由三个不同的分类器C1,C2和C3做出的决策。 图注:三个虚拟分类器(C1,C2和C3)关于是否(1)(0)停止行人涉嫌拥有非法武器的决定。 性别是敏感的属性,而其他两个属性(衣服上的可疑凸起和靠近犯罪现场)则不敏感。 还显示了有关该人是否实际拥有非法武器的地面真理。
the misclassification rates may be different for groups of people having different values of sensitive attributes (e.g., males and females; blacks and whites) ground truth information for decisions can be obtained. 我们认为C1和C2由于受到完全不同的虐待而被认为是不公平的,因为它们对男性和女性的错误决定率不同: C1对男性和女性的false negative rates不同(分别为0.0和0.5) C2对男性和女性的false positive rates不同(分别为0.0和1.0)和false negative rates不同(分别为0.0和0.5) 当可以确定决策的正确性时,不仅可以准确地评估不同的虐待,而且还可以避免反向歧视,这使其成为更具吸引力的公平概念。
a decision making system provides different outputs for groups of people with the same (or similar) values of non-sensitive attributes (or features) but different values of sensitive attributes. 由于不同的待遇,我们认为C2和C3是不公平的,因为C2对男性1和女性1、C3对男性2和女性2的决定是不同的,即使它们的非敏感属性值相同。 在这里,区别对待对应于非常直觉的公平概念:两个其他属性相似的人不应仅因为性别差异而受到不同对待。
a decision making system provides outputs that benefit (hurt) a group of people sharing a value of sensitive attribute more frequently than other groups of people. 行人得益于不停车的决定,由于不同的影响力,我们认为C1不公平,因为被停车的男女比例不同(分别为1.0和0.66) 常用于不存在用于决策的地面事实信息且训练期间使用的历史决策不可靠且因此不可信任的应用场景。通过要求决策结果成比例,不同的影响风险会引入对合格候选人的反向歧视。
在二元分类任务中,目标是学习用户特征向量x和类别标签y∈{-1,1}之间的映射f(x)。学习此映射通常是通过在特征空间中找到使某个损失L(θ)最小的决策边界θ∗ 来实现的,即在训练数据集D = {(xi,yi)}上计算得出的θ∗ =argminθL(θ) } N i=1。 然后,对于给定的看不见的特征向量x,如果dθ∗(x)≥0则ˆ y =fθ∗(x)= 1,否则ˆ y = -1,dθ∗(x)表示 x到决策边界的符号距离。 假设每个用户都有一个关联的敏感特征z。 为了便于说明,我们假定z为二进制,即z∈{0,1}。
在观察敏感特征z之后,分类器对给定特征向量x输出特定值y的概率不变
敏感特征z的取值不同,但分类器预测y = 1的概率相同
具有不同敏感特征z值的不同人群的误分类率(misclassification rates)相同。
表1描述了测量错误分类率的各种方法。 具体来说,误分类率可以度量为基于真实标签的类别分布的分数,即 false positive rates和 false negative rates;或者基于预测标签中的类别分布的分数,即false omission rates和 false discovery rates。
(一)协方差计算推导 使用用户敏感属性以及被错误分类的用户的特征向量与分类器决策边界之间的有符号距离之间的协方差衡量disparate mistreatment
(一)Disparate mistreatment on only false positive rate or false negative rate (二)Disparate mistreatment on both false positive rate and false negative rate