公平意识代表性排名：偏差、统计陈述、计算公平

161→----（）下一页（）下一页（）（）（）下一页（）（）公平意识代表性排名有多公平？阿克拉蒂·萨克塞纳数学与计算机科学荷兰埃因霍温理工大学a. tue.nl乔治·弗莱彻数学与计算机科学荷兰埃因霍温理工大学g.h.l. tue.nl数学与计算机科学系荷兰埃因霍温理工大学m. tue.nl摘要在几项研究中发现，根据分数对候选人进行排名可能对属于少数群体的候选人有偏见。在最近的工作中，公平意识的代表性排名被提出来计算公平意识的结果重新排名。该算法实现了一个或多个受保护的属性的排名靠前的结果的预期分布。在这项工作中，我们强调了公平意识的代表性排名的偏见，个人和一个群体，如果该群体是在平台上的子活跃 我们从两个不同的角度定义了个体不公平和群体不公平。我们进一步提出了方法，以产生理想的个人和群体公平的代表性排名，如果普遍的代表性比率是已知的。本文最后提出了开放的挑战和进一步的方向。CCS概念• 信息系统学习排序;信息检索多样性。关键词公平性，代表性排名，偏差ACM参考格式：Akrati Saxena，George Fletcher，and Mykola Pechenizkiy.2021年公平意识代表性排名有多公平在2021年网络会议（WWW '21 Companion）的配套程序中，2021年4月19日至23日，斯洛文尼亚卢布尔雅那。ACM，美国纽约州纽约市，5页。 https://doi.org/10.1145/3442442。 34534581介绍排名问题在许多不同的应用中都会遇到，包括对求职者进行排序，为搜索查询提供结果，提供建议和推荐[4，6，16]。有几个作品强调了将元素放置在top-k返回结果中的偏差[12，19，20]。重要的是要了解这些方法的局限性，并更新模型，以实现敏感场景的公平结果，因为它们已应用于日常应用[7- 9 ]。有几部关于本文在知识共享署名4.0国际（CC-BY 4.0）许可下发布。作者保留在其个人和公司网站上以适当的署名传播作品的权利WWW©2021 IW 3C 2（国际万维网大会委员会），在知识共享CC-BY 4.0许可下发布。ACM ISBN 978-1-4503-8313-4/21/04。https://doi.org/10.1145/3442442.3453458提出了公平意识的排名方法，包括[1，2，4，5，18- 20 ]。最近的著作研究了公平的两个概念(i) 个人公平性[3，8，11];（ii）群体公平性[13-15]。Geyik等人。[10]提出的公平意识代表性排名（FRR）基于候选人在合格候选人中的比例来维持每个类别在前k个元素中的候选人比例，以便每个组将获得公平数量的资源。他们通过在LinkedIn人才搜索上应用FRR来验证所提出的方法，并观察到公平性提高了三倍，而不会影响结果的质量然而，有一个很大的关注与所提出的方法是什么代表性的比例为每组候选人的基础上保护属性应保持？我们表明，一组应得的候选人错过了机会，获得排名较低的返回列表中，如果候选人的普遍代表性比例是未知的。Example. 让 对于具有两个值的受保护属性A，候选被分成两个组G1和G2。 属于组G1的元素是b1，b2，b3，b4，b5，b6，b7，b8，b9，b10，候选的排序是b1>b2>b3>b4>b5>. >b10，因此候选人b1具有最高的排名1。属于组G2的候选者是<$1、<$2、<$3、<$4、<$5，并且它们的排名是<$1><$2><$3><$4><$5。现在，我们假设组G1的所有候选者加入平台L，并且组G2在平台L上是次活跃的（或不太活跃的），因此，只有两个候选者<$1、<$2加入平台L，如图1所示。当请求前k个候选者时，集合U和L都将通过维持每个受保护组的候选者比率来应用公平代表性排名;公平代表性排名在第2.1节中详细解释。 在这个例子中，集合U将保持比率G1：G2= 10：5，集合L将保持比率G1：G2= 10：2。如果雇主要求搜索查询r的前6名候选人：- U将返回：b1>д1>b2>b3>д2>b4。- L将返回：b1>b2>b3>d1>b4>b5。您可以观察到，即使<$2应该得到这个机会，并且在L平台上很活跃，但当在L平台上应用FRR时，候选人没有被选入前6名。造成这种不公平的主要原因是L平台上的代表性排名（LRR）保持了基于L的受保护属性的候选比例，而没有考虑普遍代表性比例。因此，如果属于该组的其他成员不加入或在平台上不活跃，则合格的候选人错过机会本文介绍了如何现有的公平代表性排名的方法是不够的，以产生一个公平的排名，WWWSaxena等人162L，r，AU，r，Aτ}|.）（）.{}l（）下一页（）下一页--U，r，A（）−（）（）下一页（）−（）−L，r，AU，r，A我，我，K3.4群体不公平在4号线找到了。 在前k个选择的候选者中，组Gi已经被如果平台L不公平地吃了d，|{ci|ci∈Gianddci∈τ k}|<|ci ∈ G i and d c i ∈ τ k}|.|.3.5Festival集团我在5楼。在前k个选择的候选者中，组Gi被图1：用于在接收机平台L中显示不公平性的示例，如果|{ci|ci∈Gianddci∈τ k}|>>|{ci|ci∈Gianddci∈子活动组的选择性排名KU，r，AL，r，A受保护的属性我们还提出了不公平的定义，应该考虑，而提出一个公平意识的排名方法。我们将讨论如何扩展该系统，以减轻偏见的排名问题，如果完整的信息是未知的。我们讨论了与问题相关的开放性挑战，同时应用公平的代表性排名和解决这些挑战可能考虑的进一步方向。2先决条件公平代表排名。FRR方法的工作原理如下。(i)根据受保护的属性值将合格候选集划分为不同的例如，在性别方面，候选人将分为男性和女性两组。㈡根据候选人在每个小组中的排名，3.6不同定义的关系3.6.1个人不公平与候选人。建议我在1。 在前k个选择的候选者中，如果来自组Gi的候选者ci被不公平地对待，如定义2中所定义的，则来自任何其他组的候选者将如定义3中所定义的那样被偏爱。ProoF. 我们用矛盾证明来证明它让在top-k元素中，URR将返回来自组G1的轮（pa1k）候选和来自组G2的轮（pa2k）候选，其中轮（pa1k+轮pa2k=k现在，如果候选人ci组G1被不公平对待，那么cigτkr，A和τkr，A（ci）>k，所以ci候选者在top-k的位置成绩. (iii)为了生成代表性排名，以这样的方式合并这些组，即每个组在排名列表中的每个索引的比例与它们在合格候选集合中的相应比例相似。术语。受保护的属性表示为A =a1，a2，a3，.. 阿湖 对于候选者，其受保护属性由A ci表示。 对于给定的受保护属性A，合格候选可以被分成n组G1，G2，. Gn. U中每个受保护值的合格候选的分数是pa1，pa2，.，pa. τU，r，A表示基于受保护属性A，来自搜索查询r的集合U的候选的代表性排名。τk表示排名中的前k个元素τU，r，A和τL，r，A也分别称为URR和LRR3公平的定义3.1受益候选人1上的定义 对于给定集合L、技能集合r、受保护属性A和前k个所选择的候选，如果满足以下条件，则候选候选人将空缺。因此，平台L将回归第一回合k1个来自组G1和轮pa2的候选者k个候选人，因为没有来自组G2的候选人受到青睐。现在，平台L返回的候选人总数为整数pa1k1+舍入pa2 k=k1.这是一个矛盾，因为前k个元素是由L选择的。因此，通过矛盾的证明，G2群中的一个元素将是有利的.□3.6.2候选人与个人的不公平。 直觉上看起来，如果来自组Gi的候选人受到青睐，那么来自任何其他组Gj的候选人将被单独不公平地对待，因为所选候选人的总数为k。然而，这并不总是正确的。ProoF. 我们使用构造证明来证明它让 现在G1：G2= 10：2，因 此 ， 集 合 L 中 的 新 的 代 表 性 排 序 是 ：b1>b2>b3><$2>b4>b5>b6>b7>b8><$4>b9>b10。如果前六名候选人被选中，- U将返回：b1>д1>b2>b3>д2>b4L，r，A。- L将返回：b1>b2>b3>д2>b4>b5正如你所看到的，候选人b5受到青睐，3.2个人不公平我在2号线。对于给定集合U和L、搜索查询r和受保护属性A，如果从L中选择前k个候选，则候选ci的个体不公平性被定义为IU F（ci）=1，如果G2组受到不公平对待因此证明。□3.6.3个人不公平与集团不公平。让我们来看看。如果存在个人不公平（定义中定义2）对于候选者c和c∈G，它意味着群不公平性（如（ci g τk和ci ∈ τk），否则为0。我我我L，r，AU，r，A在定义4中定义）对于群Gi。3.3候选人三号线 对于给定的集合U和L，搜索查询r和受保护的属性A，如果从L中选择前k个候选项，则如果ci∈τk且cigτk，则候选项ci是受欢迎的候选项.3.6.4Festival Group诉集团不公平。LemmA 2. 如果存在一个群体Gi是受青睐的群体，那么它意味着也将存在一个群体Gj，它遭受群体不公平。c∈τi公平意识代表性排名有多公平？WWW163[客户端]（）下一页（）下一页L，r，AU，r，A算法1：理想−IFRR（τU，r，A，L）输入：τU，r，A：通用代表性排名，L：平台L上的用户集合输出：IFRRL：L上的个体公平代表性排名1IFRRL=[]2对于k在range（1，len（τU，r，A））中，算法2：理想−GFRR（τU，r，A，L，A）输入：τU，r，A：通用代表性排名，L：平台L上的用户集合输出：GFRRL组公平代表性排名L1GFRRL=[]2IFRRL=理想−IFRRL（τU，r，A，L）3若τU，r，A[k] ∈L，则4将τU，r，A[k]附加到IFRRL3对于k在range（1，len（τU，r，A））中，4a=дetAttribute（τU，r，A[k]）5返回IFRRL3.6.5个人公平与集团公平。 这很重要5c=дetNext（I FRRL，a）6如果c！= “不”然后7从IFRRL中删除c8将c附加到GFRRL想要了解个人和群体的公平性是如何相互关联的9返回GFRRL以便设计出合适的解决方案LemmA 3.个人公平意识解决方案并不意味着群体公平ProoF.让（IU，· · ·，IU，· · ·，IU），并且集合H它由GFRRL表示，并且该方法在算法2中解释。对于URR的每个索引k，如果候选τU ，r，A k在集合L中，则将其添加到GFRRL;否则，将该保护基团加到GFRRL上。getAttribute（c）函数G1Gi（G2（三）不加入平台。tion返回candidatec的protected属性，<$etNext（R，a）H={ci|ci∈Gianddci∈τU，r，A}L函数返回已保护的排名列表R的第一个元素在这种情况下，即使算法在前k个候选中没有选择Gi的候选，该算法仍然提供个体公平的解决方案，因为根据定义，不存在个体不公平性。属性a，如果没有剩余的元素具有此属性，则返回2;然而，这不是一个组公平的解决方案，因为来自群Gi应该在前k名Gi为了使集团5问题陈述如果URR是已知的，则可以生成IFRRL和GFRRL根据定义4的公平性。 因此证明。□LemmA 4. 群体公平意识的解决方案将意味着个人的公平意识。”[17]这是一个证明。4公平代表排名在本节中，我们讨论了在平台L上，如果一些候选人不加入，什么是理想的公平代表性排名的理想解决方案4.1个人公平代表排名如果ci∈τk，则排序对个体ci是公平的则ci∈τk.使用算法1和2;然而，它在大多数现实世界的应用中是未知的。例如，对于给定的技能集s，有多少男性和女性候选人是合格的（普遍代表性比率）可能不为任何给定的平台L所知。问题陈述。给定包含搜索查询r的合格候选的集合L、受保护的属性集合A以及所选择的候选的数量k，提出生成最优IFRR和GFRR的方法。所提出的解决方案应该基于不同类别的受保护属性的表示比率来维护IFRR或GFRR。因此，解决方案分为以下两类：(i)如果普遍表示比已知：在这项工作中，我们将提出解决办法和可能的办法，平台LU，r，AL，r，AIFRR和GFRR解决方案，以及（ii）如果普遍代表性比率可以通过将URR投影在集合L的候选上来生成。 它由IFRRL表示，算法在Algo 1中给出。 在该算法中，ran <$e1，n函数从1迭代到n，len τU，r，A函数返回给定列表的长度。在步骤2到4中，我们遍历URR的每个候选ci，如果候选属于集合L（ci∈L），则将其添加到IFRRL。4.2集团公平代表排名如果没有组G i满足定义4中定义的组不公平的条件，则排名解决方案是组公平代表性排名（GFRR）。 对于每个索引k，理想GFRR解决方案将维持每个组G1的组公平性，直到该组的所有元素被耗尽。因此，对于在A中具有p_e_d值a_i的组G_i，如果|cis. t. ci∈τ kandA（ci）=ai|=未知：在这里，我们首先设计方法来估计通用表示率，然后可以应用为第一类提出的解决方案。这些解决方案不在此讨论6所提出的解决方案在本节中，首先，我们讨论生成GFRR的最优解的方法生成最佳IFRR的解决方案并不简单，因为IFRR排名高度依赖于缺失数据的类型;我们将在下一小节中讨论这些复杂性和可能的IFRR解决方案。6.1生成GFRR生成GFRR的方法将保持给定的GFRR比率。2016年10月20日，|cis. t. ci∈τ kanddA（ci）=ai|、|cis. t. ci∈LandA（ci）=ai|）的。基于每个索引k的受保护属性类的候选。WWWSaxena等人164˜˜--.Σr33和1˜（）下一页（）下一页G1组的四名候选人和G2组的两名候选人G2与平台L相连，因此L={b1，b2，b3，b4，<$'，<$'}。现在我想，（）下一页12| {ci s . t. ci ∈ Rk且A（ci）=ai}|图2：G <$组的平均秩差与G<$组的活性分数。该方法受到[10]的启发，并且生成的GFRR排名由GF RRL表示。生成的解决方案将是一个理想GFRR;因为GF RRL和GFRRL排名都保持每个指数k的代表性比率。6.2生成IFRR生成IFRR的解决方案需要更多的信息，即使通用表示比是已知的。我们将通过一个例子来解释让有四个合格的候选者（<$1，<$2，<$3，<$4）。我们假设图3：平均偏斜率与组的有效分数Gд代表Gд组的前10000名。可以考虑受保护属性的各种值 数据具有受保护属性，该受保护属性具有3个值A = д，b，u，因此候选被分类为三个组Gд，Gb，Gu。这种情况的一个真实例子是具有“男性”、“女性”和“未知”值的性别类。对于搜索查询r，在每个组中，有10000个合格的候选者，并且他们的分数从（0，1]随机均匀分配。我们假设群G<$在平台L上的活跃度较低，活跃成员的比率在0.1 ~ 0.9之间，并且Gb和Gu的所有候选者都加入到平台L中.指标. 秩差用于捕获单个非-R1和R2的排序公平性排名R2.它被计算为，秩Dif er（ci）= R1（ci）− R2（ci）。在每个组中，如果ij，则ci>cj的秩。<所以，集合U上的IFRR是偏斜比度量组不公平性，并且表示给定搜索查询和给定搜索查询的前k个元素被分配到组的程度。（<$1，b1，<$2，b2，<$3，b3，<$4，b4）。让子组与所需比例不同它被计算为，倾斜ai| {cis. t. ci ∈ Rk且A（ci）=ai}|问题是：如果普遍代表性比率被称为讨论2图2显示了LRR的秩差，（0.5：0.5），如何生成个人公平代表性排名。这并不简单，因为我们不知道G2群的四个成员中有哪两个加入了L。让在情况1中：如果<$1′是<$1，<$2′是<$2，则理想IFRR将是<$1，b1，<$2，b2，b3，b4。在情况2中：如果<$1′是<$1且<$2′是<$4，则理想的IFRR为<$1、b1、b2、b3、<$4、b4。因此，IFRR解决方案还需要知道缺失的数据或知道什么样的候选人加入了L。什么样的候选人加入了平台L的信息可以通过调查或使用统计方法来收集。 调查可以帮助了解候选人加入L的概率是多少，以及它与候选人特征的相关性是什么。例如，如果我们知道排名较高的人更有可能加入平台L，则above讨论ede示例的一个估计IFRR解为：如案例1所示在另一种方法中，统计方法可以是用于使用部分可用信息估计实际分布在这项工作中，我们提供了一个解决方案的情况下，从一个给定的组Gi的候选人在随机一致失踪在所提出的解决方案中，对于为子活跃组保留的每个排名位置，其候选人将以等于该组的活跃人的分数的概率被放置该方法由I FRRL代表。7仿真结果数据集。实验结果显示在合成数据集上，以便可以更好地研究不同活动的影响，建议IFRR与理想的个人公平代表排名。结果表明，当候选人的活跃度比从0.4开始时，加入u.a.r.的LRR性能较差。不过，将进一步提出详细的解决办法 图3显示了LRR与理想组公平性代表性排名的偏斜度，并且所提出的方法与理想方法一样好，因为两者都保持了代表性比率。8结论在本文中，我们讨论了如何公平意识排名方法可能是不公平的，由于普遍信息的不可用我们提出了个体和群体公平性的定义，如果某些群体不太活跃，则在验证所提出的代表性排名的公平性时应考虑这些定义。我们进一步讨论了所提出的定义的相关性和依赖性 我们提出了方法，以产生IFRR和GFRR，如果普遍的代表性比率是已知的。实验表明，初步结果的不公平性增加LRR组变得不那么活跃，所提出的方法实现的改进。在实际应用中的主要挑战是确定基于给定的保护属性的通用表示比。在这项工作中，我们强调了两种方法来解决这个问题（i）进行调查，以了解现有的分布，（ii）应用统计方法来估计准确的分布的基础上可用的分数排名信息的候选人属于不同的受保护的属性为基础的组。 这些解决方案将在今后的工作中讨论。=loдe.12公平意识代表性排名有多公平？WWW165引用[1] Abolfazl Asudeh，HV Jagadish，Julia Stoyanovich，and Gautam Das.2019年。设计公平排序方案. 在2019年数据管理国际会议上。1259-1276年。[2] Asia J Biega，Krishna P Gummadi，and Gerhard Weikum.2018年注意力公平：在排名中摊销个人公平性。在第41届国际acm sigir会议上，信息检索研究发展。405-414[3] 鲁本·宾斯2020.个人公平与群体公平之间的明显冲突。2020年公平、问责和透明度会议记录。514-524[4] 卡洛斯·卡斯蒂略。2019年。排名的公平性和透明度 在ACM SIGIR论坛，卷。52.ACM New York，NY，USA，64[5] L Elisa Celis，Damian Straszak，and Nisheeth K Vishnoi.2017年。具有公平性约束的排序arXiv预印本arXiv：1704.06840（2017）。[6] Lee Cohen，Zachary C Lipton，and Yishay Mansour.2019年。在 多 重 测 试下 有效的候选人筛选和对公平性的影响。arXiv预印本arXiv：1905.11361（2019）。[7] Sam Corbett-Davies ， Emma Pierson ， Avi Feller ， Sharad Goel ， and AzizHuq.2017年。公平决策与公平成本。 第23届acm sigkdd知识发现与数据挖掘国际会议论文集。797-806.[8] Cynthia Dwork ， Moritz Hardt ， Toniann Pitassi ， Omer Reingold ， andRichard Zemel.2012年。通过意识实现公平 第三届理论计算机科学创新会议论文集。214-226[9] SorelleAFriedler，CarlosScheidegger，andSureshVenkatasubramanian.2016 年 。 关于公平的可能性。arXiv预印本arXiv：1609.07236（2016）。[10] Sahin Cem Geyik，Stuart Ambler，and Krishnaram Kenthapadi.2019年。搜索推荐系统中的公平意识排名&及其在LinkedIn人才搜索中的应用。第25届ACM SIGKDD知识发现数据挖掘国际会议论文集。2221-2231[11] 克里斯蒂娜·伊尔文托2019.度量学习的个人公平性。arXiv预印本arXiv：1906.00250（2019）。[12] 马修·凯辛西娅·马图塞克和肖恩·曼森2015.职业图像搜索结果中的不平等代表和性别刻板印象。第33届ACM计算机系统中人为因素会议论文集。3819-3828[13] Pranay K Lohia ， Karthikeyan Natesan Ramamurthy ， Manish Bhide ，DiptikalyanSaha，Kush R Varshney，and Ruchir Puri. 2019年。个人和群体公平性的偏差缓解 在Icassp 2019-2019 ieee声学、语音和信号处理国际会议（icassp）上。IEEE，2847[14] 迪诺·佩德雷斯基，塞尔瓦托·鲁杰里，和佛朗哥·图里尼。2009.测量社会敏感决策记录中的区分度。2009年SIAM国际数据挖掘会议论文集。SIAM，581[15] 迪诺·佩德雷希，塞尔瓦托·鲁杰里，佛朗哥·图里尼。2008年判别感知数据挖掘。第14届ACM SIGKDD知识发现和数据挖掘国际会议论文集。560-568[16] Javier Sánchez-Monedero，Lina Dencik，and Lilian Edwards.2020年。“解决”招聘中的歧视问题意味着什么来自英国的社会，技术和法律观点对自动招聘系统。 在2020年公平，问责制和透明度会议上。458-468[17] Akrati Saxena，George Fletcher，and Mykola Pechenizkiy.2021年 如何公 平 是 公 平 意 识 代 表 排 名 和 公 平 排 名 的 方 法 。 arXiv 预 印 本 arXiv ：2103.01335（2021）。[18] Ashudeep Singh 和 Thorsten Joachims 。 2018 年 排 名 曝 光 的 公 平 性 第24届ACM SIGKDD知识发现数据挖掘国际会议论文集。2219-2228[19] 柯杨和朱莉娅·斯托扬诺维奇。2017年。衡量排名输出的公平性第29届科学与统计数据库管理国际会议论文集。一比六[20] Meike Zehlike ， Francesco Bonchi ， Carlos Castillo ， Sara Hajian ，Mohamed Mega-hed，and Ricardo Baeza-Yates.2017年。Fa* ir：一个公平的top-k排名算法。2017年ACM信息与知识管理会议论文集。1569-1578年。