10348仅标记组的CGL（我们的）划痕完全注释的编组标签准确度（%），更好公平（M），用部分注释的组标签学习公平分类器尚原郑酒店1* Sanghyuk Chun2† 大隅文1，3†1首尔大学ECE/ASRI研究科2NAVER AI Lab3首尔国立大学人工智能跨学科课程摘要最近，公平意识学习变得越来越重要，但大多数方法都是通过假设完全注释的人口统计组标签的可用性来操作的。我们强调，这样的假设是不现实的现实世界中的应用程序，因为组标签注释是昂贵的，并可能与隐私问题相冲突。在本文中，我们考虑了一个更实际的情况，被称为集群公平与部分注释82807876747270100 80 50 25 10组标签比（%）42403836343230100 80 50 25 10组标签比（%）群标签（Fair-PG）。我们观察到，现有的方法来实现组公平性甚至比香草训练更差，香草训练只是简单地使用完整的数据，仅带有目标标签，在Fair-PG下。为了解决这个问题，我们提出了一个简单的基于置信度的群组标签分配（CGL）策略，该策略适用于任何公平感知的学习方法。CGL利用辅助组分类器来分配伪组标签，其中随机标签被分配给低置信度样本。我们首先从理论上表明，我们的方法设计是优于香草伪标记策略的公平性标准。然后，我们在几个基准数据集上实证表明，通过将CGL和最先进的公平性感知处理方法相结合，与基线相比，目标精度和公平性度量可以得到联合改善。此外，我们令人信服地表明，CGL能够自然地增加给定的组标记的数据集与外部目标标签的唯一数据集，使准确性和公平性都可以提高。代码可从https：//github.com/naver-ai/cgl_fairness网站。1. 介绍机器学习（ML）模型的最新进展甚至在社会应用中也取得了可喜的成果，例如信用评估[28]、犯罪评估系统[7，23]、自动工作面试[33]、人脸识别[24]、自动驾驶[25]、自动驾驶[26]、自动驾驶[27]、自动驾驶[28]、自动驾驶[29]、自动驾驶[29]、自动驾驶[29][17]法，即法然而，机器*在NAVER AI Lab实习时完成的工作†通讯作者图1. 当组标签被部分注释时，公平训练方法仍然可以学习公平分类器吗？我们注意到，仅使用组标记子集（黄色）的最先进的公平性公平训练FairHSIC [34]显示了更差的公平性标准（Eq.M，Eq.（2），越低越好）比不考虑公平性标准）在低组标签机制中（例如，10%）在UTKFace上[44]。另一方面，我们的CGL（红色）可以潜在地应用于任何公平训练方法，当它与FairHSIC相结合时，低组标签制度的目标准确性和公平性标准都得到了显着提高对于特定的群体通常更不准确（例如，深色皮肤的女性）比其它组（例如，较浅肤色的男性）[8]，即，机器是歧视性的。为了缓解这个问题，公平意识学习最近出现了;模型不应歧视具有敏感属性的任何人口统计组，例如，年龄性别或种族许多现有的群体公平性方法[1，12，22，24，34，41，42]利用两种类型的标签：目标标签，其是面向任务的（例如，犯罪评估）和组标签，其由社会敏感属性组（例如，种族或性别）。许多现有的实现组公平性的方法依赖于组标签来训练公平分类器。例如，许多方法显式地最小化由敏感属性定义的组之间的统计奇偶性度量。然而，在许多实际应用中，例如，假设所有图像都具有敏感组标签的计算机视觉可能是不现实的，并且使得现有方法不切实际。首先，在许多图像数据集中，组标签没有像表数据集中那样显式给出[7，23，28]，而是在高级序列中定义更好10349mantics，需要额外的昂贵的人工注释。其次，敏感属性通常是受法律保护的个人信息，例如欧盟通用数据保护条例（GDPR）。因此，在现实世界的应用中，在没有所有用户的许可的情况下，收集所有数据点的组标签是不可能的，此外，敏感属性不能被持久地存储，而是应该过期。因此，先前公平训练方法的基本假设，即，组标签是完全注释的，可能会限制它们在现实世界应用中的可用性。贡献 在这项工作中，我们提出并调查一个探索较少但非常实用的问题：具有部分注释的群标签的群公平性（Fair-PG）。现有的许多公平训练方法都假设训练样本都有分组标签，并通过分组标签训练样本来优化公平约束。在这种情况下，它们不能直接应用于Fair-PG问题。我们的经验表明，基线公平训练方法，只对组标记的样本进行操作，在公平性方面，当组标记的样本数量很小时10%）1.一、虽然存在一些尝试来实现算法公平性而不使用人口统计学标签[20，29]，但它们并不能直接解决群体公平性问题。此外，它们根本不使用部分注释的组标签，而少量的标记数据可以提高整体性能。为此，我们提出了一个简单而有效的公平-PG，可以应用于任何公平的训练方法组公平性，被称为基于信任的G组L标签分配（CGL）的策略。CGL分配伪组标签组未标记的样本使用辅助组分类器，如果预测是足够的信心，和随机组标签，否则。我们提供了CGL如何在Fair-PG场景中工作的高级理解。我们从理论上支持（1）由我们的方法计算的公平性奇偶性比完全信任辅助组分类器的预测的香草伪标签策略更好地近似底层组标签分布的奇偶性，（2）将随机组标签分配给数据点意味着消除样本的公平性约束在实际应用中，由于现有的公平训练方法使用的是一种放松的约束条件，因此CGL可以被解释为一种适用于低置信度群体未标记样本的正则化方法在我们的实验中，CGL与状态-现有技术的公平培训方法（例如，MFD [24]，FairHSIC[34]和LBC [22]）即使在面部图像[31，44]和表格[14，23]数据集的低组标签制度下，也始终显著地提高了目标准确性和公平性。例如，与“仅分组标记”基线相比，CGL和MFD的组合显示出+8.23%的UTKFace上的机会均等（DEO）下降[44]，只有10%的数据点具有组标签。进一步扩展这一结果，通过在[27]中使用额外的未标记组数据集来增强完整的UTKFace训练集，我们表明CGL可以显着提高MFD的性能，准确率为+0.92%，DEO为-5.5这是有前途的，因为它表明CGL可以通过用目标仅标签数据集来增强训练数据来提高基线方法的准确性和公平性，这比联合要求组标签相对更容易获得。2. 相关作品公平--为团体公平而训练。针对机器学习模型中的公平性问题，已经有了各种各样的研究.在高层次上，它通常可以分为三类，包括1）个人公平性[15，40]，旨在以相似的方式对待相似的用户，2）群体公平性[19] 其目标是减少由敏感属性定义的组之间的统计奇偶性，3）罗尔斯最小-最大公平性[16，20，29]，其设计用于改善组之间的最差性能本文从群体公平性的观点出发，讨论了模型的公平性问题。为了实现群体公平，人们开发了许多公平训练方法根据公平性技术的注入位置，公平性方法（用于组公平性）可以分为三类;预处理方法[13，34，42]在学习模型之前修改训练数据集;处理中[12，22，24，26，41，43]方法考虑训练时间期间的公平性;后处理方法[3]修改训练模型。然而，尽管实现组公平性的技术进步，用于组公平性的现有方法没有考虑训练数据集的一部分缺少组标签的设置（即，Fair-PG）。不完美的敏感属性的公平。最近，已经提出了一些尝试来考虑具有不完美敏感属性的算法公平性，例如，噪声组标签。Chen等人[10] Kalluset al.[25]所提出的用于在只有代理变量（例如，对于受保护的变量，与此同时，一些作品[2，39]提出了学习对噪声组标签鲁棒的公平分类器的解决方案。然而，这些方法只关注噪声组标签，因此它们不能直接应用于我们的Fair-PG设置。也有一些作品的公平训练没有任何信息的保护属性。Hashimoto等人[20] 提出了一种分布式鲁棒优化算法（DRO）[32]基于的方法，以及Lahotiet al.[29]利用一个对手来识别损失高的区域并重新加权。类似地，存在去偏置方法来解决偏置问题，而没有任何表示偏置的标签（附录中给出的讨论）。然而，与Fair-PG上的CGL相比，一是不10350X → Y∈X||..||≜Σ{--{}∈AA∈ Y|∈ X <$∈ Y直接旨在实现群体公平，但他们认为罗尔斯的最小最大公平或交叉偏见的推广。其次，将它们与现有的公平训练方法结合起来并不简单，而我们的方法可以普遍适用于任何公平训练方法。半监督学习半监督学习（SSL）[9]旨在学习具有少量标记样本和大量未标记样本的模型。我们的Fair-PG场景还考虑了组标签被部分注释但目标标签被完全注释的情况。然而，由于SSL的目的是简单地从训练集中的部分注释中尽可能准确地预测未来的属性标签，因此不清楚预测的属性标签是否可以直接插入以实现测试集中的组公平性此外，最近的最先进的SSL方法[5，6，37]几乎不直接适用于公平性问题，因为它们主要关注于寻求更好的增强方法和增强输入的一致约束。相反，我们的方法是从伪标记（PL）策略[30]的动机，以避免对基础的复杂修改如图2所示。对于部分注释的组标签，我们的目标是找到一个分类器f：不偏向组标签A，同时预测一个最符合输入特征的目标标签。3.2.公平准则不同的群体公平标准已经被提出，并有不同的哲学如何定义歧视[11，15，19]。 我们考虑具有非二进制组标签的M元分类问题的平等机会（EOpp）[19]，而大多数组公平性标准假设二进制目标或组标签。分类器f满足关于敏感组标签A和目标Y，如果模型预条件Y和条件A在给定Y时是独立的，即，a，a'，y，P （Y_n=yA=a，Y=y）=P （Y_n=y A = a′，Y= y）. 为了测量f在分布P（X A，Y）下的不公平程度，我们在取y上的最大值或平均值时分别使用EOpp（DEO）的两种n（f，P，y）：= maxEP（XA=a，Y=y）[I（f（X）=y）]a，a'-EP（X|A=a′，Y=y）[I（f（X）=y）]|ΣΣ，（1）公平的训练方法，通过分配伪组标签的组未标记的样本。虽然原始PL完全信任网络的预测，我们设置随机标签M（f，P）maxy（f，P）1（f，P，y）|Y|y∈Y低置信度样本。我们表明，无论是从理论上还是经验上，这种随机标签选择策略在CGL中是实现更好的群体公平性的关键，我们认为这样的发现是不简单的。我们的策略也类似于最近提出的UPS [35]在SSL上下文中，它通过使用外部不确定性预测模块来提取低置信度样本的伪标签。然而，CGL通过随机标记策略使用了完整的未标记组样本，并且在我们的实验中优于3. 问题定义在本节中，我们正式定义了我们的场景，公平PG，和公平标准，机会均等（DEO）的差距，一般的M元分类问题。3.1. Fair-PG的形式化定义设XRd为输入特征，Y=1，. . .，M是目标标记。我们还表示A= 1，. . .，N作为由一个或多个敏感属性定义的组标签。例如，如果表型和基因-der是敏感属性，我们的分组标签是浅色皮肤男性，浅色皮肤女性，深色皮肤男性黑皮肤的女人。 Fair-PG假设输入空间X被划分为群标记集 和群 未标 记集 XL 和 XU 。 也就 是说 ，如 果x∈XL，则样本（x，a，y）<$P（X，A，Y）具有群标号，反之亦然（二）上述两个指标指示给定目标标签的组之间的准确性差距，并且在显示最差情况和平均准确性差距时相互补充。4. 基于置信度的组标签分配在本节中，我们提出了我们的基于置信度的G群L标记分配（CGL），它简单且易于应用于Fair-PG场景的任何公平训练方法。我们的方法进行了详细的描述，并提供其理论上的理解。4.1. 方法概述由于现有的公平训练方法显式地利用组标签来优化公平约束，因此它们不直接适用于我们的Fair-PG问题。将现有方法应用于Fair-PG的简单方法是仅使用组标记的样本进行训练。不幸的是，正如我们在图1和我们的实验中所观察到的那样，在公平性方面，这种幼稚的基线比只使用目标标签的scratch训练方法表现得更差。作为另一个基线，我们可以使用伪标记策略[30]，通过训练单独的组分类器将估计的组标签分配给未标记的组数据。香草伪标签策略使算法公平性的最新改进能够容易地转移到我们的公平PG场景中，而不是10351XXXL|X|x ∈{x|max g（x）>τ} I（arg max g（x）=Σ组标记数据$L未标记的分组数据$U现有训练法训练数据集<目标><组>FairmodelY=0女性Y=1男性Y=1女性Y=1N/AY=0N/AY=0N/A分离式列车/阀组组分类器g找到阈值r组分配MFFF随机M1− rr#（%）|图2. 在公平-PG情景下提出的CGL策略概述。 我们通过将组伪标签分配给组未标记的训练集U来训练公平模型。我们训练一个辅助组分类器g来生成伪标签。在这里，我们将随机组标签分配给低置信度样本，如图中的红色虚线框所示（A= 0和A= 1分别表示“女性”和“男性”）。在为未标记的训练集分配基于置信度的伪标签后，我们应用公平训练方法来训练公平模型f。只使用标记的训练集进行scratch训练然而，由于这种普通的伪标记策略仅用组标记的训练样本来训练组分类器，因此伪组标记可能是嘈杂的和不正确的。与SSL问题相比，不正确的组伪标签可能通过将组标签错误传播到复杂的公平训练方法中而导致公平性方面的更严重的问题。为此，我们采用基于置信度的GroupLabel算法1：基于置信度的群L标记为-分配（CGL）数据：分组标记训练集L和分组未标记训练集U。结果：一组伪组标签A表示组未标记训练集XU.特尔瓦尔1 将XL分成训练集和验证集XL，XL。2训练一个组分类器g：X → S|一|使用分配（CGL），以减少不正确的伪训练样本（x，a，y）<$X tr，其中S|一|是标签由于分类器置信度可以是|- 单形。|-simplex.Val[18]《易经》云：“君子之道，焉可诬也？低置信度的预测是不正确的。我们3在XL上搜索满足以下条件的置信度阈值τ将随机组标签分配给那些较不可信的组预测样本，从给定目标标签Y的组标签A的经验条件分布中抽取（即，P（A Y=y））（算法1中的第4行）。在第4.2节中，我们做出了两个理论贡献。一个是表明我们的另一个是证明了对于那些随机标记的低置信度样本，随机标记分配等价于忽略公平性约束在实践中，我们希望我们的随机标记可以作为正则化方法。对于我们的CGL，我们需要一个超参数，即置信度阈值τ，来确定给定的预测是否是低置信度的。我们将给定的组标记训练集分成训练集和验证集（Al-出租m1中的第1行和第2行），并搜索最佳置信阈值τ sat。在预测给定的预测是正确的还是错误的（算法1中的第3行）。在分布外样本检测任务中采用了类似的基于阈值的策略[21]。如前所述在实验中，存在置信阈值τ的最佳点，其中τ= 1与所有未标记组样本的“随机标记”分配相同a）+x∈{x|max g（x）≤τ} I（arg max g（x）a）.4将组伪标签分配给（x，y）U，如果maxg（x）>τ，则a f=argmaxg（x），否则通过从经验条件Giveny的分布，即， 一个新的P（A|Y=y）。与vanilla伪标记策略相同。一旦我们有了组分类器和置信度阈值，我们就用我们的策略分配伪组标签，并在伪组标签的训练样本上用基本的公平训练方法训练分类器算法1和图2说明了所提出的CGL的概述。4.2. 对CGL在本小节中，我们从理论上理解了为什么对低置信度样本的随机标签分配在DEO（DEO）方面优于普通伪标签（PS）。我们将每个策略直接应用于组概率P（AX，Y），即，给出一个理想训练的组分类器。我们的第一个理论结果（命题1）支持我们的CGL获得的DEO与基础DEO之间的差异小于最大τ10352|˜˜A{}^||^P（A）|X，Y）和P（A|X，Y）。我们还定义了n（x，y）n^^ ^您的位置：^||Y|||.P（A=a|X=x，Y=y），如果x∈X.L=˜普通策略获得的DEO和基础DEO之间的关系。换句话说，我们的PS与随机分配是一个更好的近似的真实我们表示P（X| A，Y）作为修改后的数据分布，P（X|A，Y）诱导的|X，Y）。对于任何分类器，P（ A X，Y）比香草PS好正式声明如下。1.提案 假设一个二进制群=0，1。设f（x，y; f，P）为x对DEO的影响，f（f，P）（简写为x，y）。也就是说，从f（f，P）=f，n（f，P）与使用偏集XL的n（f，P）相同。证据在附录中在实践中，由于现有的公平训练方法使用DEO的宽松版本，因此我们的方法可以作为组的正则化方法T（T）x∈{x|f（x）=1}|其中T（·）是最大值，或者|)whe reT(·)isthemaximumor未标记的样本通过分配随机组标签。在y上求平均，则x（x，y）定义如下：（x，y）|A = 1，Y = y）−P（X = x|A = 0，Y = y）。设P（A X，Y）和P（A X，Y）分别是通过vanilla伪标记和CGL修改的分布P（A = a|X = x，Y = y）= I（P（A = a|X = x，Y = y）>0。（五）。P（A = a|X = x，Y = y）1，如果P（A = a|X = x，Y = y）∈ [τ，1].=P（A = a|Y = y），如果P（A = a|X = x，Y = y）∈（1− τ，τ）。0，否则，这里0. 5≤ τ ≤1是阈值。然后，我们表示P（X|A，Y）和P（X|A，Y）作为诱导分布证明了对于任意分类器f，每个y和所有x∈{x，y ;f，P}，|f （x）=1和1−τ
>|（x，y）−|.|.（三）证据在附录中。它有助于更高层次地理解CGL相对于vanilla PS的优势，尽管命题1并不完全等价于关于f（f，P）的不等式。在实践中，由于简单-因此，我们近似真实分布P（A=a X，Y）为：一个组分类器g，学习P（A=a X），而不是训练每个y的组分类器。正如我们在附录中的实验所报告的那样，我们的组分类器通过使用50%的组标记训练数据实现超过85%的组准确率来很好地逼近P（A=a X）我们还表明，将随机标签分配给给定数据点的分区XU，相当于忽略XU中数据点的DEO约束：第二个提案 假设X被划分为任意两个集合，XL和XU。设P（A| X，Y）是P（A）的修改版本|X，Y）如下：P（A=a|X=x，Y=y）P（A = a|Y = y），否则。5. 实验在本节中，我们将展示CGL在Fair-PG场景中的有效性。我们在三个基准数据集上使用各种基线公平训练方法评估CGL：UTKFace [44]（敏感组是种族），CelebA [31]（敏感组是性别）ProPub- lica COMPAS[23]（敏感组是种族）和UCI Adult [14]（敏感组是性别）数据集，其中COMPAS和Adult数据集是非视觉表格数据集。我们将CGL与MFD [24]，FairHSIC [34]和重新加权[22]相结合。为了理解训练好的组分类器，我们对组分类器进行了广泛的分析。最后，我们通过在UTKFace数据集上利用额外的未标记组训练数据来展示CGL的强大经验贡献。与基线方法相比，我们的CGL在目标准确性和群体公平性方面有显著的5.1. 实验设置5.1.1数据集[44]第四十四话UTKFace是一个面部图像数据集，被广泛用作多类和多组基准。UTK-Face包含超过20 K带有注释的图像，例如年龄（范围从0到116），性别（男性和女性）和种族（我们将种族和年龄分别设置为敏感属性和目标标签。我们将目标年龄范围分为三类：0至19岁，20至40岁和40岁以上。[24]第10段。我们使用“白人”、“黑人”、“亚洲人”和“印度人”四个族裔群体测试集被构造为包含每个组和目标的相同数量的样本。[31]第三十一话CelebA包含大约20万张人脸图像，用40个二进制属性表示。正如以前的作品[24]和[36]，我们选择“吸引力”和伦理问题的结果见附录。测试集的构造与UTKFace相同。[23]第二十三话我们还考虑了一个非视觉表格数据集，以显示CGL的多功能性，以其他方式。我们使用ProPublica COMPAS数据集，这是一个二进制分类任务，目标标签是10353准确度（%）女（男）女（男）|被告再次犯罪我们将种族设置为敏感属性，并使用与Bellamy等人相同的预处理。[4]，因此它包括5，000个数据样本，二元组（此外，我们还提供了UCI成人的详细信息和结果群标记唯一随机标记8280787674伪标签CGL（我们的）40353025划痕完全注释的编组标签[14]附录中的数据集。100 80 50 25 10组标签比（%）100 80 50 25 10组标签比（%）5.1.2基地公平培训方法(a) MFD结果42.5我们采用三种最先进的处理方法，基于MMD的公平蒸馏 （ MFD ） [24] ， FairHSIC[34] 和 标 签 偏 差 校 正（LBC）[22]用于CGL的基本公平训练方法。我们在附录中简要描述了每种方法。我们只考虑可扩展的公平培训80.077.575.072.570.0100 80 50 25 10组标签比（%）40.037.535.032.530.0100 80 50 25 10组标签比（%）基于深度学习的视觉应用的方法;注意组公平性的原始方法[26，41]不能是80应用于具有高维数据的视觉域，复杂模型（例如，DNN）。但我们强调，76我们的方法并不局限于这三种方法，(b) FairHSIC结果42.540.037.535.032.5它可以很容易地应用于任何公平的训练方法。100 80 50 25 10组标签比（%）100 80 50 25 10组标签比（%）5.1.3实现细节我们在附录中提供了实现细节，包括体系结构和优化器的细节，超参数搜索协议。型号选择。对于真实数据集上的公平性感知学习，准确性和公平性之间可能存在权衡（参见图6中的权衡示例）。为了公平的比较，我们应该选择最佳的超参数显示最好的一个标准，同时保持类似的性能为其他。因此，我们选择了显示最佳公平性标准的超参数，同时实现了UTKFace和CelebA数据集至少95%的普通训练模型准确性。我们将COMPAS数据集的下限设置为90%。如果不存在达到最小目标精度的超参数，则报告具有最佳精度的超参数。所有模型都是从最后一个训练时期中选择的。基线方法和评价指标。现有的用于组公平性的处理中方法不直接适用于我们的场景，即，当组标签没有被完全注释时。此外，如SEC所述。2、现有的SSL方法大多也不能直接应用于Fair- PG，因为不清楚它们在应用于预测无注释组标签时是否实现组公平性（参见附录中UPS [35]的结果，这是最先进的SSL方法之因此，我们采用三个简单的基线进行比较。仅分组标记策略丢弃未分组标记的样本，并且仅使用分组标记的样本进行训练。(c) LBC结果图3. 结果在UTKFace上。对于训练数据集中不同的组标签比率，我们展示了三种公平训练方法的组合，即“scratch”denotes the vanilla training without a fairness criteria and “fullyannotated group labels” denotes the fair-training methods usingthe 当组标记比率为100%时）。更高的准确度和更低的可接受性分别表示改进。我们还研究了两种组标签分配策略：随机标签策略将随机标签分配给所有未标记的组数据（从P（A Y=y）中提取），而伪标签策略完全信任组分类器预测。每种方法都是CGL的一种极端情况，分别设τ= 1和τ=0。我们注意到，基于命题2，“随机标签”在仅用组标记样本评估公平性损失部分时具有相同的效果，我们考虑了所有实验的三个评估指标，目标准确度，CARM和CARMA（见等式2）。（2）译注。结果是UTK-Face和COMPAS上四次不同运行和CelebA上两次不同运行的平均分数。附录中给出了平均值和标准差评分。5.2. 主要结果图3比较了在UTKFace数据集上MFD、FH和LBC与三种基线策略和CGL的组合的目标准确度和CWM，其中不同的组标记比率从100%（完全组注释）到10%。我们在图中显示了CelebA数据集上的类似结果其中组标记比选自100%至100%，准确度（%）准确度（%）女（男）747210354仅组标记随机标号伪标号擦除CGL（我们的）完全注释的编组标签女（男）女（男）女（男）女（男）群标记唯一随机标记伪标签CGL（我们的）划痕完全注释的编组标签90.087.585.082.580.077.5100 25 10 51组标签比（%）40302010100 25 10 5 1组标签比（%）66646260100 80 50 2510组标签比（%）201510100 80 50 25 10组标签比（%）(a)MFD结果90408530802075(a) MFD结果66206415626010100 25 10 5 1组标签比（%）100 25 10 5 1组标签比（%）100 80 50 25 10组标签比（%）100 80 50 25 10组标签比（%）(b) FairHSIC结果50787640743072207010(b) FairHSIC结果66206415626010100 25 10 5 1组标签比（%）100 25 10 5 1组标签比（%）100 80 50 25 10组标签比（%）100 80 50 25 10组标签比（%）(c) LBC结果图4. Celeba上的结果细节与图相同。3 .第三章。百分之一。请注意，我们对数据集选择不同的组标签比率，因为UTKFace是多类和多组数据集，而CelebA是二进制类和二进制组数据集。我们还强调，业绩比较-（c）LBC结果图5.COMPAS上的结果。 细节与图相同。3 .第三章。0.220.200.18三条基线之子和CGL主要关注CIPM是─0.160.14因为我们报告了每种方法在精度高于第2节中所述精度下限的模型中的最佳可预测性第5.1.3条。在图中，特别是，当组标记比率降低时，“随机标签”（绿线）策略很少损害准确性，因为它使用完整的目标标签进行训练，但它显示了可“伪标签”（蓝线）比其他基线表现得更好，但是分类器错误严重影响公平性表现，特别是UTKFace）。另一方面，CGL在大多数情况下表现出比其他基线更好的性能，最明显的是在UTKFace上，成功地处理了具有低置信度组预测的样本。我们还报告了非视觉表格数据集的结果，见图11。五、我们观察到类似的结果图。3和图4.第一章值得注意的是，在公平性方面，我们的方法通常比所有方法中的其他基线表现得更好我们指出0.630 0.635 0.640 0.645 0.650 0.655 0.660 0.665准确度（%）图6.COMPAS上的准确性-公平性权衡，10%的组标记训练集。 我们显示的准确性和CGL和“伪标签”与MFD相结合，MFD的不同的超参数获得。尽管CGL的精度略低于其他基线的精度，但这并不一定意味着这些方案的性能更好，因为它们必须牺牲更高的精度才能达到与CGL相似的精度为了澄清这一点，我们在图1中绘制了COMPAS上不同超参数的完整准确性-公平性权衡。六、我们清楚地观察到，CGL通过实现更好的帕累托权衡曲线来主导5.3. 群量词组分类器置信度。我们在图7中显示了UTK-Face上的组分类器的最高和最低置信度样本。如图所示，低置信度样本由于不同的照明、不同的方向和低质量而对人类来说是定性不确定的因此，我们基于置信度的阈值可以捕获数据集的固有不确定性。在附录中，我们提供了伪标签CGL（我们的）准确度（%）准确度（%）准确度（%）女（男）准确度（%）准确度（%）准确度（%）公平（M）女（男）10355≤≤白色黑色亚洲印度高低图7.UTKFace上的组分类器的高和低置信度样本。我们说明了前3名最高和最低的信心样本，分类器从每个组的UTKFace训练样本中预测正确答案表1. CGL对UTKFace和额外组的影响-未标记的训练数据集。准确性和公平性标准82.582.081.581.080.50.25 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0置信度阈值0.25 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0置信度阈值在UTKFace测试集上显示。对于然后，我们在伪标记的训练数据集（94，190张图像）上训练MFD图8.UTKFace的τ研究。对于不同τ的准确性和公平性（通过WMM）。τ0。25与“随机标记”相同置信度分数分布和不同组标签比率的组分类器准确度。阈值τ的研究 图8显示了通过改变UTKFace上的τ，使用10%组标记的训练集，CGL和MFD的准确度和可预测性。我们修正了超参数-使用图3中使用的试验，并报告两次不同试验的平均值。τ0的情况。25（因为有四个组）和τ= 1分别等价于“τ”表示通过我们的策略实现的τ的结果（算法1中的在这里，我们观察到存在一个最佳点的thresh-旧的，表现出更好的可扩展性和准确性比5.4. 使用额外的未标记组数据进行最后，我们展示了Fair-PG场景和我们的CGL对UTKFace数据集和一个额外的组-未标记数据集的影响。我们使用FairFace数据集[27]作为额外的数据集。FairFace包含108，501张具有平衡属性的面部图像。我们过滤掉种族，而不是“白人”，“黑人”，“亚洲人”和“印度人”。过滤后，我们有73，377个额外的样本。为了检查我们的公平PG问题，我们让额外的数据集只有目标标签（即，年龄），但不是组标签。选项卡. 图1显示了仅在UTKFace上训练的scratch和MFD的结果，以及在使用如上所述的FairFace数据集增强的UTKFace上训练的scratch和MFD+CGL的结果。有趣的是，MFDUTKFace仅显示更差的公平性（ 平 均 值= 25。0）比UTKFace + FairFace上的划痕训练（WRM= 24. 0），这与低组标记方案的结果一致，仅UTKFace UTKFace + FairFace ScratchMFD Scratch MFD + CGL准确度（↑）80.29 83.46 81.1584.38公平性A（↓）20.17 16.67 15.6713.00公平性（↓）39.00 25.00 24.00 19.50(Fig.1）。我们实现了最先进的准确性（84.38%）和公平性（平均值= 19。5）通过使用额外的未标记组数据集成功地增强UTKFace。6. 结束语我们考虑了一个实际的学习场景，其中组标签被部分注释用于fariness-aware学习。我们已经观察到，当组标签的数量很小时，现有的公平训练方法甚至比划痕训练更差。我们提出了一个简单而有效的解决方案，可以很容易地应用于任何公平的训练方法，并证明了CGL在几个基准上改进了各种基线。我们相信，我们的方法可以显着降低成本，获得额外的组标签的所有训练样本，促进公平分类器的更快的发展。致谢这项工作得到了首尔国立大学新教师创业基金的部分 支持 ，NRF 中 期职 业研 究计 划[NRF-2021 R1 A2C2007884] ， 韩 国 政 府 资 助 的 IITP 赠 款 [No.2019-0-01396，开发用于分析，检测，减轻AI模型和训练数据中的偏见的框架]，[No.2021- 0-01343，人工智能研究生院计划（首尔国立大学）]、[No.2021-0-02068，ArtificialIntelligenceInnovationHub （ ArtificialIntelligence Insti- tute，Seoul National University）]和SNU-NAVER Hyper- scale AI Center。CGL（我们的）scratch完全注释的组标签40353025女（男）精度10356引用[1] Alekh Agarwal，Alina Beygelzimer，Miroslav Dud 'ık，John Langford和Hanna Wallach。公平分类的约简方法。在马赫国际会议上。学习. ，第60PMLR，2018。1[2] 阿迪蒂亚湾Menon Alex Lamy，Ziyuan Zhong和NakulVerma。噪声容忍公平分类。高级神经信息学。过程系统，第32卷，2019年。2[3] Wael Alghamdi，Shahab Aiddeh，Hao Wang，Flavio PCal- mon ， Dennis Wei ， and Karthikeyan NatesanRamamurthy.模型投影：公平机器学习的理论与应用。在IEEE Int. Sympo. Info.理论，第2711- 2716页。IEEE，2020年。2[4] Rachel KE Bellamy ， Kuntal Dey ， Michael Hind ，Samuel C Hoffman ， Stephanie Houde ， KalapartanKannan ，Pranay Lo- hia，Jacquelyn Martino， SameepMehta，Aleksandra Mo- jsilovic，et al. AI fairness 360：An extensible toolkit for detecting ，understanding， andamplifying unwanted algorithmic bias.arXiv预印本arXiv：1810.01943，2018。6[5] 大卫·贝特洛、尼古拉斯·卡利尼、伊金·D·库布克、亚历克斯·库-拉金、孙奇赫、张涵和科林·拉菲尔。Remix-match：具有分布对齐和增强锚定的半监督学习 在Int.Conf. 学习. 代表。，2019年。3[6] 大卫·贝特洛，尼古拉斯·卡里尼，伊恩·古德费罗，尼科 ·拉斯· 帕佩 诺，艾 维塔·奥利 弗，科 林· 拉菲 尔.Mixmatch：半监督学习的整体方法。在高级神经信息中。过程系统，2019年。3[7] 蒂姆·布伦南，威廉·迪特里希，还有贝亚特·埃雷特.评估指南针风险和需求评估系统的预测有效性。刑事司法和行为，36（1）：21- 40，2009。1[8] Joy Buolamwini和Timnit Gebru。性别阴影：商业性别分类中的部门间准确性差异.公平、责任和透明度，第77-91页。PMLR，2018。1[9] Olivier Chapelle、Bernhard Scholkopf和Alexander Zien。半监督学习（chapelle，o例如，eds.; 2006）[书评]。IEEE Trans. Neural Networks ， 20 （ 3 ） ： 542-542 ，2009。3[10] Jiahao Chen ， Nathan Kallus ， Xiaojie Mao ， GeoffrySvacha，and Madeleine Udell.无意识下的公平：评估受保护阶层未被观察时的差异。公平，问责制和透明度，第339-348页，2019年2[11] 亚历山德拉·乔尔德乔娃公平预测与不同的影响：一项研究的偏见，在累犯预测工具。Big Data，5（2）：153-163，2017. 3[12] Ching-Yao Chuang和Youssef Mroueh。公平混淆：通过插值实现公平。在国际会议学习中。代表。，2021年。一、二[13] 埃利奥特·克里格、大卫·马德拉斯、约恩-亨里克·雅各布森、玛丽莎·韦斯、凯文·斯沃斯基、托妮安·皮塔西和理查德·泽梅尔。通过解缠进行合理的表征学习。在马赫国际会议上。学习. ，2019年。210357[14] Dheeru Dua，Casey Graff，等.机器学习存储库。http://archive.ics.uci.edu/ml，2017年。二、五、六[15] 辛西娅·德沃克，莫里茨·哈特，托尼娅·皮塔西，奥默·莱因戈尔德，理查德
我的内容管理
展开
