预测时间下的公平机器学习:置信度阈值与跨群体统计公平

0 下载量 45 浏览量 更新于2024-06-18 收藏 795KB PDF 举报
置信度约束的机器学习公平性:跨群体统计公平和个人保证的实证研究 随着数据驱动决策系统的广泛应用,算法公平性已成为一个核心议题,特别是在处理可能存在的歧视和偏见时。传统的研究往往假设在预测过程中,所有的特征信息对于做出决策都是可获取的,但现实中,许多场景下,如医疗诊断,决策者必须根据特定特征的成本来逐步获取更多信息。这就提出了一个新的挑战,如何在有限的信息获取过程中实现公平性。 本文的主要贡献在于提出了一种新的方法,即通过设置置信度阈值来控制信息的获取,以达到公平目标。首先,研究者提出了一组全局置信度阈值,它使得在任意群体中,模型产生的错误率都能保持一致,从而实现了跨群体的统计公平。这种方法避免了在不同群体间无意识的偏差,因为信息的获取是在公平的基础上根据个体需求进行的。 进一步地,研究者扩展了这一框架,引入了针对不同群体的特定置信度阈值,这旨在确保分类器在机会平等的条件下运行,比如确保假阳性或假阴性率在各群体间均衡。这种做法不仅维持了统计公平,还为每个个体提供了个性化保障,使得算法在获取信息的过程中尊重了个体差异和成本效益。 作者通过实证研究,利用两个公开的数据集验证了这一方法的有效性,展示了置信度约束如何在实际应用中平衡成本、信息获取和公平性。同时,研究也探讨了这种方法的局限性,揭示了在特定情境下可能遇到的问题和优化空间。 总结来说,本文的研究深入到了机器学习公平性的实践层面,提出了一种策略,既能确保群体间的统计公平,又能为个人决策提供合理保证。这对于理解和改进现实世界中的数据驱动决策系统具有重要意义,尤其是在那些特征获取成本各异的应用场景中。
2021-06-09 上传
算法决策越来越普遍,也越来越有争议。 批评者担心算法工具不透明、不负责任或不公平。 评估这些工具的公平性尤其令人担忧,因为它要求我们就公平是什么以及它意味着什么达成一致。 不幸的是,我们没有。 技术文献现在充斥着多种衡量标准,每个衡量标准都声称要评估某个维度的公平性。 两种措施脱颖而出。 有人认为,算法公平性要求算法产生的分数对于受法律保护的群体(例如黑人和白人)的成员应该同样准确。 另一种说法是,算法公平性要求算法为每个相关组产生相同百分比的误报或漏报。 不幸的是,通常无法在这两个维度上实现平等。 这一事实导致了一个紧迫的问题。 我们应该优先考虑哪种类型的衡量标准以及为什么?本文对如何最好地衡量算法公平性的辩论做出了三项贡献:一种是概念性的,一种是规范性的,一种是法律性的。 相同的预测准确度可确保得分对每个相关组的意义相同。 因此,它与一个人应该相信一个得分个体有关。 由于公平问题通常与行动而非信念相关,因此这种衡量标准不适合作为衡量公平的标准。 这是本文的概念性贡献。 其次,本文认为假阳性与假阴性比率的均等是一个规范上重要的衡量标准。 虽然在这个维度上缺乏平等并不构成不公平,但这一衡量标准提供了怀疑不公平存在的重要理由。 这是本条的规范性贡献。 有趣的是,提高算法的整体准确性将减少这种不公平。 不幸的是,反歧视法禁止在所有情况下使用种族和其他受保护分类的普遍假设正在阻止设计算法的人使它们尽可能公平和准确。 这篇文章的第三个贡献是表明法律构成的障碍比许多人想象的要小。