公平信息权衡：SoFaiR-一种单次公平表示学习方法的研究

+v：mala2277获取更多论文SO FAI R： S INGLE 很热 F AIR代表收入A PREPRINT泽维尔·吉蒂奥乔治梅森大学计算机科学系xgitiaux@gmu.edu胡泽法·朗瓦拉乔治梅森大学计算机科学系rangwala@cs.gmu.edu二〇二二年四月二十八日A抽象为了避免对数据的歧视性使用，组织可以学习将它们映射到一个表示中，过滤掉与敏感属性相关的信息。然而，所有现有的公平表示学习方法都会产生公平信息权衡。为了实现公平信息平面上的不同点，必须训练不同的模型。在本文中，我们首先证明，公平信息权衡率失真权衡充分的特点。然后，我们使用这个关键结果并提出SoFaiR，这是一种单次公平表示学习方法，它使用一个训练模型在公平信息平面上生成许多点。除了节省计算之外，我们的单次方法是，就我们所知，第一个公平表示学习方法，它解释了哪些信息会受到表示的公平/失真属性变化的影响。从经验上讲，我们发现在三个数据集上，SoFaiR实现了与其多镜头对应物类似的公平信息权衡。公平性，表示学习1介绍机器学习算法越来越多地支持决策系统，其中结果对受试者的福祉具有长期影响。越来越多的证据表明，算法可以复制或加剧对某些人口群体的现有社会偏见 这些证据涵盖了许多领域，包括累犯风险评估[1]、人脸识别[2]、教育数据挖掘[3]和医疗诊断[4]。因此，收集数据的组织越来越多地受到下游应用程序对数据的潜在歧视性使用的审查。数据科学管道的一个灵活解决方案是在机器算法摄取公平表示学习[5]遵循这种范式。它是一种数据预处理方法，将数据编码为表示或代码Z，同时去除其与敏感属性S的相关性。公平表示学习[5，6，7，8]中的当前方法生成公平信息权衡，并且相对于其公平信息权衡是不稳定的，这是在训练时设置的这限制了公平表示学习方法的部署例如，在医疗应用中，在测试时，用户可能需要根据性别是否是正在进行的下游任务的适当特征来调整表示的内容。一方面，对于预测心血管风险的下游应用程序，性别是一个重要/适当的特征，应该是数据表示的一部分。另一方面，对于预测医疗账单支付的下游应用程序，性别应该与结果无关，因此从表示中过滤掉。使用公平表示学习中的现有方法，它必须重新训练公平编码器-解码器以满足每个请求。争论的焦点是计算成本和发布的表示之间缺乏一致性，因为用户无法解释它发布的每个数据产品之间发生了什么变化。本文介绍了一种用单一训练模型生成不公平失真曲线的方法SoFaiR，即单一Sh otFair表示法。我们首先表明，我们可以从率失真曲线得到不公平失真曲线。我们可以通过将X编码到比特流中并通过控制其熵来控制表示和敏感属性之间的互信息I（Z，S）。然后，我们构建了一个门控架构，部分掩盖了arXiv：2204.12556v1 [cs.LG] 2022年4月+v：mala2277获取更多论文一个预印本-一个PRIL28，20222∈ Z--∈ X−在速率失真优化问题中的拉格朗日乘数的值为条件的比特流。该掩码适应于用户所针对的公平性-信息权衡，用户可以在测试时通过逐渐取消掩码比特来探索整个不公平性-失真曲线。例如，在下游医疗应用的情况下，性别是敏感的并且需要被过滤掉，用户在测试时将拉格朗日乘数设置为其最大值，这降低了表示的分辨率，并且在二进制基础上，掩盖了比特流的最右尾部除了节省计算成本外，SoFaiR还允许用户解释什么类型的信息受到不公平失真曲线运动的影响。向上移动使比特流尾部中的比特不被掩蔽，并且因此增加了以二进制为基础编码的表示的分辨率。通过将这些未屏蔽的位与数据特征相关联，从业者手头有一种简单的方法来探索当其公平性降低时与特征相关的信息被添加到表示中。从经验上讲，我们在三个数据集上证明，在成本与曲线上的点的数量恒定的情况下，SoFaiR构建的不公平失真曲线与现有的多镜头方法产生的曲线相当，这些方法的成本随点的数量线性增加。在基准成年人数据集上，我们发现越来越多地删除与性别相关的信息首先会降低表示编码工作时间的方式;然后，关系状态和职业类型;最后，婚姻状况。我们的贡献如下：（i）我们用不公平-失真曲线形式化了无监督公平表示学习中的公平-信息权衡，并显示了与率失真曲线的易于处理的连接;（ii）我们提出了一种单次公平表示学习方法，以在测试时控制公平-信息权衡，同时训练单个模型;以及（iii）我们提供了一种方法来解释如何改善或降低所得表示的公平属性影响其编码的信息类型。理论结果的证明、附加的实施和实验细节以及附加的结果在附录中。代码在这里公开1.相关工作。越来越多的机器学习文献探讨了算法如何对某些人口统计群体产生不利影响（例如，自认为是女性或非洲裔美国人的个人）（参见[9]的评论）。本文更密切地涉及将数据转换为公平表示的方法。目前的大多数文献都集中在监督技术上，这些技术将表示量身定制为特定的下游任务（例如[6，10，11，12，13]）。然而，公平表示学习的实际实现将发生在无监督的环境中，其中组织无法预测数据的所有下游使用本文通过以下方式对无监督公平表示（例如[14]）做出了贡献：（i）在失真率相位图中形式化公平信息权衡，这扩展了基于压缩的方法（例如[7]）;以及（ii）提出了一种自适应技术，允许单个训练模型在不公平失真曲线上输出所需的点。SoFaiR的实现涉及速率失真中的方法，其学习自适应编码器并在测试时改变压缩速率（例如[15，16]）。我们借用软量化技术和熵编码来解决率失真问题，可以从公平表示学习目标。我们的自适应掩码与[17]中的增益函数有关，该增益函数根据目标比特率选择通道。我们依赖于来自信息理论的连续细化方法（例如[18]），该方法对不公平失真曲线上的所有点使用公共编码器，并通过向初始粗略表示添加位来添加新信息。据我们所知，我们是实现深度学习多分辨率量化并将其应用于单次公平表示学习问题的第一个贡献2问题陈述2.1你的助手。考虑一个由特征X∈X和S∈S<${0，1}中的敏感属性ds表示的个体群，其中ds≥ 1是敏感属性空间的维数.无监督公平表示学习的目标是将特征X映射到d维表示Z中，使得（i）Z最大化与X相关的信息，但（ii）最小化与敏感属性S相关的信息。我们通过表示Z与S的互信息I（Z，S）来控制表示Z的公平性。I（Z，S）是使用Z作为输入的任何分类器的人口统计差异的上限[12]。我们通过约束失真d（X，Z，S）来控制Z中包含的信息，失真d（X，Z，S）测量当使用从Z和S而不是原始X重建的数据时丢失了多少信息。因此，公平表示学习是1见XXX+v：mala2277获取更多论文一个预印本-一个PRIL28，20223X → ZCITD-≤ −|{}−|CITD≤≤|||--|CITD−图1：不公平-失真曲线I（D）与率失真曲线R（D）。不公平失真I（D）可以从速率-失真R（D）曲线通过等于D-H（X）的向下移位推导出|S），如果失真小于D。等价于解决以下不公平失真问题I（D）= min I（Z，S）s.t. d（X，{Z，S}）≤D（1）其中f：是编码器。不公平失真函数I（D）定义了当以小于或等于D的失真对数据进行编码时用户可以期望的Z和S之间的最小互信息。不公平-失真问题（1）意味着公平-信息权衡：失真约束D的较低值通过增加I（D）而降低Z的公平属性。本文的目标是给定一个数据X，以获得具有单个编码器-解码器结构的不公平性-失真函数I（D）。2.2不公平失真曲线。率失真理论的特征在于，当从码Z重构X所引起的期望失真小于D时，用于由码Z表示X的最小平均比特数R（D）。我们展示了如何从率失真函数R（D）导出不公平失真函数I（D）.定理2.1. 假设失真由d（X，Z，S）=E[ log（p（x z，s）]给出。然后，不公平失真函数I（D）等于R（D）+DC，如果否则为1和0。 C=H（X S）是一个常数，它不依赖于D，而只依赖于数据X。此外，I（D）是非增凸函数。相图图1给出了定理2.1在（D，R）平面上的图形解释。 （D，R）表示率失真曲线上的一点，其中Δ R= −1。对于D≤D，率失真曲线在定义的通过R+D=H（X S），I（D）与R（D）之差为I（Z，S）。对于D >D，率失真曲线是线R+D=H（XS），并且不公平失真曲线是水平轴。我们称区域DD H（XS）为公平编码极限，其中失真小于其上限，但Z与敏感属性S无关。信息瓶颈。定理2.1意味着公平性-失真权衡完全由速率-失真权衡来表征。率失真理论的一个基本结果（[19]）表明，率失真函数由信息瓶颈R（D）= min I（X，Z）s.t d（X，{Z，S}）≤ D。（二）通过用d（X，Z，S）=H（X，Z，S）解决这个信息瓶颈，并调用定理2.1，我们可以恢复不公平失真I（D）。[7]为这一结果提供了一种直觉。对互信息I（Z，X）的控制允许对I（Z，S）进行控制，因为编码器不会浪费代码长度来表示与敏感属性有关的信息，因为敏感属性被直接作为输入提供给解码器。我们可以将信息瓶颈写成拉格朗日形式，minβI（Z，X）+E[−logp（x|z，s）]（3）系数β与率失真曲线的斜率的倒数有关：Δ R= 1/β。β的每个值沿着速率-失真曲线生成不同的点，并且因此通过定理2.1沿着不公平性-失真曲线生成不同的点。较高的β值导致具有较低比特率和与S的较低互信息的表示。为了探索不公平-失真曲线，现有的多次拍摄策略成本过高，因为它们为每个β值学习新的FFF+v：mala2277获取更多论文一个预印本-一个PRIL28，20224编码器f。此外，它们无法解释β的变化如何影响编码器生成的表示+v：mala2277获取更多论文一个预印本-一个PRIL28，20225∗∈ −X →{}JΣ图2：SoFaiR沿着不公平-失真曲线生成可解释的偏移。对于点z1，SoFair学习掩码m1，该掩码隐藏表示的每个维度的尾部上的位。通过将掩码放宽到首先m2然后m3，用于表示数据的比特数从1增加到2然后3;并且，表示移动到z2然后z3，这以降低公平性为代价减少了z1、z2和z3的不同之处仅在于它们的屏蔽位（黑色方块）。图3：a）DSPrites，b）Adults-Gender，c）Adults-Race-Gender（左）和d）Heritage的不公平-失真曲线3方法：单次不公平-失真曲线。我们提出了一种单次拍摄的方法，SoFaiR，生成一个模型上的不公平失真曲线所需的点。 一个对所有β值通用的编码器f：0，1d×r将数据编码成d维潜在变量e[0，1]d. 我们以分辨率rj（β）对d维潜在变量e的每个维度ej进行量化：我们将ej变换为量化表示zj（β）=[er（β）]/r（β），其中[. ]表示上舍入操作，并且r（. ）是β的递减函数。3.1解释性为了保持对于β ' β的z（β）和z（β'）<之间的可解释关系，我们写rj（β）=2aj（β），其中aj（. ）是β的递减函数，其中j=1，...， D. 然后，量化表示的每个维度zj （β）被编码为aj （β）比特。更进一步，对于β'<β，表示z（β'）的每个维度j由与zj（β）相同的aj（β）位组成，后面跟着aj（β'）-aj（β）个附加位。量化表示的每个维度zj（β）被编码成aj（β）比特bj，1，bj，2，.， bj，a（β），其中bj，l∈{0，1}，其中l=1，.， aj（β）。 F或β'<β，并且对于j=1，...，d，我们有一个vezj（β'）=zj（β）+aj（β'）l=aj（β）bj，l 2 −l。因此，zj（β'）与zj（β）之间存在着一种可解释的关系。 这种构造通过对表示的每个维度的附加比特进行揭露来放松公平性约束并减少失真。图2示出了二维表示的示例 已经释放具有高失真和低互信息I（Z，S）的z1的用户通过对第一维度的一个比特和对第二维的两个比特进行解掩码并且通过生成z2来以公平性为代价减少失真。+v：mala2277获取更多论文一个预印本-一个PRIL28，20226−−|Qj=1|j=1Ezp（z）log−1/2aj（β）q（zj+uz.& lt;j，β）du3.2量化我们分配最大比特数A >0来编码表示的每个维度。我们应用一个函数he将d维潜在变量e映射到[0，1]d×A，然后应用一个舍入运算符[he（e）]生成一个d×A矩阵，每行用A位编码表示的一个维度（见图2，A= 3）。对于每个维度j，我们实现一个j （. ）通过应用函数ha将e映射到R + d的d维向量，并通过计算aj （β）=A[1−tanh（ha（e）jβ））]。对于β的每个值和矩阵[he（e）]的每个r_o_ w，我们屏蔽位置l>a_j（β）中的所有条目：对于每个r_o_ w_j和每个列l，我们计算软掩码m_j，l（β）=σ（a_j（β）其中σ表示S形行为;然后，我们将舍入算子[mj，l（β）]应用于我们的软掩码。例如，假设我们在最多A= 8位中编码嵌入值e= 0。7且h（e）=e。 对于β= 0，我们使用所有位（a（0）=8）和z= 0。699;对于β= 0。5，a= 8（1 tanh（（0. 5）（0. 7）= 5. 3，并且我们仅使用z= 0的5位。6875由舍入操作[. ]不可微。 我们遵循[15]，并使用梯度通过的方法来取代[。]在反向传播的反向传递期间通过恒等式，同时在正向传递期间保持舍入操作。3.3熵估计在我们的实现中，编码和量化是确定性的，Z完全由X确定：H（Z X）= 0和I（Z，X）=H（Z）。为了估计表示Z的熵，我们使用自回归因子分解，写出离散分布P（z|β）作为P（z|β）=dZ.& lt;j表示1和j − 1之间的维数。P（zj|Z.& lt; j，β），其中维数j的阶是任意的我们对离散分布p（z，j ） 进 行 了 近 似|Z.& lt; j，β）按连续分布q（z，j|Z.& lt; j，β）使得q在区间[zj−1/2aj（β），zj+1/2aj（β）]上的概率质量等于p（zj|Z.& lt; j，β）。 我们可以证明H（z|β）上界为1/2aj（β）|（见附录）。 我们遵循[20]，j= 1，...，d，我们对q（. Z.& lt;j，β）作为K个logistic分布的混合，平均值为μ j，k（β），尺度为γj，k（β），混合概率为π j，k（β），这使得我们的上界可以用一个易于处理的公式表示（见附录）。由此产生的自适应信息瓶颈（3）是：ming，f，q，µ，γ，πE[−log p（x|g（z，s，β））+ βH（z|β）]、（4）其中g是从z、s和β重构数据x的解码器。期望值是对数据x和在[0，1]中均匀绘制的β值进行的。数据集模型AUFDC（↓）每步平均（ms）CPU /GPU总时间4分(106ms）：CPU/GPU（↓）8分16分DSprites-UnfaIRSoFaiRSoFaiR-NOSMSFaiR0.210.250.1479± 1。2/55 ± 0。278± 1。1/54 ± 0. 376± 3。2/55 ± 0。3十八岁5/13。0十八岁4/13。171岁。4/52。1十八岁5/13。0十八岁4/13。1一百四十二9/104。2十八岁5/13。0十八岁4/13。1285. 8/208。0成人-性别SoFaiRSoFaiR-NOSMSFaiR0.320.580.3591± 3。3/6 ±0。091± 4。3/6 ±0。092± 1。0/6 ±0。0二、三分。1二、三分。19 .第九条。四比零。6二、三分。1二、三分。1十八岁九比一1二、三分。1二、三分。137岁7/2。3成人-性别-种族SoFaiRSoFaiR-NOSMSFaiR0.300.530.3692± 4。3/6 ±0。092± 4。0/6 ±0。090± 4。0/6 ±0。0二、四比零。1二、四比零。19 .第九条。1/0。6二、四比零。1二、四比零。1十八岁3/1。1二、四比零。1二、四比零。1三十六。6/2。3+v：mala2277获取更多论文一个预印本-一个PRIL28，20227↓遗产SoFaiRSoFaiR-NOSMSFaiR0.620.730.56125± 3。0/8。6±1。6123± 2。5/10 ±0。3123± 3。1/10 ±0。83 .第三章。七比零。33 .第三章。七比零。314个。七比一23 .第三章。七比零。33 .第三章。七比零。3第二十九章。4/2。33 .第三章。七比零。33 .第三章。七比零。358. 7/4。8表1：单次（SoFaiR）与多次（MSFaiR）公平表示学习方法的不公平失真曲线下的面积和计算成本。越低越好。这表明SoFaiR提供了具有与MSFaiR类似的AUFDC的不公平失真曲线，但计算成本低得多。+v：mala2277获取更多论文一个预印本-一个PRIL28，20228×-||−−Z → S4实验我们设计我们的实验来回答以下研究问题：（RQ 1）SoFaiR在单次拍摄中产生的不公平失真曲线与多次拍摄模型产生的曲线相当吗？(RQ2)SoFaiR学习的表示是否为下游任务提供了公平性-准确性权衡，与无监督公平表示学习中最先进的多镜头技术相当？(RQ3)当我们沿着不公平-失真曲线向上移动时，在未被屏蔽的附加比特中存在什么信息？架构细节和超参数值在补充文件中。4.1数据集我们用三个基准数据集验证了我们的单次方法：DSPrite-Unfair，Adults和Heritage。DSprite Unfair是DSPrites数据的变体，包含各种形状（心形，方形，圆形）的64x64黑白图像我们修改的采样产生一个潜在的不公平的来源，并作为敏感属性的变量，编码的形状的方向。Adults数据集包含49，000个人的职业信息，教育程度，资本收益，工作时间，种族和婚姻状况。我们认为，作为敏感属性，性别在成人性别;和，性别和种族在成人性别种族。HealthHeritage数据集包含95K个人，其中65个特征与临床诊断和程序，实验室结果，药物处方和索赔支付有关，总计超过3年（2011-2013）。我们将性别和年龄的交叉变量定义为敏感属性。4.2不公平-失真曲线。为了绘制不公平-失真曲线，我们将失真估计为重建数据和观测数据之间的l2损失，如果p（XZ，S）X的分布是各向同性高斯分布，则其等于Ex，z，s[ logp（x z，s）]我们还用一个对抗下限来近似互信息I（Z，S）（见附录）：I（Z，S）≥ H（S）− min E s，z[−log c（s|z）]、（5）其中c是从Z预测S的审计分类器。与对抗性方法（例如[10]）不同，我们不使用这个界限来训练我们的编码器-解码器，而是仅用于SoFaiR生成的不公平失真权衡的事后评估。在实践中，我们训练了一组5个完全连接的神经网络c：，并使用它们的平均交叉熵来估计（5）的右侧。4.3不公平-失真曲线下的面积。为了定量地比较竞争方法的不公平失真曲线，我们引入了不公平失真曲线下的区域AUFDC。较低的AUFDC意味着模型对于给定的失真水平实现较低的I（Z，S）。 为了允许跨数据集进行比较，我们通过矩形的面积对AUFDC的值进行归一化[0，Dmax] [0，Imax]，其中Dmax是通过生成表示的随机排列而获得的失真，Imax是审计原始数据时的下限（5）4.4比较方法。方法. 我们将SoFaiR与五种公平表示方法进行了比较：（i）LATFR（例如 [6]）I（Z，S）的控制 通过使用下界（5）;（ii）MaxEnt-ARL[21]用对手预测的熵替换LATFR的对手所有方法都具有相同的自动编码器架构。大多数方法都是针对特定的下游任务定制的在我们的无监督设置中，我们通过用我们的失真度量E[−log p（x）]替换下游分类任务的交叉熵来重新使用它们|Z，s）]。帕累托前沿。 我们构建Pareto前沿，将表示的不公平性与下游任务分类器的准确性A y进行比较，该下游任务分类器从Z预测下游标签Y。关键的是，在我们的无监督设置中，我们不向编码器-解码器提供标签Y。为了匹配现有的基准测试，我们用从Z预测S的审计分类器的平均准确度As来衡量表示的不公平性。对于给定的As，Ay越高，公平表示方法越好。C+v：mala2277获取更多论文一个预印本-一个PRIL28，20229-|-|图4：a）成人-性别（左），b）成人-种族-性别（右）的帕累托前沿。下游任务标签为收入是否大于50K。5结果图5：Adults-Gender-Race数据集的不同公平系数β值的未屏蔽位。每一行都是Z的一个维度。每个彩色方块都是一个未屏蔽的位。黑色方块表示屏蔽位。较暗的位表现出较高的位人口统计学差异（b）。随着β减小，SoFaiR针对Z的每个维度揭露更多位。并且，具有较高视差的比特更可能是最后未掩蔽的。5.1RQ 1：单次拍摄的公平失真曲线。图3显示了SoFaiR通过在测试时增加β值，用户可以平滑地向下移动不公平-失真曲线：接近零的β值导致低失真-高I（Z，S）点;接近1的β值导致较高失真-低I（Z，S）点。图3展示了一个解决自适应瓶颈的（4）允许单个模型捕获不公平-失真曲线上的不同点。该结果与定理2.1一致，并且示出了通过其熵H（Z）控制Z的比特率足以控制I（Z，S）。消融研究。表1中的AUFDC分数显示SoFaiR与其多镜头对应物具有竞争力：SoFaiR在成人性别和成人性别种族方面优于MSFaiR（AUFDC较低），但在传统和DSprites-Unfair方面略优于MSFaiR（AUFDC较高）。另一方面，SoFaiR明显优于SoFaiR-NOS，这是一种类似于SoFaiR的模型，但解码器不使用敏感属性S作为侧信道。定理2.1中的不公平性-失真曲线和速率-失真曲线之间的关系仅在我们使用E[log（p（x z，s）]作为失真的度量时才是易处理的，并且在我们使用E[ log（p（x z）]并且解码器不接收S作为边信道时不成立。计算成本。表1比较了SoFaiR和MSFaiR的计算成本。我们将10个分析周期内训练步骤的cpu和gpu时间以及训练时期的数量进行平均。我们在AMD Ryzen Threadripper 2950X 16核处理器CPU和NVIDIA GV102 GPU上进行了实验。SoFaiR和MSFaiR的训练步骤的平均然而，SoFaiR的计算成本随着不公平失真曲线上的点的数量增加而保持不变，而MSFaiR的成本则线性增加。例如，DSprites-Unfair的16个点使用MSFaiR需要大约137小时的运行时间，而使用SoFaiR只需8小时。+v：mala2277获取更多论文一个预印本-一个PRIL28，202210−−- -5.2RQ2：帕累托前沿在图4中，对于审计员的准确度As的给定值，下游分类器的准确度Ay越大首先，SoFaiR和MSFaiR的帕累托前沿与LATFR，CV IB，Maxent生成的帕累托前沿一样好或更好ARL和βV AE。 对该观察结果的补充包括As低值的成人-性别-种族，其中LATFR优于SoFaiR/MSFaiR。 率失真方法是有竞争力的，这证实了率失真和不公平失真之间的紧密联系，如定理2.1所示。SoFaiR和MSFaiR都提供了比LATFR或Maxent ARL更一致的性能，LATFR或Maxent ARL的表示不断泄漏与Sfor Adults-Gender相关的信息，而不管对手受到的约束如何。而β V AE在成年人性别中表现出非单调性。其次，图4显示SoFaiR的帕累托前沿与MSFaiR（它的多镜头对应物）提供的帕累托前沿相似。该结果与表1中的AUFDC评分一致。遗产和DSPrites-Unfair的帕累托前沿在补充文件中。图6：通过细化Adults-Gender（左）和Adults-Gender-Race（右）数据集的表示提供的附加信息。这显示了数据特征与SoFaiR在放松公平性约束时所揭示的附加位之间的相关性。计算数据特征与新未屏蔽位的第一主成分之间的相关性。每列对应于水平轴上标记的β5.3RQ3：可解释性位差异。我们将每个比特b的视差度量为：|P（b= 1|S=s）−P（b = 1|Ss）|.位差异是分类器的人口统计差异，如果b= 1，则返回1，否则返回0此外，我们在补充文件中示出了maxbb b（b）是I（Z，S）的下界：b b（b）的大值意味着比特流中比特b的存在将显著降低Z的公平性。在图5中，在测试时SoFaiR通过增加其分辨率来优雅地降低表示的公平性。图5还示出了对于成人-性别-种族，具有更高差异性的比特不太可能在严格的公平性约束下被揭露因此，通过迫使SoFaiR在不公平失真曲线上生成许多点，我们获得了一种信息排序，将与S最相关的比特推到比特流的尾部。我们观察到一个类似的模式与成人性别（补充文件）。公平和信息丢失。与公平表示学习中的其他方法不同，SoFaiR提供了一个简单的工具，可以在测试时解释随着公平性约束的收紧而丢失的信息在图6中，我们绘制了成年人-性别和成年人-性别-种族随着β降低而暴露的额外位与数据特征的相关性。当我们在成人性别的不公平扭曲曲线上移动时，额外的信息首先与婚姻状况有关;然后，职业类型，关系状况和每周小时数。这意味着，对于预测婚姻状况的下游任务，不公平-失真曲线右下方的表示（高失真，低I（Z，S））足以实现良好的准确性。但是，需要每周小时数的下游任务将发现更难以获得良好的准确性，而不会向上移动不公平-失真曲线，即泄漏与敏感属性S相关的额外信息。+v：mala2277获取更多论文一个预印本-一个PRIL28，202211--|CITDCITD6结论在本文中，我们提出了SoFaiR，这是一种单次公平表示学习方法，允许使用一个训练模型在测试时探索数据表示的公平性信息权衡。我们的实现依赖于率失真和不公平失真曲线之间的紧密联系。SoFaiR是朝着无监督公平表示学习方法的实际实现迈出的一步，因为用户现在可以解释随着表示的公平性的提高而丢失了哪些信息。确认该项目得到了乔治梅森大学研究计算办公室（URL：https://orc.gmu.edu）提供的资源的支持，部分资金来自美国国家科学基金会（奖励编号1625039和2018631）。A附录A.1定理2.1首先，我们展示以下身份：引理A.1. I（Z，S）=I（Z，X）+H（X|Z，S）−H（X|S）。证据引理A.1的证明依赖于互信息链规则的多次迭代：（一）I（Z，S）= I（Z，{X，S}）−I（Z，X|S）（b）第（1）款= I（Z，X）+I（Z，S|X）−I（Z，X）|S）（c）第（1）款= I（Z，X）−I（Z，X|S）（d）其他事项=I（Z，X）−I（X，{Z，S}）+I（X，S）（五）= I（Z，X）+H（X|Z，S）− H（X|S）其中（a），（b）和（d）使用互信息的链式规则;以及（c）使用Z仅从X和S编码的事实，因此H（Z|X，S）=H（Z|X）和I（Z，S|X）=H（Z|X）−H（Z|X，S）= 0。 并且（e）使用I（X，S）=H（X）-H（X|S）和I（X，{Z，S}）=H（X）−H（X|Z，S）。引理A.1意味着如果失真为d（X，{Z，S}）= H（X|Z，S），不公平失真函数由下式给出：I（D）= minI（Z，X）+H（X|Z，S）−H（X|S）S.T. H（X，{Z，S}）≤D（六）其次，率失真中的基本定理[23]表明，如果失真为d（X，Z，S）=H（X，Z，S），则率失真函数由下式给出：R（D）= minI（X，Z）s.t H（X|Z，S）≤ D，（7）并且R（D）是非增凸函数。下一个引理显示了如何解决最小化问题(7) 解决最小化问题（6），只要R（D）≤−1引理A.2. 设D ≥ 0为失真值。 假设R（D）≤ −1。D的极小化（7）的一个解f也是（6）的解。FF+v：mala2277获取更多论文一个预印本-一个PRIL28，202212|证据 在最佳情况下，（7）中的约束是有约束力的，因此，H f（X Z，S）= D，其中下标f提醒代码Z取决于f。现在考虑失真D的最小化（6）的解g。我们考虑两种情况：情况（I）约束对g_（6）有约束力;情况（II）约束对g_（6）没有约束力。+v：mala2277获取更多论文一个预印本-一个PRIL28，202213|≤|≤CITDCITDCITDCITDCITD≥|'CITD'D）=D例（I）：H g（X|Z，S）= D，我们有I（D）= I g<$（Z，X）+H g<$（X|Z，S）−H（X|S）= I g（Z，X）+D− H（X|S）（一）≥I f<$（Z，X）+D − H（X|S），（八）其中（a）利用f ∈H是（7）的解和H g∈（X Z，S）D的事实。因此，由于H f<$（X Z，S）D，f <$也是（6）的解。情况（II）：令D'表示由g*实现的失真的值。 则D'= H g<$（X|Z，S） D。设g是D的最小化（6）的解。注意，D的（6）的解遵守D的最小化（6）的约束，因此，I（D）I（D）。设D'表示Hg∈（XZ，S）.然后，通过率失真目标值（7）的定义，我们有I（D）= I g（Z，X）+D'− H（X|S）（十一）≥R（D）+D− H（X|S）。如果D′ I（D）≥ I（D）。此外，由不等式（11），≥I（D'），则I（D'）>I（D）≥I（D'），这是一个矛盾。如果D'=D，我们已经知道I（D）≤ I（D）= R（D）+D− H（X|S）= I（D'）≤ I（D），因此I（D）= I（D）。我们来看看D'> D的例子.考虑D通过R（D）的凸性，我们有R（D）−R（D'）≤R（D）（D−（a）-D，+v：mala2277获取更多论文一个预印本-一个PRIL28，202214CITD-|≥≥-≥−|其中（a）是fact，使得R（D）=1.一、其结果是，通过不等式（11）I（D）R（D）+DH（XS）。此外，我们已经知道R（D）+DH（X S）=I（D）。 因此，I（D）一（D）证明了引理A.2中的等式。引理A.4. 设D=H（X|S）。我们有I（D）= 0。+v：mala2277获取更多论文一个预印本-一个PRIL28，202215|ΣD拉瓜−|j，kj，k1−11−证据 考虑一个编码器g，它产生一个与X无关的随机变量Z。 则H g（X|Z，S）=D且Ig（Z，X）= 0。因此，g满足最小化（6）的约束条件，且I（D）≤Ig（Z，X）+Hg（X|Z，S）−H（X|S）= 0。因此，I（D）=0。通过结合引理A.2和A.4，我们可以证明I（D）= 0，其中D≥D≠ 0。A.2关于I（Z，S）的下界在构造不公平-失真曲线时，我们用一个对抗下界来近似互信息I（Z，S）对于任何近似q（s|Z）的p（s|Z），我们有I（Z，S）= H（S）−H（S|Z）的= H（S）−E s，z [− log q（s|z）] + KL（p（s|z）的||p（s|z）的≥H（S）− E s，z[−log q（s|z）]，（十二）其中不等式来自Kullback-Leibler散度KL（p q）的非负性。因此，我们下界I（Z，S），H（S）− min E s，z[−log q（s|z）]，（13）其中，最小值被从Z预测S的分类器采用。B其他实施细节B.1熵估计我们遵循率失真[15，16]中的标准方法并近似离散分布p（z， j|Z.& lt; j，β）按连续分布q（z，j|Z.& lt; j，β）使得q在区间v al [zj−1/2aj（β），zj+1/2aj（β）]上的概率质量等于p（zj|Z.& lt; j，β）。因此，我们认为，DH（z|β）=−E[logp（zj|Z.& lt; j，β）]j=1Σ∫2aj（β）α=− j=1 埃罗尔·奥格2j（β）12aj（β）q（zj+u|Z.& lt; j，β）du（十四）+吉隆坡||12aj（β）q（zj+u|Z.& lt; j，β）du(a)Σ∫2aj（β）α≤ − j=1 埃洛格河12aj（β）q（zj+u|Z.& lt; j，β）du其中（a）使用真实分布p（z）之间的Kullback-Leibler散度KL的非负性|（B）及其近似q（z|β）的一次卷积为在er [−1/2aj（β），1/2aj（β）]上的一致分布。我们遵循[20]，对于每个j= 1，...，d我们对q（. Z.& lt;j，β）作为具有均值μ j，k（β）、尺度γ j，k（β）和混合概率π j，k（β）的K个逻辑分布的混合，这允许精确计算（14）中的积分项。具体来说，我们计算和µj，k=µ0（β）+wµQD+v：mala2277获取更多论文一个预印本-一个PRIL28，202216j，kj，k−（β）Γj<$zj，（15）log（γj，k）=γ0 （β）+wγ（β）Γj<$zj，（16）其中µ0（的。），γ0（）是从[0，1]到R的函数;wμ（）和wγ（）是从[0，1]到Rd的函数;并且，j，kj，kjk j，k（1，1，..，10... 0）是d维向量，对于j之前的条目等于1，否则等于0rj保证，'分布q（. |z.& lt; j）仅以z为条件。lt; j且不存在于a n y zj'上，其中j≥j。+v：mala2277获取更多论文一个预印本-一个PRIL28，202217D取向−−k=1Jj、k+（β）2aj（β）逻辑分布的使用允许将（14）中的上限计算为H q（z|其中H q（z|β）由下式给出：好吧KE日志j=1.z+ µ（β）γj，k1Σ-σ。zj+µj，k（β）−1 没关系C实验方案C.1DSprites-Unfairγj，k（β）2aj（β）我们调整DSprites2来解决我们的公平问题。 DSPrites（[24]）包含64×64的各种形状（心形，方形，圆形）的黑白图像，这些图像由六个独立的变化因素构成：颜色（黑色或白色）;形状（方形，心形，椭圆形），尺度（6个值），方向（[0，2π]中的40个角度）; x和y位置（每个32个值）。 该数据集产生700K个独特的变异因子组合。 我们修改抽样 这是一个潜在的不公平的根源。敏感属性编码定向角属于圆的哪个象限：[0，π/2]、[π/2，π]、[π，3/2π]和[3/2π，2π]。除形状外的所有变化因素都统一绘制。 在对形状进行采样时，我们为每个可能的属性组合分配一个权重，该权重与1+10米。 i）103+。 ishape<$3<$，其中i∈{0，1，2}且i={0，1，.， 39}。这种重量方案403形状取向生成形状和敏感属性（方向）之间的相关性C.2成人/遗产成年人数据集3包含49K个人的专业职业，教育程度，资本收益，工作时间，种族和婚姻状况的信息。我们考虑了Adults数据集的两个变体：Adults-Gender和Adults-Gender-Race。在成人性别中，我们将每个人自我认同的性别定义为敏感属性。在《成人-性别-种族》一书中，我们将个体自我认同的性别和种族的交