属性相关性的度量与隐私效用权衡

4701利用属性相关性张丽坤<$，陈亚宏<$，李昂<$，王炳辉fj，陈怡然<$，李风华<$，曹进，牛本<$*†中国科学院信息工程研究所，北京，中国中国科学院大学网络安全学院§美国杜伦杜克大学电气与计算机工程系fj美国芝加哥伊利诺斯理工学院计算机科学系西安电子科技大学网络工程学院{张丽坤，陈亚红，牛本}@ iie.ac.cn摘要对抗性学习通常用于提取潜在的数据表示，这些数据表示具有预测目标属性的表达性然而，它们是否能达到预期的隐私-效用权衡具有很大的不确定性.在本文中，我们认为是训练集中不同属性之间的复杂交互导致了不同的权衡结果。我们首先制定了对抗学习中的效用，隐私及其权衡的度量在此基础上，提出了统计可靠性（SR）和特征可靠性（FR）的度量方法来量化属性之间的关系具体地说，SR反映了两个属性之间的联合分布的共现抽样偏差。在外显依赖之外，FR通过探索表征解纠缠来利用一个属性对另一个属性施加的内在相互作用。我们验证CelebA和LFW数据集上的指标与一套目标隐私属性对。实验结果表明，度量和效用，隐私和他们的权衡之间有很强的相关性。我们进一步总结了如何使用SR和FR作为指导的隐私效用权衡参数的设置1. 介绍深度学习系统已被广泛部署在许多高风险应用中，例如人脸识别和商业分析，这些应用严重依赖从用户收集的训练数据来实现令人满意的性能。为了减轻用户*通讯作者。解决方案是提取原始数据的特征表示，这应该满足两个目标：1）在隐私属性上不可区分; 2）具有预测目标属性的表达能力。例如，在性别分类系统中，图像表示应该为模型提供信息以识别人是否戴眼镜，而诸如种族或性别的敏感属性应该被隐藏。这两个目标是同时实现通过adversar-ial学习，通过增加一个隐私正则化项的目标损失目标时，训练的特征提取器。不幸的是，代表的质量往往是观察遭受很大的不确定性。在实现对抗性学习时，隐私和效用目标被简单加权，用户很难找到最优的权衡参数。即使具有相同的折衷参数，折衷性能也随着不同的目标-隐私属性对而变化。具体地，目标属性的分类准确性有时遭受显著下降并且隐私属性仍然被泄露，而有时隐私目标容易实现而没有太多效用损失。在本文中，我们提出了一个假设来解释这种现象：不同的隐私-效用折衷来自于目标和隐私属性之间的复杂相关性。从理论上讲，不同目标的梯度可能会相互干扰，并且多个总和损失可能会使优化前景更加困难。当任务目标之间的干扰不太大时，目标任务的效用不受影响或只受影响很小，而隐私任务的分类精度接近于随机猜测，这是一个理想的为了量化这种关系，现有的工作依赖于一个任务的梯度对另一个任务的多任务学习损失的影响4702揭示了任务中不同权衡的根本原因。与结果导向的关系不同，我们解释了决定权衡变量的主导因素，独立于学习结果。详细地，我们提出两个相关性度量：第一个是统计可靠性（SR），它反映了训练集的共现抽样偏差。具体地，它指的是这样的情况，其中总是发现一个属性值与另一个属性值共现，因此由一个属性区分的人口统计组与由另一个属性区分这对于涉及与种族、性别、宗教等相关的敏感属性的数据集尤其成问题因为它可能被错误地用于支持 鲁 莽 甚 至 歧 视 性 预 测 。 第 二 种 是 特 征 可 靠 性（FR），它探讨了两个属性之间的内在因果关系为了解释这种相关性，我们提取一个数据样本到一个解纠缠的特征表示，其中每个维度的特征表示是一个独立的变量。各种属性可以用不同的注意力权重进行编码。FR度量任意两个属性之间权重的分布相似性，它反映了混淆一个属性对另一个属性识别的影响。我们的贡献可归纳如下：• 我们提出了SR和FR度量来度量两个属性之间的显式统计可靠性和内在特征可靠性，它们解释了在将对抗学习应用于目标分类任务的隐私保护数据表示时• 我们在对抗学习框架中使用大量目标-隐私属性对进行综合实验，以验证SR和FR对隐私-效用权衡的影响研究结果表明，它们之间存在很强的相关性，并进一步总结出一套一般规则，以指导最优隐私-效用权衡参数的选择• 由于SR支持对训练集进行全面的统计抽样偏差分析，它可以检测AI系统中存在的潜在不公平。FR利用属性之间的内在的、无纠缠的关系，可以作为任务相似度来生成任务分类，从而重用冗余任务之间的监督，或者在一个系统中解决多个任务，而不增加复杂性。本文的其余部分组织如下。节中2、回顾相关工作。秒第三章阐述了隐私-效用权衡的问题和度量方法。节中4、详细介绍了SR、FR及其应用价值。实验评价结果见第2节。5.限制和未来的工作进行了讨论。6.最后，我们总结了这篇论文在Sec。7.第一次会议。2. 相关作品2.1. 对抗性学习Song等人[18]证明了由深度模型过度学习的潜在数据表示揭示了不属于训练目标的敏感属性。为了生成保护隐私的数据表示，典型的方法是基于对抗学习[8，20，21]。Edwards和Storkey [2]将其表述为隐私保护者和目标模型之间的最小-最大博弈，目标模型试图以相反的目标相互对抗。类似的方法已经扩展到各种场景，例如census和健康记录[22]，文本[3，11]，图像[4，6，17]和可穿戴设备的传感器数据[7]。对抗性学习的隐私目标也可以表述为最小化表示和敏感属性之间的互信息[16]。 Li等人[9]提出了一种任务无关的对抗学习框架，通过最大化表示和原始数据之间的互信息，同时最小化表示和隐私属性之间的互信息。2.2. 任务关联对于不同的属性分类任务，一个直接的方法来衡量它们的相关性是通过属性之间的联合分布的统计特征。 Melis等人[15]计算了主要属性和隐私属性标签之间的皮尔逊相关系数，但皮尔逊相关适用于数值变量。 Zhang等人[24]对分类-分类变量采用Cramer'sV[1]，但Cramer'sV相关系数的大小没有统一的标准，需要通过假设检验来估计，因此不能直接用于比较不同属性对的相关性。除了属性分类任务之外，在迁移学习的背景下，Zamir等人 [23]基于一个任务的表示是否可以充分转移到另一个任务的训练中来计算任务亲和度矩阵。Fifty等人 [5]通过一起训练所有任务并量化一个任务的梯度对另一个任务的损失的影响，在单次运行中提高了任务亲和力的计算效率由于转移关系对多任务关系的预测性不高，Standley等人。 [19]经验性地研究了当两个任务作为一对训练时与当它们作为一对训练时相比，单独训练4703{−}∈联系我们LJ· ·Hu∈p·然而，上述关系是以结果为导向的，基于实际学习绩效计算的。此外，他们未能解释为什么联合学习的结果不同的任务组合的根本原因。与已有工作不同的是，本文重点研究了多属性数据上的对抗性学习问题，探索了独立于学习过程的不同属性分类任务之间的内在相关性。3. 预赛3.1. 问题陈述给定输入x， 其目标属性值为y0，1，... m 1，隐私属性值为p0，1，... n1.最终目标是学习由θ参数化的特征提取器E θ，以将x编码为表示z=E θ（x），其满足两个目标：• 隐私：在隐私属性p中不可区分;• 实用程序：表达预测目标属性y。例如，在面具检测模型中，人们的面部图像的潜在表示用于识别他们是否戴面具，但它不应该透露任何关于他们性别隐私的确定性信息。它最终在隐私和效用之间进行权衡，这由参数λ控制以调整这两个目标的重要性权重因此，我们定义的隐私，实用性和他们的权衡在SEC的测量。三点三3.2. 对抗性学习（Adversarial在本小节中，我们正式描述了一个典型的隐私保护对抗学习框架。为了实现隐私目标，有一个由λ参数化的对手模型Aλ，其目的是从Aλ（z）完美地预测p。 因此，它最小化以下损失函数：LA=J（A∈（Eθ（x）），p），（1）其中，（，）表示交叉熵损失函数。相比之下，防御者的目标是使A失败，即，最大化A.然而，这将把生成的特征表示推向隐私属性的相对侧，例如，p=1翻转为p=0。因此，我们通过增加A（z）的熵来使A的预测成为随机猜测。因此，辩护人的隐私权丧失可以表述为：LD=−LA−αH（A（Eθ（x），（2）其中计算熵，α>0控制熵项。同时，为了实现效用目标，防御者需要使目标分类器C通过精确地从z推断y来参数化。效用损失可以表示为：LD= J（Cθ（Eθ（x）），y）.（三）结合效用和隐私目标，防御者的总目标可以表述为：p u然而，陈述的质量受到很大的不确定性。这意味着目标属性的分类性能有时会显著下降，但隐私属性仍然泄露，而有时效用和隐私目标都可以实现。这可能是因为不同的任务以不同的速度学习。或者是因为一项任务可能主导了学习，导致另一项任务的表现不佳。此外，不同目标的梯度可能会干扰，并且多个求和损失可能会使优化前景更加困难。另一方面，当任务目标彼此不太干扰时，这可能导致目标任务的效用保持不变或仅遭受轻微下降而隐私任务的分类准确性接近于随机猜测的理想折衷直觉上，不同的权衡结果在很大程度上取决于分类属性之间的关系，如头发颜色和皮肤颜色，购物偏好和性别。假设。因此，我们提出我们的假设，这是不同的分类属性之间的潜在相关性，发挥主导作用的效用两个属性的相似性越大，就越难在保留目标属性的同时去除隐私属性。节中4、深入研究这些关系。LD=λLD+（1−λ）LD，（4）其中λ[0，1]是折衷参数。较大的λ表示更强的隐私保证，而较小的λ允许在提取的特征中保留更多的效用在优化过程中，交替更新Aθ和Eθ，Cθ，使LA和LD分别最小.3.3. 隐私和实用性我们详细描述了如何公平地衡量对抗学习中的隐私和效用。具体来说，我们将整个数据集D随机分为训练集D0和测试集D1。 给定隐私属性p，我们使用D0来训练隐私保护特征提取器E，该特征提取器E利用第2节中描述的对抗学习框架。3.2. 然后从D0中随机选取50%的样本作为增强数据集Daug，使用特征表示Ex ∈Daug（x）为每个目标属性和隐私属性训练一个验证分类器（VC）。 我们在D1上评估每个验证分类器，并将其准确性性能表示为fa（）。为了公平地评估效用增益和隐私损失，我们还使用D0来正常地训练基线分类模型（BC），对于每个属性没有任何隐私保护目标作为最佳分类性能。精度∈4704··--∈联系我们p−对于每个属性的正态分类模型的性能也用D1来测试，表示为fn（）。另外，随机猜测时每个属性的准确度记为fr（）.所以无论是接近随机猜测还是偏差-在评估隐私性和实用性时，应考虑与正常训练性能的关系。因此，我们如下测量属性p的隐私泄漏水平其中C ij是标记为a =i，b=j的数据样本的数量，N是指数据样本的总大小。当C00+ C11= C10+ C01，SR（a，b）= 0时，a与b之间无统计相关性.然后，我们将度量扩展到具有多个标签的属性 如果属性a具有n> 2个标签，则它可以扩展为n个二进制属性a0，a1，.， a n−1。 如果样本具有属性i，则定义a i=1，否则a i=0。一般来说，具有n个标签的属性a和b之间的SRM=fa（p）−fr（p）（五）m个标签可以测量如下：fn（p）−f r（p）其中f（i）是指相应的精度性能SR（a，b）= maxi =0，1，…n− 1{SR（ai，bj）}.（九）∗响应属性i的分类器。MP越低，越接近随机猜测，隐私保证越好。类似地，y上的效用性能被测量为：j=0，1，…m−1显然，SR（a，b）[0，1]。SR越大，统计可靠性越显著。M=fa（y）−fr（y）（六）fn（y）− fr（y）隐私Mu越大，效用下降越少。因此，隐私-效用权衡计算如下：年轻男性眼镜0.8MpT=δ+Mu（七）金发女郎0.6其中δ=0。0001，如果出现零分错误。T越低，权衡结果越好，即，移除隐私属性对目标属性具有较小的负面影响。4. 方法我们分析了不同对抗性学习任务对隐私-效用权衡的不同影响的可能原因。只有找出隐私的决定性影响因素，才能设计出有效的度量指标来反映隐私与目标属性之间的关系。4.1. 统计可靠性直觉上，一个直接原因是统计依赖性-WavyHair吸引人的浓妆微笑目标隐私(a) CelebA的FR相关性0.40.20.9训练集的隐私属性和目标属性之间的不平衡和不充分的抽样。对于两个不同的属性a和b，我们将它们的分类器表示为使用联合训练数据集的M1和M2如果a和b在训练数据集中统计相关，则属性a的某个标签将总是与b的某个值共同出现，例如结果表明，M1和M2分离超平面的一致性与统计可靠性白人年轻男性重妆微笑0.80.70.60.50.40.3在y和p之间。我们首先定义了两个二元属性之间的统计可靠性，0、1和b0，1，其中a=1表示样本具有属性a，否则样本不具有属性a。统计可靠性（SR）之间的at-A和B的定义如下：目标(b) LFW的FR相关性0.2SR（a，b）=14（C00+C11）（C10+C01），（8）N2图1.FR相关值矩阵（横轴/纵轴表示目标/隐私属性）微笑微笑重妆重妆吸引力WavyHair金发女郎男性眼镜年轻男性白色年轻u47052→→⊂◦×⊂⊂∥ −∥||{}4.2. 功能可靠性统计可靠性属性b可以定义如下：Wa·Wb可以通过重新采样或重新加权列车来缓解FR（a，b）=∥Wa∥2（十）然而，在潜在特征层次上，不同属性之间也存在固有的特征可靠性。为了解释这种可靠性，假设特征表示的每个维度都因此，分类器被优化以编码具有较大权重的发挥因果效应的那些变量，以进行最终预测。一些属性可以由公共变量编码，这意味着它们具有共同的原因。例如，头发颜色仍然可以从肤色推断出来，因为它们共同分享一些内源性特征。因此，很容易理解为什么删除一个属性的信息可能会对另一个属性的识别产生负面影响，如果它们是密切相关的。相反，如果两个属性具有较低的内在相关性，但显着的统计偏差，删除一个属性对另一个几乎没有影响。为了估计属性之间的这种内在相关性，我们借用了分离特征表示的概念[25]其中每个维度都是独立的。符号。RmX表示原始数据空间，RmY表示输出空间，RmZ表示特征表示空间。mX，mY，mZ分别对应于空间X，Y，Zf：X Z表示表示函数，g：Z Y是W参数化的预测函数。 我们有N个原始数据样本XRN×mX，标签为Y RN×mY。f学习到的表示形式为Z RN ×mZ。表示空间中的第i个变量被赋予为Z：，i.首先，我们使用StableNet [25]的方法训练自动编码器fh，使得所有输入样本X可以用解纠缠特征表示Z = f（X）编码，其中任何一对变量Z：，i和Z：，j彼此独立。输入样本可以通过解码器通过最小化Xh（Z）2来重构，从而确保Z嵌入X的关键信息。然后，每个分类属性Yk可以从由W k参数化的分类器Yk=g k（Z）推断。 RmZ中 的 变 量可以被看作是信息原子级特征的集合。W k表示目标任务Y k在为输出做出决定时应该对这些变量给予多少关注。对于具有m和n个可能值的每个属性对a和b，当它们的分类器ga和gb具有相同的结构，其输入长度为mz，输出长度为mY=maxm，n时，W a和W b的形状可以相同.如果我们使用一个全连接层作为分类器，W a和W b的形状是相同的m zm Y。因此，我们可以很容易地计算特征可靠性（FR）根据W之间的任何两个属性的分布相似性。给定一个目标属性a，依赖程度a依赖于另一值得注意的是，FR描述了属性a的识别如何依赖于属性b，因此FR值不一定是对称的，即，FR（a，b）FR（b，a）.4.3. 使用SR和FR我们设想拟议的SR和FR指标用于以下目的：• 提出的相关性度量可用于指导对抗学习中隐私-效用权衡参数的选择，以达到预期的权衡。具体地说，最优参数不同的SR和FR不同的属性对。详细的选择规则将在第二节中介绍。五、• 由于所提出的SR支持对训练集进行全面的在实践中 ， 已 经 证 明 ， 许 多 公 共 数 据 集 （ 如 COCO[13]）显示出显著的抽样偏差，即购物或烹饪场景中的大多数图像与女性有关，而体育场景中的教练图像大多为男性，这反映了不受欢迎的社会偏见。这对于涉及与种族、性别、宗教、年龄、地位、身体特征等相关的敏感属性的数据集尤其成问题，因为在模型训练期间，统计趋势可能被错误地用于支持鲁莽的和有区别的决定。• 了解任务关系的模型需要更少的监督，使用更少的计算并以更可预测的方式表现[5，19]。由于所提出的FR开发了任务之间的本质关系，因此它可以用作任务相似性，其在具有高度相关性的任务之间创建这意味着在多任务学习中，高度相关的任务在组合时会相互加强因此，它可以帮助生成任务分类，以重用冗余任务之间的监督或解决多个任务在一个系统中，而不会堆积的复杂性。5. 实证评价在本节中，我们将实现第二节中所述的对抗式学习框 架 。 3.2 在 PyTorch v1.4.0 上 使 用 Nvidia Tesla T4GPU，遵循Li等人提出的评估方法。我们的目标是通过全面的实验分析来回答以下问题：4706lfw-微笑-白色lfw-微笑-年轻 lfw-微笑-男性lfw-HeavyMakeup-白色lfw-HeavyMakeup-Male lfw-Male-Whitelfw-男性-年轻 lfw-年轻-白色CelebA-Smiling-MaleCelebA-Smiling-YoungCelebA-HeavyMakeup-男性CelebA-HeavyMakeup-年轻CelebA-Attractive-MaleCelebA-Attractive-YoungCelebA-WavyHair-MaleCelebA-WavyHair-YoungCelebA-BlondHair-男性CelebA-BlondHair-年轻明星眼镜-男明星眼镜-年轻0.2 0.4 0.60.8FR0.350.300.250.200.150.100.050.2 0.4 0.60.8FR（a）λ= 0。30.40.30.20.10.2 0.4 0.6 0.8FR0.950.900.850.800.2 0.4 0.60.8FR0.30.20.10.00.2 0.4 0.60.8FR（b）λ= 0。50.40.30.20.10.00.2 0.4 0.6 0.8FR0.950.30.40.900.850.800.20.10.30.20.10.2 0.4 0.60.8FR0.2 0.4 0.60.8FR(c) λ= 0。70.2 0.4 0.6 0.8FR图2.FR相关性对LFW和CelebA数据集的效用和隐私的影响首先，当删除统计可靠性，FR如何影响隐私效用权衡结果？第二，当使用具有不同统计可靠性程度的数据集训练模型时，SR如何影响隐私-效用权衡结果？SR的影响是否会受制于FR？第三，我们如何使用SR和FR指标来指导5.1. 实验装置数据集。我们采用两个多属性数据集：• CelebA数据集1包含超过200k的面部图像，标记有40个不同的属性。我们选择设定λ以满足预期效用和隐私要求-什么？1http://mmlab.ie.cuhk.edu.hk/projects/CelebA.htmllfw-HeavyMakeup-年轻lfw-Young-Male0.950.900.850.80实用实用实用隐私隐私隐私隐私-效用折衷隐私-效用折衷隐私-效用折衷47071.00.80.60.4微笑-男性微笑-年轻重化妆-男性Heavymakeup-young吸引力-男性吸引力-年轻1.00.80.60.40.2WavyHair-男性WavyHair-年轻金发-男性1.00.80.60.40.2金发-年轻眼镜-男眼镜-年轻0.00.20.40.60.81.0Sr0.00.00.20.40.60.81.0Sr(a) λ= 0。30.00.00.20.40.60.81.0Sr1.00.80.60.40.20.00.00.20.40.60.81.0Sr0.80.60.40.20.00.00.20.40.60.81.0Sr(b) λ= 0。51.00.80.60.40.20.01.00.00.20.40.60.81.0Sr1.00.80.60.60.40.80.60.40.20.00.00.20.40.60.81.0Sr0.20.00.00.20.40.60.81.0Sr(c) λ= 0。70.40.20.00.00.20.40.60.81.0Sr图3.SR相关性对CelebA数据集的效用和隐私的影响• LFW数据集2包含13，244张人脸图像，具有73个属性。我们以实作详细数据。为了公平起见，我们通过设置（C00：C10：C01：C11）=（1：1：1：1）来消除测试集的统计偏差。更多详情，请参阅2http：//vis-www.cs.umass.edu/lfw/，属性注释在[14]到附录。5.2. FR的确认结果为了回答第一个问题，我们首先通过将训练集重新采样为（C00：C 10：C01：C11）=（1：1：1：1）独立研究FR相关性的影响。所选属性的所有置换对之间的估计FR相关性在图1中被示出为二维矩阵。1. y对p的影响可能不是实用实用实用隐私隐私隐私隐私-效用折衷隐私-效用折衷隐私-效用折衷4708−≤≥≤≤≥必须与p在y上的相同，因此矩阵不是沿对角线对称的。值得注意的是，属性相似度在一定程度上与语义相似 度 在 人 的 感 知 方 面 是 一 致 的 。 例 如 ，“HeavyMakeup-Male”在我们常识中所有选择的属性对中具有最高的语义相关性，因为化妆的行为更可能与女性相关联，并且估计的FR相关性也高达0。7在LFW 数 据 集 和 0 。 67 在 Celeba 然 而 ， 也 有 例 外 。“Smiling-HeavyMakeup”看似没有明显关联，但其FR值超过0. 6，这反映了人类和神经网络的感知差异。FR对效用、隐私及其权衡的影响如图所示。2.每幅图中的蓝色虚线是总体趋势线。在每个子图中，水平坐标轴是图1中计算的FR相关性。1.“效用、隐私和隐私-效用交易”的垂直坐标轴具体地，对于具有λ = 0的高度相关对“HeavyMakeup- Male”。5、目标分类准确率比基线低约10%，而其隐私泄漏年龄Mp比具有较低FR相关性的属性对（例如“Smiling-Male”）高得多当λ=0时。7，对于FR小于0的属性对。4、目标属性的分类准确率大幅下降，而隐私保护效果没有显著提高。平均而言，FR和Mu之间的Pearson相关系数约为0。63，0。58之间的FR和M p，0。FR和T之间为68。5.3. SR的确认结果为了回答第二个问题，我们将SR设置为0，0。25，0。51，0。64，1通过对训练数据进行加权重采样，其中（C00：C10：C01：C11）=（1：1：1：1）、（1：（1：6：6：1）（1：9：9：1）（0：1：1：0）分别图3显示了SR相关性对效用增益Mu、隐私损失Mp及其折衷T的影响。当SR 0. 3、在所有λ下，效用和隐私-效用权衡没有显著变化，但λ与隐私保护效果呈正当SR大于0时。4，它似乎是在效用增益和隐私保护的有效性急剧下降。当SR进一步增加大于0时。当λ = 0时，隐私泄露开始减少。7 .第一次会议。值得注意的是，“吸引力-男性”、“浓妆-男性”等部分FR相关度高的属性对变化趋势与SR= 0相比，较大的SR对效用性能和隐私泄露没有显著的负面影响。 一个可能的解释是，这些在-贡献对自然地与高SR值共同建立，因此，不同的折衷结果不是由偏置采样引起的，而是由它们的固有特征可靠性引起的。λ的设置指南：FR 0时。5、SR对λ值的调整起主导作用。当SR 0. 6，设置一个较大的折衷参数，如λ=0。7，以满足隐私保护目标。当SR范围从0. 四比零。6，λ0。建议使用5，以实现更好的隐私-效用权衡，没有显著的效用下降，但是适度的隐私泄漏符合λ=0。7 .第一次会议。当SR小于0时。4、用户可以根据自己的隐私保护要求设置λ如果他们更加强调隐私，则使用较大的值，例如λ>0。五是推荐。当FR0. 5、FR比SR的影响更明显。建议将λ的值设置为大于0。5满足隐私保护的需求。如果用户付费更注重效用，并同意在一定程度上牺牲价格，则λ应小于0。5、尽可能提高实用性。6. 讨论属性相关性的研究为对抗学习的可解释性提供了一个新的视角，但我们的工作仍存在一定的局限性。首先，我们只考虑一个隐私目标，在未来，我们将使用SR和FR来生成多个隐私属性的分类，并为它们设置相应的优先级权重。其次，我们专注于属性分类任务。第三，FR的计算是基于现有的解纠缠表征学习，这仍然是一个正在进行的研究。我们将继续探索模型分解，以优化FR的估计。7. 结论在本文中，我们推导出属性之间的相关性，以解释不同的隐私效用权衡时，应用对抗学习提取潜在的表示，这是表达的目标属性，但在隐私属性无法区分。为了量化相关性，我们提出了统计可靠性（SR）和特征可靠性（FR）。SR测量两个属性的共现分布偏差，而FR估计一个属性对另一个属性施加的内在因果效应。我们在各种目标-隐私属性对上实现对抗学习，以验证SR和FR的有效性。结果表明，他们是高度预测的隐私效用权衡结果。在此基础上，进一步总结出指导隐私-效用权衡参数设置的一般规则。8. 确认本 研 究 得 到 了 国 家 重 点 研 发 计 划（ 2021YFB3100300 ） 和 国 家 自 然 科 学 基 金（61932015）的资助。4709引用[1] 哈拉尔德·克莱默统计学的数学方法。普林斯顿大学出版社，1999.[2] Harrison Edwards和Amos J.史托基删失代表-与对手的较量ICLR，2016年。[3] Yanai Elazar和Yoav Goldberg。从文本数据中对抗性地删除人口统计属性。在ACL EMNLP的Proc.中，2018年。[4] Cle' mentFeutry，PabloPiantanida，YoeliBengio，and皮埃尔·杜哈梅尔使用对抗性神经网络学习匿名表示。CoRR，abs/1802.09386，2018。[5] 克里斯五十，Ehsan Amid，Zhe Zhao，Tianhe Yu，Rohan Anil，和切尔西·芬恩有效识别多任务学习的任务分组。在NIPS，2021。[6] Jihun Hamm 极小极大滤波器：学会保护隐私推理攻击。J.马赫学习. Res. ，18：129：1[7] 岩泽雄介、中山光太郎、八入郁子、丰松尾动态神经网路应用于穿戴式设备活动辨识之隐私问题及其对抗训练对策。InProc. of IJCAI，2017.[8] Jinyuan Jia和Neil Zhenqiang Gong。 Attriguard：Apracti-通过对抗性机器学习来抵御属性推断攻击在USENIXSecurity的Proc中，2018年。[9] 李昂，段一笑，杨欢瑞，陈怡然，简-杨雷。TIPRDC：任务独立的隐私尊重数据众包框架，用于深度学习和匿名中间表示。ACM SIGKDD，2020年。[10] Fenghua Li，Hui Li，Ben Niu，and Jinjun Chen.隐私条款计算：概念、计算框架和未来发展趋势。工程，5（6）：1179[11] 李伊通、蒂莫西·鲍德温和特雷弗·科恩。走向罗-半身像和隐私保护文本表示。在ACL ACL的Proc.，2018年。[12] Yi Li和Nuno Vasconcelos REPAIR：removing represent-数据集重现的位置偏倚。在IEEE CVPR，2019年。[13] 作者：Michael Maire，Serge J.詹姆斯？贝隆吉Hays，PietroPerona，DevaRamanan，PiotrDolla'r，andC.劳伦斯·齐尼克。Microsoft COCO：在上下文中常见的对象。Springer ECCV的Proc.，2014年。[14] Ziwei Liu，Ping Luo，Xiaogang Wang，and Xiaoou Tang.在野外深度学习人脸属性。InProc. of IEEE ICCV，2015.[15] 卢卡·梅利斯、宋聪正、埃米利亚诺·德·克里斯托法罗、以及维塔利·什马季科夫合作学习中的非预期特征泄漏。InProc. of IEEE S P，2019.[16] Seyed Ali Osia，Ali Taheri，Ali Shahin Shamsabadi，Kleome-nis Katevas，Hamed Haddadi，and Hamid R.拉比深度私人特征提取IEEE Trans. Knowl.数据工程，32（1）：54[17] Francesco皮塔卢加SanjeevJ.科帕尔，关于Ayan查克拉巴蒂通过对抗训练学习隐私保护编码。IEEE WACV，2019年。[18] 宋从正和维塔利·什马季科夫。过度学习再-veals敏感属性。ICLR，2020。[19] 放大图片作者：Trevor Standley，Amir Roshan Zamir，Dawn Chen，Leonidas J.Guibas Jitendra Malik和SilvioSavarese。4710在多任务学习中，哪些任务应该一起学习？在PMLRICML，2020的程序。[20] Zhibo Wang ， Xiaowei Dong ， Henry Xue ， ZhifeiZhang，邱伟峰、陶伟、任奎。针对部署的深度模型的偏向缓解的公平感知对抗扰动。在IEEE CVPR，2022。[21] Zhenyu Wu ， Zhangyang Wang ， Zhaowen Wang ， andHailin晋通过对抗训练实现隐私保护视觉识别：一项试点研究。 在proc Springer ECCV，2018年。[22] 谢启哲，戴子航，杜玉伦，Eduard H. 霍维，还有格雷厄姆·纽比格通过对抗性特征学习实现可控不变性在NIPS，2017年。[23] 阿米尔·罗山·扎米尔， 亚历山大·萨克斯 William B. 沈先生，Leonidas J. Guibas，Jitendra Malik，and Silvio Savarese.Taskonomy：解开任务转移学习。InProc. of IJCAI，2019.[24] Wanrong Zhang，Shruti Tople，and Olga Ohrimenko. 漏-多方机器学习中的数据集属性时代。在USENIX Security，2021年。[25] Xingxuan Zhang ， Peng Cui ， Renzhe Xu ， LinjunZhou，Yue He，and Zheyan Shen.用于分布外泛化的深度稳定学习。在IEEE CVPR，2021。