图像表示中信息泄漏的最大熵方法

2586图像表示中信息泄漏的最大熵方法密歇根州立大学计算机科学与工程系，密歇根州东兰辛，邮编48824{royprote，vishnu}@ msu.edu摘要图像识别系统在过去的几十年里取得了巨大的进步，这在一定程度上要归功于我们学习紧凑和鲁棒的图像表示的能力。当我们看到这些系统的广泛采用时，必须考虑从图像表示中意外泄漏信息的问题，这可能会损害数据所有者的隐私本文研究的问题，学习的图像表示，最大限度地减少这种泄漏的用户信息。我们将问题表述为寻找具有两个竞争目标的良好嵌入函数的对抗性非零和游戏：尽可能多地保留任务相关的区分图像信息，同时最小化关于用户的其他敏感属性的信息量（如通过熵测量的）。我们使用非线性系统理论的工具分析了所提出的公式的稳定性和收敛动力学，并与相应的对抗性零和博弈公式进行了比较，该零和博弈公式优化了作为信息内容度量的似然性在UCI、Extended Yale B、CIFAR-10和CIFAR-100数据集上的数值实验表明，我们提出的方法能够学习具有高任务性能的图像表示，同时减少预定义敏感信息的泄漏。1. 介绍目前，基于深度神经网络的机器学习算法已经在图像分类、语音识别等多个领域取得了令人印象深刻的进展。通过将多层线性和非线性操作堆叠在一起，深度神经网络已经能够学习和识别数据中的复杂模式。作为这些能力的副产品，深度神经网络也变得足够强大，即使在网络中也能无意中识别敏感信息或数据特征没有任何额外的信息。例如，考虑用户出于访问控制的目的将其面部图像登记在面部识别系统中的场景。在登记期间，从图像中提取特征向量并存储在数据库中。除了用户的身份之外，该特征向量潜在地包含对用户敏感的信息，诸如年龄、用户可能从未明确同意提供的信息。更一般地说，学习的数据表示可能会泄露参与者可能从未打算发布的辅助信息。以这种方式获得的信息可能被用来损害用户的隐私或对用户有偏见和不公平。因此，必须开发表征学习算法，该算法可以有意地和永久地模糊敏感信息，同时保留任务相关信息。解决这一问题是本文的中心目标。最近已经有一些尝试来研究相关的问题，例如学习数据的删失[3]，公平[14]或不变[18]表示。这些方法的中心思想，统称为对抗表示学习（ARL），是在对抗环境中学习数据的表示。这些方法耦合到（i）试图从给定表示中分类和提取敏感信息的对抗网络，以及（ii）负责提取数据的紧凑表示同时防止对抗网络成功泄漏敏感信息的嵌入网络。为了实现它们各自的目标，对手被优化以最大化敏感信息的可能性，而编码器被优化以最小化相同的可能性，即，对手的敏感信息的可能性，从而导致一个零和游戏。在下文中，我们 将这 种 公式 称为 最 大似 然 对抗 表示 学 习（ ML-ARL）。然而，从防止信息泄露的角度来看，优化可能性的零和博弈公式实际上是次优的作为示例，考虑敏感属性具有三个2587类别假设存在两个实例，其中对手0.33，0.33.）并让它们的正确标签都是在这些情况中的每一种情况下，发生这种情况的可能性是相同的，即， log 0。33但前一个例子比后者更有信息性此外，该公式防止信息泄漏的潜力是基于：（i）平衡的存在，以及（ii）实际优化过程收敛到这种平衡的能力。正如我们将要证明的，在实践中，收敛的必要条件可能不满足。因此，当优化没有达到等概率时，具有最小似然的概率分布是最确定的具有泄漏最多信息量的可能性的分布。相比之下，第二个实例是敏感标签上的均匀分布，并且不向对手提供任何信息。该解决方案对应于敏感标签上的最大熵分布。贡献：基于上述观察，我们提出了一个框架，称为最大熵对抗表示学习（MaxEnt-ARL），它优化了具有两个主要目标的图像表示，(i)最大限度地保留与给定目标属性相关的信息，以及（ii）最小化关于给定敏感属性的信息泄漏。我们提出的学习问题，在一个对抗性的设置作为一个非零和的三个球员之间的游戏编码器，预测和代理对手（代理对手），其中编码器试图最大化的熵的敏感属性上的预测和最大化的可能性的目标属性。我们分析的ML-ARL以及建议MaxEnt-ARL公式，使用非线性系统理论的工具的平衡和收敛性。我们比较和评估了ML-ARL和MaxEnt-ARL在UCI数据集上的公平分类任务、在扩展Yale B数据集上的照明不变分类以及在CIFAR-10和CIFAR-100数据集上的两个制造任务的数值性能。在大多数这些任务上，MaxEnt-ARL优于所有其他基线。2. 相关工作对抗表示学习：在图像分类的背景下，对抗学习已被用于学习跨域不变的表示[4，5，17]，从而使我们能够在源域上训练分类器并在目标域上使用。致力于学习数据的公平和无偏见表示的整个工作机构与对抗表示学习问题有许多相似之处关于这一主题的早期工作并不涉及明确的对手，但共同的目标是学习表征与竞争的对象，提维斯学习公平表示的概念首先由Zemel等人[19]引入，其目标是通过“公平聚类”学习数据表示在这项工作的基础上，已经提出了许多方法来学习数据的无偏表示，同时保留其预测任务的有效性。为了消除“讨厌的变量”的影响为了提高代表权的公平性他们将边际分布p（z）|最大平均离散度（MMD）。最近的方法[3，20，1，18]使用显式对抗网络来测量敏感属性的信息内容这些问题被设置为编码器和对手之间的极大极小博弈。编码器被设置为通过最大化广告的损失来实现公平性，即，最小化由对手测量的敏感变量的负对数似然。在这些方法中，我们提出的MaxEnt-ARL公式与Xie等人介绍的对抗不变特征学习最直接相关。[18 ]第10段。对抗学习的优化理论：从优化的角度来看，对抗性表示学习的制定提出了独特的挑战。ARL中模型的参数通常通过随机梯度下降进行优化，或者联合[3，15]或者[4]。然而，前者在实践中更常用，并且是梯度下降的推广。虽然梯度下降及其变体的收敛性质已经很好地理解，但在对抗性极大极小问题中同时梯度下降的收敛性和稳定性方面的最近，Mescheder等人。 [15]和Nagarajan等人。 [16]都利用非线性系统理论[9]的工具来分析GAN背景下同时梯度下降的收敛特性。他们表明，没有额外的正则化项的零和博弈的目标，同时梯度下降不收敛。我们对ML-ARL和MaxEnt-ARL的收敛性分析也利用了相同的非线性系统理论工具，并显示了它们收敛的条件。3. 对抗表示学习对抗表示学习设置涉及观察输入x，具有n个类的目标属性Y ={y1，. . . ，yn}和具有m个类的敏感属性S={s1，. . .，sm}。 在本文中，我们仅限于在具有多个标签的离散空间上的属性我们目标是学习一个嵌入函数，将x映射到z2588E（x，θE）z∈Rd图1：自适应表示学习：我们考虑学习嵌入函数E（·，θE）的问题，该嵌入函数将高维图像映射到低维表示z ∈Rd，同时满足两个竞争目标：保留准确预测目标属性Y ={y1，. . . ， yn}，同时最小化关于感测属性S={s1，. . . ，sm}由未知的附加变量A（·，θA）确定。 将学习问题表示为{E（·，θE），T（·，θT）}与代理变量D（·，θD）之间的极大极小对策.我们可以根据该信息来预测目标属性Y，同时还最小化关于已知敏感属性S（即属性S的类标签）的信息泄漏。3.1. 问题设置对抗性表示学习问题被表示为三个参与者之间的博弈，编码器E，目标预测器T和充当未知对手A的代理的CJD。在学习和固定E之后，我们训练和评估对手A，目的是泄露我们试图保护的敏感属性的信息。由于对手A在训练时对于编码器是未知的，因此编码器E针对CNOD进行训练，CNOD由此充当未知A的代理。一个其中，如果标签分布是理想分类分布，则KL（··）项减少到log-li k3.3.最大熵对抗表示学习在MaxEnt-ARL公式中，编码器的目标是最大化目标属性的可能性，如由目标预测器测量的，同时最大化敏感属性的不确定性，如由预测器形式上，我们将MaxEnt-ARL优化问题定义为三人非零和游戏：最小V1（θE，θD）这种设置的说明如图10所示。1.一、编码器被建模为确定性函数z=E（x;θE），目标预测器对条件分布p（t|x）θDminθE，θTV2（θE，θT）+αV3（θE，θD）（二）通过qT（t|z;θT），而θ T则模拟条件分布p（s|x）viaqD（s|z;θD），其中p（t|x）和p（s|x）分别是给定目标和敏感标签t和s的基础真值标签。3.2. 背景在ARL的现有公式中，编码器的目标是最大化目标属性的可能性，如由目标预测器T测量的，同时最小化敏感属性的可能性，如由判别器D测量的。这个问题（以下简称ML-ARL）由Xie等人 [18]正式定义为三人零和极大极小博弈：min maxJ1（θE，θT）−αJ2（θE，θD）（1）θE，θTθD其中α是允许我们在编码器的两个竞争目标之间进行权衡的参数，J1（θE，θT）= KL（p（t|x）qT（t|E（x;θE）; θT））J2（θE，θD）= KL（p（s|x）qD（s）|E（x;θE）; θD））其中α允许我们在编码器的两个竞争目标之间进行权衡，V1（θE，θD）= KL（p（s|x）qD（s）|E（x;θE）; θD））V2（θE，θT）= KL（p（t|x）qT（t|E（x;θE）; θT））V3（θE，θD）= KL（qD（s|E（x; θE）; θD）<$U）其中U是均匀分布。MaxEnt-ARL公式化和ML-ARL公式化之间的关键区别在于，虽然编码器和判别器具有竞争目标，但在ML-ARL中，它们直接在相同度量（敏感属性的可能性）上彼此竞争，而在MaxEnt-ARL中，它们优化相关但不完全相同的度量的竞争度量。优化嵌入函数以最大化嵌入的熵而不是最小化其似然性具有一个关键的实际优势。熵最大化本质上不需要类别标签进行训练。这在以下设置中是有利的：（i）嵌入函数不希望访问D不一2589不不DED敏感标签，可能是出于隐私原因。或（ii）数据点的敏感标签是未知的。例如，考虑一个半监督场景，其中只有期望的嵌入函数可以从这些数据中学习，方法是从熵中获得梯度。4. 理论分析年龄和性别），则编码器优化中的两项都可以同时达到它们的最优值。此外，在MaxEnt-ARL情况下，该问题简化为编码器和编码器之间的非零和两个玩家游戏，并且在ML-ARL情况下，简化为相同玩家之间的零和两个玩家游戏。推论1.1. 当s不确定时，让最佳判别-用于编码器E的tor和predictor是qD（s|E（x; θE）;θE）D在本节中，我们将分析MaxEntARL公式，并比较它的ML-ARL公式- tion，无论是在平衡以及收敛动力学下的同时梯度下降。4.1. 平衡和qT（t|E（x;θE）;θT）。在MaxEnt-ARL中的最优编码器E（·）用于mul ation导致在最大值D（s）中的均匀分布|E（x;θ）;θ）上。证据 证明使用的事实，给定一个固定的 opti-mal-D，qT（t|E（x; θE）; θE）独立于定理1. 给定一个固定的编码器E，i= qD（s|E（x; θE）; θE）= p（s|E（x; θE））和op-qD（s|E（x;θE）;θD）当s≤t时。详细的证明是D.补充材料中所载的资料时间预测因子是qT（t|E（x; θE）; θT）= p（t|E（x; θE））。证据证明使用的事实，给定一个固定的编码器E，目标是凸w.r.t.每一个分布。因此，我们可以得到qD（s）的驻点|E（x; θE）; θD），qT （ s|E （ x;θE ） ;θT ） 作 为 p （ s ） 的 函 数 |E（x;θE）），p（t|E（x;θE））。详细的证据包括在补充材料中。因此，最优分布qD（s|E（x; θE）; θE）和qT（t|E（x; θE）; θE）是函数平衡：当目标和敏感属性彼此相关时（例如，胡须和性别），编码器优化中的这两个术语无法达到其optimum同时在ML-ARL和MaxEnt-ARL两种公式中，两个目标的相对最优性取决于权衡因子α。4.2. 聚合动力学D T的编码器参数θE。优化编码器的目标现在简化为：我们 分析 的 标准 算法（同时随机梯度下降），以找到平衡，所以-最小EθEx，t[−logqT （t|E（x;θE）;θ）]+logm这种对抗性的游戏。 也就是说，我们同时-θE、θD和θT中的新梯度阶跃，其可以是前-+αEx拉克莱姆Q（s|E（x;θ）;θ）logq（s|E（x;θΣ）;θ）压为微分方程的形式：D ii=1EDD i E DθstecD =fD （θ）=θDV1（θE，θD）其中，第一项是最小化真实目标属性标签的不确定性（负对数似然），第二项是最大化跨分布中的所有类的不可预测性（如通过熵测量的），从而防止关于敏感属性标签的任何信息的泄漏。相反，ML-ARL问题的相应目标是[18]，θstecT=fT（θ）=θTV2（θE，θT）（3）θstecE=fE（θ）=θEV2（θE，θT）+αV3（θE，θT）其中梯度f（θ）=（fD（θ），fT（θ），fE（θ））定义了θ=（θD，θT，θE）上的向量场。上述非定性行为-可以确定最小EθEx，t[−logqT （t|E（x;θE）;θθθ）]关于这一点的线性化[9]。限制-把我们的注意力集中到一个足够小的社区，+αEx，s[logqD（s|E（x;θE）;θθθ）]平衡点，（3）中的非线性状态方程可以可以用线性状态方程近似：其中第一项是最小化真实目标属性标签的不确定性（负对数似然），而2590。.θstec=Jθ（4）第二项是最大化仅真实敏感属性标签的不确定性（对数似然）。然而，通过这样做，编码器无意中变得更加确定D（θ）联系我们式中，J=πfT（θ）D（θ）θTT（θ）D（θ）θE。T（θ）是Ja-其他标签，并且仍然可以向对手提供信息联系我们E（θ）θDθTE（θ）θTθEE（θ）θE。..θ=θ平衡时，S_t：当目标得到和敏感时，属性彼此独立（例如，cobian的向量场评估在所选择的均衡，原点θ=（θ，θ，θ）。 对于小社区来说D T E2591w1×（·）x.w2×（·）X zqD（s|z）qT（t|z）在w3=0时，编码器和判别器的轨迹不收敛，而是围绕静止点旋转。相反，对于MaxEnt-ARL方法收敛到稳定点。当w1=0时，图2：三人游戏：线性示例在平衡点附近，（3）中的非线性系统的轨迹被期望定理2（线性化）。设x=0为非线性系统xstec=f（x）的平衡点，其中f：D→Rn是连续的。D是一个邻域ML-ARL和MaxEnt-ARL都收敛到（0，0）。为在另一种形式下，当参数为D=z2+b2时，我们发现ML-ARL和MaxEnt-ARL都有相同的特性5.2.高斯混合在这个实验中，我们试图可视化和比较MaxEnt-ARL和ML-ARL学习的表征我们考虑4个高斯分布的混合模型，平均值为μ at（（1，1），（2，1. 5），（1. 五二5），（2. 5，3））和方差σ= 0。3的起源。 令J = ψ f。x=0. 然后，在每种情况下。 我们的模型是一个神经网络，每层2个神经元每个数据样本都有• 若对J的所有特征值Re（λi）0，则原点渐近稳定.<• 如果对于J的一个或多个特征值Re（λi）≥0，则原点是不稳定的。证据 参见[ 9 ]的定理4.7。5. 数值实验在本节中，我们将评估所提出的最大熵对抗表示学习模型的有效性，并将其与其他对抗表示学习基线进行比较。5.1. 三人游戏：线性情况作为一个说明性的例子，我们分析了ML-ARL和MaxEnt-ARL在相同的设置下的收敛性编码器、预测器和预测器是分别具有乘法权重w1、w2和w3的线性模型为了便于分析和可视化，我们将模型限制在这三个变量设置。预测者和判别者-nator正在优化二进制{0，1}标签上的交叉熵损失 为了观察这三个球员之间的比赛，提供相同的数据样本x=1但具有不同的目标和敏感标签即，4个样本，目标和敏感标签为{00，01，10，11}损失按平均值计算也计算所有样本上的值和相应的向量场值对于ML-ARL 和 MaxEnt-ARL ， 该 博 弈 的 稳 定 点 都 在（w1=0，w2=0，w3 =0）。0），并且损失函数的梯度在该点处为零。 我们考虑一个小的（30 × 30 × 30网格）邻域在范围[-0]内的驻点周围。010 01]的权重w1，w2，w3和可视化轨迹，通过遵循向量场的游戏。图3显示了从绿色位置开始的一个点的（0，0，0）周围的矢量场的流线图在ML-ARL的情况下，我们观察到，当预测因子固定两个属性，颜色和形状我们建立了以形状为目标属性，颜色为敏感属性的ARL编码器是一个带有一个隐藏层的神经网络，将2-D形状映射到另一个2-D嵌入，预测器和预测器都是逻辑回归分类器。权衡参数设置为α=0。使用Adam优化器学习参数学习率为10- 4。学习嵌入函数后，我们冻结其参数并学习一个逻辑类-比对手更强大攻击者的测试准确率MaxEnt-ARL为63%，ML-ARL为70%因此，通过优化熵而不是似然性，与ML-ARL相比，MaxEnt-ARL能够泄漏更少的关于敏感标签的信息。图4显示了数据和学习的嵌入。5.3. 公平分类我们考虑对来自UCI ML存储库[2]的两个数据集进行公平分类的设置，（a）德国信用数据集，具有1000个实例的20个属性，目标标签将银行账户持有人分类为信用良好或不良，性别是敏感属性，（b）成人收入数据集具有45，222个实例，具有14个属性。目标是年收入高于或低于50，000美元的二元标签，而性别是敏感的贡献。对于ML-ARL和MaxEnt-ARL，编码器是具有一个隐藏层的NN，预测器是具有2个隐藏层的NN，并 且 目 标 预 测 器 是 线 性 逻 辑 回 归 。 按 照 ML-ARL[18]，我们在每个隐藏层中选择64个单元。我们将两种 ARL 公 式 与 最 先 进 的 基 线LFR （ 学 习 公 平 表 示[19]），VAE（变分自动编码器[11]）和VFAE（变分公平自 动编码器[14]）进行 了比较。对 于MaxEnt-ARL，在学习了嵌入之后，我们再次学习了一个ad-numerals来提取敏感属性。图5显示了German和Adult数据集的结果，包括目标属性和敏感属性。对德国来说-w3×（·）25920.010.0050-0.005-0.010.010.0050-0.0050.010.0050-0.0050.010.0050-0.005-0.015-0.010.005 0.0050.01W2(a) ML-ARL：轨迹-0.01-0.010.005 0.0050.01W2(b) ML-ARL：w1= 0-0.01-0.01 0.005 0.0050.01W1(c) ML-ARL：w2= 0-0.01-0.01 0.005 0.0050.01W2(d) ML-ARL：w3= 00.010.0050-0.005-0.010.010.0050-0.0050.010.0050-0.0050.010.0050-0.005-0.015-0.010.005 0.0050.01W2(e) MaxEnt-ARL：轨迹-0.01-0.010.005 0.0050.01W2(f) MaxEnt-ARL：w1= 0-0.01-0.010.005 0.0050.01W1(g) MaxEnt-ARL：w2= 0-0.01-0.01 0.005 0.0050.01W2(h) MaxEnt-ARL：w3= 0图3：线性三人博弈在稳定点（0，0，0）附近的流线图轨迹从绿点开始，沿着向量场收敛到红点（a）和（ e ） 示 出 了 3D 轨 迹 的 俯 视 图 当 w1=0 的 轨 迹 表 明 ， ML-ARL 和 MaxEnt-ARL 收 敛 到 局 部 最 优 值 ，（w1=w2=w3=0）。当w2=0时，MaxEnt-ARL轨迹收敛于局部最优.ML-ARL轨迹收敛到最优只有当他们开始远离0沿w3。然而，从更接近w3=0开始的轨迹不会收敛到w1=0。当w3=0时，游戏简化为两人对抗游戏（类似于GAN[7]），其中ML-ARL显示非收敛循环行为，而MaxEnt-ARL收敛。(a) 输入（b）ML-ARL（c）MaxEnt-ARL图4：来自四个具有目标（形状）和敏感属性（颜色）的高斯样本。(a)输入空间，（b）ML-ARL的学习嵌入z，（c）MaxEnt-ARL的学习嵌入。我们现在可以注意到，ML-ARL有一些不同颜色的孤立样本（敏感标签），而MaxEnt-ARL的颜色混合效果略好。人工数据 的预测精度为 86.33%，接近原 始数据的87%。LFR、VAE、VFAE和ML-ARL模型的目标精度分别为72.3%、72.5%、72.7%和74.4%。另一方面，对于敏感属性，MaxEnt-ARL对手其他模型揭示了更多的信息，对原始数据、LFR、VAE、VFAE和ML-ARL的对手准确率分别为80%、80.5%、79.5%、79.7%和80.2%对于成人收入数据集，原始数据、ML-ARL和MaxEnt-ARL 的 目 标 准 确 率 分 别 为 85% 、 84.4% 和84.6%。tively, while the adversary’s performance on the sensitiveattribute is 67.7% and 65.5% for ML-ARL and MaxEnt-ARL,5.4. 光照不变人脸分类我们考虑在不同光照条件下的人脸分类任务。我们使用了扩展的Yale B数据集[6]，其中包括38个人在不同光照条件下（光源方向）的面部图像。：右上、右下、左下、左上或前面。我们的目标任务是找出38人中的一个WW11WW33WW33WW1125930.90.850.80.750.70.650.6德国XLFRVAEVFAEML MaxEnt0.850.80.750.70.650.6德国XLFRVAEVFAEML MaxEnt5.5. CIFAR 10我们在CIFAR-10数据集上创建了一个新的二进制目标分类问题[12]。CIFAR-10数据集由10个基本类组成，即（0.880.860.840.820.80.780.76(a) 目标属性：信用成人(b) 敏感属性：性别成人0.90.80.70.60.5“鸟”、“猫”、“鹿”、“狗”、“青蛙”、“马”、“船”、“卡车”）。我们把班级分成两组：有生命的和无生命的物体我们期望活体对象具有视觉区分特性，如与非活体对象的规则几何形状相比的平滑形状焦油-XLFRVAEVFAEML MaxEnt0.4XLFRVAEVFAEML MaxEntget任务是将图像二进制分类为这两个(c) 目标属性：收入(d) 敏感属性：性别超集，其底层类标签是敏感属性。例如，对物体进行图5：公平分类表1：光照不变面部分类（%）方法s（照明）t（同一性）LR9678NN + MMD [13]-82VFAE [14]5785ML-ARL [18]5789Maxent-ARL4089数据集，其中光源的方向是敏感属性。我们遵循谢等人的实验装置。[18] Louizos et al.[14]使用相同的训练/测试分割策略，没有验证集。38×5= 190个样本用于训练，其余1,096个数据样本用于测试。按照[18]中的模型设置，编码器是一个单层神经网络，目标预测器是一个线性层，而编码器有两个隐藏层，每个隐藏层由100个单元组成。使用Adam [10]训练参数，学习率为10−4，重量衰减为5 ×10−2。我们在表1中报告了该实验的基线[13，14，18]结果 ， 并 与 拟 议 的 MaxEnt-ARL 框 架 进 行 了 比 较 。Louizos等人[14]通过最大均值离散化来正则化他们的神经网络，以从数据中去除光照条件，而Xie等人。[18]使用ML- ARL框架。MaxEnt-ARL在身份分类方面达到了89%的准确率（与ML-ARL相同），同时优于MMD（82%）和VFAE（85%）。在保护敏感属性方面，即光照方向的改变，使自适应分类器从表中可以清楚地看出，与基线相比，MaxEnt-ARL能够从图像中删除更多信息作为活体但正如我们将看到的，这是一个具有挑战性的问题，图像表示可能无法防止敏感标签的泄漏。实施详情：我们采用ResNet-18 [8]体系结构作为编码器，并且神经网络和对手分别是具有256个和64个神经元的2层神经网络。编码器和目标预测器使用SGD进行训练，动量为0.9，学习率为10−3，预测任务的权重衰减为10−3然而，对手和对手都是使用Adam训练的，学习率为10- 4，重量衰减为10−3，持续300个历元。实验结果：当我们改变权衡参数α时，我们评估预测器和对手的性能。我们首先注意到，理想情况下，期望的预测器准确度是100%，对手准确度是10%（10个类的随机机会图6（a）-（b）示出了预测器和对手之间实现的权衡以及对应的归一化超体积（HV）。对于预测器和对手准确度，HV对应于权衡曲线上方的面积，而对于预测器准确度和对手熵，HV是曲线下方的面积。我们通过重复所有实验五次并保留非支配解来获得这些结果，即， 在这两个目标上都不比任何其他解决方案差的解决方案。从这些结果中，我们观察到，在没有隐私考虑的情况下，表示达到了最佳的目标精度，但也泄漏了重要的信息。相反，对抗性学习的表示实现了效用和信息泄漏之间的更好的权衡。在ARL方法中，我们观察到MaxEnt-ARL与ML-ARL相比能够获得更好的权衡。此外，在所有可能的解决方案中，MaxEnt-ARL实现了最接近理想期望点的解决方案。目标精度目标精度灵敏准确度灵敏准确度2594(a)（b）（c）（d）图6：CIFAR数据集上的Adjunct表示学习：两种不同的ARL方法ML-ARL和MaxEnt-ARL与标准的无隐私表示学习相比的折衷前沿。图（a）-（b）和（c）-（d）分别对应于CIFAR-10和CIFAR-100实验。在（a）和（c）中，理想的期望解是右下角，而在（b）和（d）中，它是右上角。图例中的HV对应于归一化的超体积。补充材料中提供了精确的数值。表2：CIFAR-100中的主要类和超类超类主类水生哺乳动物海狸，海豚，水獭，海豹，鲸鱼鱼观赏鱼，比目鱼，射线，鲨鱼，鳟鱼花兰花，罂粟，玫瑰，向日葵，郁金香食品容器瓶、碗、罐、杯、盘水果和蔬菜苹果，蘑菇，橘子，梨，甜椒家用电器时钟、电脑键盘、台灯、电话、电视家用家具床，椅子，沙发，桌子，衣柜昆虫蜜蜂，甲虫，蝴蝶，毛虫，蟑螂大型食肉动物熊，豹，狮子，老虎，狼户外大型人造物品桥梁，城堡，房子，道路，摩天大楼大型自然外景云，森林，山，平原，海大型杂食动物和草食动物骆驼，牛，黑猩猩，大象，袋鼠中型哺乳动物狐狸，豪猪，负鼠，浣熊，臭鼬非昆虫无脊椎动物螃蟹龙虾蜗牛蜘蛛蠕虫人婴儿，男孩，女孩，男人，女人爬行动物鳄鱼，恐龙，蜥蜴，蛇，乌龟小型哺乳动物仓鼠，老鼠，兔子，鼩 鼱，松鼠树木枫树，橡树，棕榈树，松树，柳树车辆1自行车，公共汽车，摩托车，皮卡，火车车辆2割草机、火箭、有轨电车、坦克、拖拉机5.6. CIFAR 100我们在CIFAR-100数据集上制定了一个新的隐私问题该数据集由100个类组成，并分为20个超类（表2）。每个图像都有一个我们将因此，编码器的任务是学习超类的特征，同时不泄露底层类的信息我们采用ResNet-18作为编码器，而预测器，预测器和对手都是2层全连接网络。对抗游戏训练了150个epoch，然后在编码器的参数被冻结的情况下训练对手100个epoch。正如在CIFAR-10的情况下，我们报告了预测者和对手之间实现的权衡以及图中相应的归一化超体积（HV）。6（c）-（d）。在这里，我们注意到，理想情况下，我们希望预测器准确度为100%，对手准确度为1%（随机机会对于100个类）和对手熵ln 100 = 4。61个nat（100个班级统一分配）。我们从结果中得出以下结论。首先，不同方法的性能表明，该任务明显比CIFAR-10任务更难，可达到的目标精度低得多，而对手精度高得多。其次，没有隐私考虑的表示学习会泄露大量信息。第三 ，MaxEnt-ARL 在 这 一任 务 上 能 够 显著 优 于 ML-ARL，在对手准确性和对手熵方面都实现了更好的折衷解决方案。6. 结论本文介绍了一种新的对抗表示学习的公式，称为最大熵对抗表示学习（MaxEnt-ARL），用于减轻在对抗环境下学习表示的信息泄漏。在该模型中，编码器被优化以最大化对手对敏感属性的发现的熵，而不是最小化真实敏感标签的可能性（ML-ARL）。我们分析了ML-ARL和MaxEnt-ARL的平衡性和收敛性在多个数据集上的数值实验表明，MaxEnt-ARL是一个很有前途的框架，用于防止图像表示的信息泄漏，优于基线最小似然目标。引用[1] A. Beutel，J. Chen，Z. Zhao和E. H.气对抗性学习公平表征时的数据决策和理论含义。arXiv预印本arXiv：1707.00075，2017年。2[2] D. Dua和C.格拉夫UCI机器学习库，2017年。52595[3] H. Edwards和A. J·斯托奇审查与对手的陈述。国际学习表 征 会 议 （ International Conference on LearningRepresentations，ICLR），2016。一、二[4] Y. Ganin和V. Lempitsky通过反向传播的无监督域自适应。国际机器学习会议（ICML），2015。2[5] Y. Ganin，E.乌斯蒂诺娃Ajakan山口Germain，H.拉罗谢尔F.拉维奥莱特M Marchand和V。Lempitsky神经网络的领域对抗训练。机器学习研究杂志，17（1）：2096-2030，2016。2[6] A. S. Georghiades，P. N. Belhumeur，D. J·克里格曼从少到多：可变光照和姿态下人脸识别的照明锥模型IEEETransactions on Pattern Analysis Machine Intelligence ，（6）：643-660，2001. 6[7] I. 古德费罗 J. 波吉特-阿巴迪 M. 米尔扎 B. 许、D. 沃德-法利，S。奥扎尔A.Courville和Y.本吉奥。生成对抗网络。神经信息处理系统进展（NeurIPS），第2672-2680页，2014年。6[8] K.他，X。Zhang，S. Ren和J. Sun.深度剩余网络中的身份映射。在欧洲计算机视觉会议（ECCV）中，第630-645页。施普林格，2016年。7[9] H. K.哈利勒非线性系统Printice-Hall Inc，1996年。二、四、五[10] D. P. Kingma和J. BA. Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。7[11] D. P.Kingma和M.威林自动编码变分贝叶斯。arXiv预印本arXiv：1312.6114，2013。5[12] A. Krizhevsky和G.辛顿从微小的图像中学习多层特征。技术报告，Citeseer，2009年。7[13] Y. Li，K.Swersky和R.泽梅尔学习无偏见的特征。arXiv预印本arXiv：1412.5244，2014年。7[14] C.路易斯湾Swersky，Y. Li，M. Welling和R.泽梅尔变分公平自动编码器。国际学习表征会议（ICLR），2016年。一、二、五、七[15] L. Mescheder，S. Nowozin和A.盖革甘斯的数字。神经信息处理系统进展，2017年。2[16] Nagarajan和J. Z.科尔特梯度下降GaN优化是局部稳定的。神经信息处理系统进展（NeurIPS），第5585-5595页，2017年2[17] E. Tzeng，J.Hoffman，K.Saenko和T.达雷尔。对抗性判别域 自适 应。在 IEEE计算 机视 觉和模 式识 别会议（CVPR），2017。2[18] Q. 谢、Z.戴，Y.杜氏E.Hovy和G.纽比格通过对抗性特征学 习实 现可 控不 变性 。神经 信息 处理 系统 进展（NeurIPS），2017年。一、二、三、四、五、七[19] R. Zemel，Y. Wu，K. Swersky，T. Pitassi和C. Dwork.学习公平陈述。2013年国际机器学习会议（ICML）。二、五[20] B. H.张湾，澳-地Lemoine和M.米切尔用对抗性学习减轻不必要的偏见在AAAI/ACM关于AI，伦理和社会的会议上，2018年。2