联邦学习中的生成梯度泄漏的隐私防御方法

1233101320通过生成梯度泄漏审计联邦学习中的隐私防御0Zhuohang Li 1 Jiaxin Zhang 2 Luyang Liu 3 Jian Liu 101 University of Tennessee, Knoxville 2 Oak Ridge National Laboratory 3 Google Research0zli96@vols.utk.edu, zhangj@ornl.gov, luyangliu@google.com, jliu@utk.edu0摘要0联邦学习（FL）框架通过允许多个客户端在中央服务器的协调下参与学习任务而不交换其私有数据，为分布式学习系统带来隐私保护的好处。然而，最近的研究表明，通过共享的梯度信息仍然可以泄漏私人信息。为了进一步保护用户的隐私，已经提出了几种防御机制来防止通过梯度信息降级方法泄漏隐私，例如在与服务器共享之前使用加性噪声或梯度压缩。在这项工作中，我们验证了在某些防御设置下仍然可以泄漏私有训练数据，这是一种新型的泄漏，即生成梯度泄漏（GGL）。与现有方法只依赖梯度信息重构数据不同，我们的方法利用从公共图像数据集中学习的生成对抗网络（GAN）的潜在空间作为先验来补偿梯度降级过程中的信息损失。为了解决梯度算子和GAN模型引起的非线性问题，我们探索了各种无梯度优化方法（例如进化策略和贝叶斯优化），并从实证上展示了它们在从梯度中重构高质量图像方面相对于基于梯度的优化器的优越性。我们希望所提出的方法能够作为一种工具，用于经验性地测量隐私泄漏的程度，以促进设计更强大的防御机制。01. 引言0联邦学习（FL）[26, 29,34]最近作为一种新的机器学习范式出现，使得多个客户端能够在中央服务器的协调下共同训练一个全局学习模型。每个客户端不直接交换其私有数据，而是在其本地数据集上进行学习，并共享计算得到的模型更新或梯度以更新全局模型。FL非常注重用户数据的隐私保护，这使得它特别适用于在涉及隐私的场景中开发机器学习模型，例如打字预测[21]，语音理解[16, 20]，医学研究[4, 8,41]和金融服务[32,50]。尽管FL旨在结构上编码数据最小化原则以保护隐私，但最近的研究表明，在某些情况下，敏感信息仍然可以通过共享的梯度泄漏出去。为了进一步加强FL在这些情况下的隐私属性，已经提出了几种防御策略，以在与服务器共享之前降低梯度信息，例如差分隐私[14,48]，梯度压缩/稀疏化[56]和通过数据表示扰动梯度[44]。这些最先进的隐私防御已经被证明对现有攻击是有效的，通过修改梯度信息以降低其保真度。一个自然的问题是：上述防御措施能否提供足够的隐私保证，以防止客户端的私有数据泄漏？为了调查这个问题，我们将梯度泄漏过程建模为一个逆问题，目标是从客户端共享的低保真度和噪声梯度中重构私有训练数据。现有方法通过迭代地求解最佳数据样本集，以最佳匹配客户端共享的梯度来解决这个逆问题，通过优化过程（例如梯度下降[13, 51]或L-0GAN图像流形0自然图像空间0FL模型梯度空间0�0�′0私有图像0通过重构的图像0提出的GGL0通过重构的图像0现有方法0图1. 通过梯度泄漏的示意图：1� 客户在其私有数据上计算梯度；2�客户应用防御措施以降低计算得到的梯度y；3�对手试图从共享的梯度y'中重构私有图像。0语言理解[16, 20]，医学研究[4, 8, 41]和金融服务[32,50]等隐私敏感场景中，FL被设计为在结构上编码数据最小化原则以保护隐私。然而，最近的研究表明，在某些情况下，通过共享的梯度仍然可以泄漏敏感信息。为了进一步加强FL在这些情况下的隐私属性，已经提出了几种防御策略，以在与服务器共享之前降低梯度信息，例如差分隐私[14,48]，梯度压缩/稀疏化[56]和通过数据表示扰动梯度[44]。这些最先进的隐私防御已经被证明对现有攻击是有效的，通过修改梯度信息以降低其保真度。一个自然的问题是：上述防御措施能否提供足够的隐私保证，以防止客户端的私有数据泄漏？为了调查这个问题，我们将梯度泄漏过程建模为一个逆问题，目标是从客户端共享的低保真度和噪声梯度中重构私有训练数据。现有方法通过迭代地求解最佳数据样本集，以最佳匹配客户端共享的梯度来解决这个逆问题，通过优化过程（例如梯度下降[13, 51]或L-101330然而，这样的问题是不适定的，因为在图像空间中存在无限多组可行解，重建的结果可能不是一个合适的自然图像。为了解决这个问题，现有的攻击[13，51]利用手工设计的图像先验，如总变差[33]，来规范重建过程。尽管在没有防御措施的情况下，这种先验约束相对有效，但我们发现对于从低保真度和噪声梯度观测中重建图像来说，它仍然不够严格（即许多非图像信号可以满足这个约束），导致现有的攻击在应用防御机制（例如差分隐私）时错误地返回不现实的图像，如图1所示。在这项工作中，我们在两个图像数据集上展示了即使在某些防御设置下，从共享梯度中恢复高保真度图像仍然是可行的，通过引入一种新类型的泄漏，即生成式梯度泄漏（GGL）。如图1所示，我们的方法利用从大规模公共图像数据集中学习的生成对抗网络（GAN）[6，15，27]的流形作为先验信息，这提供了自然图像空间的良好近似。通过在GAN图像流形中最小化梯度匹配损失，我们的方法可以找到与客户私人训练数据高度相似且质量高的图像。然而，解决这样一个优化问题并不是简单的，因为梯度算子和GAN潜在空间都是高度非线性和非凸的，并且客户端应用的防御方法也会将噪声注入目标函数。为了解决这个问题，我们通过考虑底层梯度转换设计了一种适应性损失函数，针对常见的防御方法，并采用无梯度优化方法（例如进化策略[19]和贝叶斯优化[10]）在GAN潜在空间中搜索全局最小值。我们通过实验证明，与基于梯度的优化器相比，这样做显著降低了收敛到局部最小值的机会，从而提高了重建图像的质量以及与客户私人图像的相似性。我们注意到，所选择的防御设置和数据集得出的结果可能不具有普遍性。尽管如此，我们期望所提出的方法可以作为联邦学习中隐私审计的一种手段，展示在特定的防御设置下对手可以学到多少，并为未来隐私机制的设计提供帮助。我们的主要贡献总结如下：0•我们提出利用从深度生成模型中学到的先验信息来解决联邦学习中梯度泄漏的逆问题，包括噪声和防御变换。0•我们系统地研究了4种基于梯度降级的防御方法，包括加性噪声、梯度剪辑、梯度压缩和表示扰动，并通过考虑底层梯度转换设计了自适应损失函数。0底层梯度转换。0•为了避免次优解并揭示更多的私人信息，我们比较了不同的无梯度优化器和传统的基于梯度的优化器（例如Adam），并通过实验证明它们在梯度泄漏攻击中在重建图像质量和与客户私人图像的相似性方面的优越性。0• 我们在两个图像数据集（CelebA [31]和ImageNet[9]）上展示了通过所提出的GGL，即使在考虑到的防御措施下，仍然可以从共享梯度中恢复高分辨率图像，而现有的梯度泄漏攻击都失败了。02. 相关工作02.1. 通过梯度进行隐私泄漏0在联邦学习中，关于隐私泄露的研究起源于成员推断，即恶意分析师推断特定数据样本是否参与了训练集[38]。此外，研究人员发现，交换的模型更新可以被用来进一步推断意外的私人信息，例如检索特定输入属性[11，35]（例如，训练数据中的人们是否戴眼镜）。进一步的研究发现，通过生成建模，可以恢复类别级别[24]甚至客户级别的数据代表[47]（即私人训练集的典型样本）。数据重建攻击。最近，Zhu等人[56]展示了一种更严重的隐私威胁，攻击者可以通过求解最佳匹配交换梯度的输入和标签对来完全恢复客户的私人数据样本。后续工作[54]通过提出一种方法来分析提取标签信息，对这种方法进行了改进。然而，这些方法仅适用于使用低分辨率图像训练的浅层网络。Geiping等人[13]的后续研究通过使用不变幅度损失设计，成功将这种攻击扩展到更现实的情景中，从更深的网络（例如ResNet[23]）中恢复ImageNet级别的高分辨率数据。沿着这个方向，Yin等人[51]的最新工作甚至通过利用批归一化统计中编码的强先验知识实现了图像批量重建。尽管有所改进，当前关于数据重建攻击的研究往往假设在目标是一个裸骨的联邦学习系统的理想设置下进行，而不应用任何额外的保护措施或防御措施，这与工业实践相矛盾。02.2. FL中的隐私保护0现有的实现FL隐私保护的研究工作可以大致分为基于密码学和基于梯度降级的方法。ClientServerCommunication ChannelPrivateDataFL ModelGradientsDegradedGradientsApply DefenseGradient Leakage AttackLeakedDataLatent Vector 𝒛Shared Gradients 𝒚LabelInferenceInferred Label 𝑐Generator 𝐺(&)FL Model 𝑓!(&)ReconstructedImage 𝒙∗Gradient-free OptimizerGradient Matching Loss 𝐷Regularization Term 𝑅Gradient Transformation Τ(&)Gradient-based OptimizerUpdate101340一种常见的密码学解决方案是安全多方计算（MPC），其目标是使一组参与方能够共同计算出其私有输入的函数输出，以便只有预期的输出对参与方可见。这可以通过设计自定义协议[1,37]，或通过安全聚合方案（如同态加密[22]和秘密共享[49]）来实现。然而，仅仅依靠MPC是不足以抵抗输出推断攻击的[35,45]。另一方面的研究试图通过有意共享降级梯度来限制泄露的敏感信息量。差分隐私（DP）是量化和限制有关个体用户的隐私披露的标准方法。DP可以应用于服务器端（中央DP）或客户端端（本地DP）。相比之下，本地DP提供了更好的隐私概念，因为它不需要客户端信任任何人。它利用随机化机制在与服务器共享之前扭曲梯度[14,48]。DP对于敌手从发布的数据中学到多少信息提供了最坏情况下的信息论保证。然而，为了使这些最坏情况下的边界最有意义，它们通常涉及添加过多的噪声，这往往会降低训练模型的效用。除了DP，还有证明梯度压缩/稀疏化也可以帮助防止梯度泄露的研究[56]。Sun等人最近的一项工作[44]确定了梯度中的数据表示泄露是FL隐私泄露的根本原因，并提出了一种名为Soteria的防御方法，该方法基于扰动的数据表示计算梯度。结果表明，Soteria可以在保持良好模型效用的同时实现可证明的鲁棒性。03. 方法论03.1. 威胁模型0在大多数现有的数据泄露攻击[13, 51, 54,56]中，对手被认为是一个诚实但好奇的服务器，并且可以访问当前的FL模型以及共享的梯度。如图2a所示，我们进一步假设客户端在其私有数据上本地应用隐私防御，对其计算出的梯度进行了修改，对手只能访问由防御机制修改的降级梯度。对手的目标是从降级梯度中尽可能多地揭示私人信息。对手可能知道或不知道客户端采用的底层防御策略。无论哪种情况，对手都可以尝试通过直接使用这些知识或通过观察到的梯度估计防御参数来发起自适应攻击。此外，我们假设对手可以利用从公开可用数据集（与客户端的私有数据不相交）中提取的知识来促进和改进攻击。0(a) 威胁模型0(b) 提出方法的概述0图2. 威胁模型和提出方法的示意图。03.2. 背景0问题表述。将训练图像x ∈ Rd从其梯度y ∈Rm重建的任务可以被定义为一个非线性逆问题：0y = F(x)，(1)0其中F(x) = �θL(fθ(x),c)是前向算子，用于计算损失L的梯度，该损失由x及其标签c提供，以及由θ参数化的FL模型fθ。当在客户端应用防御时，方程1中定义的重建问题变为：0y=T(F(x))+ε，(2)0其中T(∙)被称为有损转换（例如压缩或稀疏化），ε表示防御算法引入的加性噪声（例如DP）。现有方法[13,51,56]旨在通过在惩罚形式中使用图像先验来解决这个逆问题：0x�=argminx∈RdD(y,F(x))+λω(x)，(3)0其中D(∙)是距离度量，ω(x):Rd→R是标准图像先验（例如总变差[2]正则化），λ是权重因子。这种形式已被证明对从实际梯度重建图像有效。然而，当从一组低保真和噪声梯度进行重建时，这些方法会受到手工设计的先验的有限识别能力的限制，导致它们返回不是有效自然图像的错误解决方案，这在第4.4节中有所说明。3.3.生成梯度泄漏0受深度生成模型在压缩感知方面的成功启发[3,46]，本文旨在利用在公共数据集上训练的生成模型作为学习到的自然图像先验，以确保重建图像的质量。此外，为了进一步考虑产生降低梯度信息的隐私防御，我们提出了一种,(4)where zi is the ith output of the FC layer. Note that com-puting the second term∂zi∂WiF C results in the post-activationoutputs of the previous layer, which will be always non-negative if activation functions like ReLU or sigmoid areapplied. For networks trained with cross-entropy loss onone-hot labels (assuming softmax is applied at the lastlayer), the first term will be negative if and only if i = c.Thus the ground truth label can be retrieved by identifyingthe index of the negative entry of ∇WiF C. The inferred la-bel will be used for evaluating the FL model training lossL(fθ(x), c). For conditional GANs [36], the inferred labelwill also be used as the class condition.Gradient Transformation Estimation. The adversarycan further attempt to mitigate the impact of the defense byadopting a similar transformation when evaluating the lossof reconstructed images. Although the transformation pro-cess at the client’s side isn’t directly known to the adversary,the adversary can estimate the parameters of the transforma-tion through the observed gradients. Specifically, we con-sider the following defensive transformations (i.e., T (·)):(1) Gradient Clipping: A common technique used in DPstudies [14, 48] to restrict the contribution of each individ-ual client.Given a clipping bound S, gradient clipping101350通过估计变换T(∙)并将其纳入优化过程中，实现自适应攻击。具体而言，给定一个训练良好的生成器G(∙)，我们的目标是解决以下优化问题：0z�=argminz∈RkD�y,T�F(G(z))�0� �� �梯度匹配损失0+ λR(G;z)正则化0其中z∈Rk是生成模型的潜在空间，R(G;z)是惩罚偏离先验分布的正则化项，λ是权重因子。一旦获得最优解z�，可以通过G(z�)重建图像。图2b提供了所提方法的概述。接下来我们详细描述每个组件。标签推断。给定共享的梯度，对手可以首先采用分析方法[54]推断与客户端私有图像x相关联的真实标签c。具体而言，对于执行分类任务的FL模型，对于最终全连接（FC）分类层的权重的梯度的第i个条目（表示为�WiFC），给出：0�WiFC=∂L(fθ(x)0∂zi×∂zi0∂WiFC，(5)0S)。在实践中，梯度剪裁通常以逐层的方式进行。对手可以将观察到的梯度在每个层上的ℓ2范数作为估计的剪裁边界。0(2)梯度稀疏化：最初用于减少分布式训练的通信带宽[30]，梯度稀疏化也被报道对抗梯度泄漏攻击有效[56]。具体而言，给定一个剪枝率p∈(0,1)，客户端首先计算|y|的阈值τ←p，然后用它产生一个掩码M←|y|>τ。最后，在转换过程中将掩码应用于梯度，即Tspa(y,p)=y⊙M。这个操作也是逐层进行的。对手可以利用观察到的梯度中非零条目的百分比来估计其稀疏性。(3)表示扰动：最近提出的Soteria[44]防御的核心是通过扰动从单个全连接层L（即被防御的层）学习到的表示来防止数据泄漏，以引起最大的重构误差。假设fr:Rd→Rl是在被防御层之前的特征提取器，将x∈Rd映射到l维数据表示r∈Rl。具体而言，客户端首先通过计算每个表示条目的影响来评估表示的每个条目，计算���ri(�xfr(ri))−1��2:i∈{0,1,...,l−1}�。给定一个剪枝率p∈(0,1)，客户端然后剪枝r中具有最大��ri(�xfr(ri))−1��2值的p×l个元素，得到r'。最后，客户端计算扰动表示r'上的梯度。这可以被看作只将掩码应用于被防御层的梯度：Trep(y,p)=y⊙ML。由于对于给定的x和FL模型fθ，这个过程是确定性的，对手可以根据被防御层梯度的非零条目来逆向工程这个掩码。梯度匹配损失。目标函数（方程4）中的第一项通过最小化生成图像的转换梯度˜y和观察到的梯度y之间的距离，鼓励求解器找到与客户端私有训练图像在生成器的潜在空间中具有上下文相似性的图像。我们探索以下距离度量来计算梯度匹配损失：(1) 平方ℓ2范数[51,54,56]：D1(y,˜y)=∥y−˜y∥22；和(2)余弦距离[13]：D2(y,˜y)=1−0∥ y ∥ 2 ∥ ˜y ∥2。余弦距离是不受幅度影响的，并且等价于优化两个归一化梯度向量的欧氏距离。正则化项。仅使用梯度匹配损失进行优化很可能会产生偏离生成器潜在分布的潜在向量，导致具有显著伪影的不真实图像。为了避免这个问题，我们探索以下损失函数来在优化过程中对潜在向量进行正则化：（1）基于KL的正则化[28]：R1(G;z)=−102 × k i =1 × 1 + log × σ 2 i × −  µ 2 i −  σ 2 i × ，其中µ i 和  σ i分别表示逐元素的均值和标准差。KL项旨在减小潜在分布与标准高斯分布N(0,I)之间的Kullback-Leibler散度（KLD）；（2）基于范数的正则化Reg.Grad.12ers.101360MSE-I ↓ PSNR ↑ MSE-I ↓ PSNR ↑0R 1 0.0320 ± 0.0173 15.6814 ± 2.6387 0.03671 ± 0.0227 15.3471 ± 3.1093 R 2 0.0337 ±0.0206 15.5405 ± 2.7090 0.06290 ± 0.0815 14.3249 ± 4.16270表1. 不同损失函数配置的比较。0正则化[7]：R2(G;z)=(∥z∥22−k)2，惩罚远离先验分布的潜在向量。优化策略。方程4中描述的目标逆问题非常非线性和非凸，因此选择正确的优化策略成为实现良好图像重建的关键因素。现有的数据重建攻击都基于基于梯度的优化器，如L-BFGS[54,56]和Adam[13,51]。这种局部优化策略的结果高度依赖于初始化的选择，并且通常需要多次尝试才能找到一个合适的解决方案。此外，我们发现对于更复杂的生成模型，基于梯度的优化器很可能会收敛到局部最小值，导致重建结果较差。受Huh等人的启发[25]，除了基于梯度的优化器，我们还进一步探索了两种无梯度优化策略来克服这些问题：（1）贝叶斯优化（BO）[43]：BO是一种全局优化方法，可以很好地处理黑盒函数中的随机噪声，这些函数由高斯过程建模。传统的BO在高维问题上的扩展性较差[43]，因此我们采用BO的一种变体，即信任区域BO（TuRBO）[10]，在GAN模型的高维潜在空间中进行全局搜索。（2）协方差矩阵自适应进化策略（CMA-ES）[19]：CMA-ES利用搜索空间上的多元正态采样分布。每一步都通过从该分布中抽样来计算损失进行随机搜索。进化策略使用重组和变异等方法来自适应地更新其均值和协方差矩阵[18]。04. 实验 4.1. 实验设置0FL任务和数据集。我们在两个FL任务上评估我们的方法：（1）性别分类：在CelebFaces属性数据集（CelebA）[31]上进行二元性别分类，图像尺寸为32×32；（2）图像分类：在ImageNet ILSVRC2012数据集[9]上进行1000类图像分类，图像尺寸为224×224。所有任务的FL模型采用随机初始化权重的ResNet-18[23]架构。我们考虑客户端执行一次批量大小为1的本地步骤来计算梯度的情况。实现。对于CelebA数据集，我们使用包含162k图像的训练集在Wasserstein损失和梯度惩罚[17]上训练了一个DCGAN[40]，其余图像用于评估。对于实验0CelebA0原始 Adam BO CMA-ES0ImageNet0图3.不同优化器的可视化比较。右侧的图像是由具有不同随机种子的三种优化器生成的重建样本。0数据集 指标 Adam BO CMA-ES0平均 标准差 平均 标准差 平均 标准差0CelebA0MSE-I ↓ 0.0427 0.0025 0.0813 0.0131 0.0708 0.0008 PSNR ↑ 13.6965 0.259310.9455 0.6816 11.4989 0.0533 LPIPS ↓ 0.1435 0.0083 0.2162 0.0328 0.21360.0133 MSE-R ↓ 0.0003 0.0001 0.0012 0.0003 0.0015 0.00220ImageNet0MSE-I ↓ 0.5918 0.1955 0.2648 0.0181 0.2667 0.0119 PSNR ↑ 2.4433 1.35655.7783 0.2992 5.7420 0.1988 LPIPS ↓ 0.7983 0.0280 0.6166 0.0590 0.57360.0209 MSE-R ↓ 0.1051 0.0703 0.0035 0.0005 0.0018 0.00020Table 2. 不同优化器的定量比较。0在ImageNet数据集上，我们使用作者发布的预训练BigGAN [ 6 ]进行评估[ 5]。请注意，FL任务是在与GAN训练集不相交的评估集上执行的。我们使用在应用防御措施后从FL模型计算的梯度进行重构。除了定性的视觉比较之外，我们还使用以下指标定量评估目标图像与重构图像之间的相似性：(1) 均方误差-图像空间(MSE-I↓)：目标图像与重构图像之间的逐像素均方误差；(2)峰值信噪比(PSNR↑)：最大平方像素波动与目标图像与重构图像之间的均方误差之比；(3) 学习的感知图像块相似性(LPIPS ↓)[ 52 ]：由VGG网络[ 42]测量的目标图像与重构图像之间的感知图像相似性；(4) 均方误差-表示空间(MSE-R↓)：目标图像与重构图像之间在学习表示空间中的均方误差，即最终分类层[ 44]之前的特征向量。请注意，“↓”表示指标越低，图像质量相对越高，“↑”表示指标越高，图像质量越高。4.2. 损失函数的选择0我们首先评估不同损失函数配置的性能。我们随机选择CelebA数据集评估集中的10张图像，并测量使用Adam优化器对原始图像及其重构图像之间的MSE-I和PSNR分数的均值和标准差。从表1中的结果可以看出S ↓MSE-R ↓DLG [56]0.64791.88430.81970.00210.20976.78310.73750.03260.33354.76790.79860.01550.36244.40690.80070.0285iDLG [54]0.62612.03290.82090.00250.19607.07620.72800.03260.33014.81240.80350.01620.32694.85530.80360.0396IG [13]0.48803.11510.82600.00970.054312.65170.29980.00030.41033.86870.79750.01130.34414.63260.80080.0316GI [51]0.57382.41160.83020.00230.17907.47010.71420.03220.29585.28880.77750.01630.31794.97680.79910.0409GGL0.078011.07660.19060.00100.076011.19020.16700.00150.076811.14660.16200.00070.096810.14340.25610.0007DLG [56]0.74381.28520.93530.00490.38094.19120.97982.16100.44323.53360.89070.00750.59902.22530.91950.5415iDLG [54]0.73521.33590.93920.00410.36994.31900.94731.88100.43573.60770.89350.00770.60892.15420.91980.5425IG [13]0.30815.11200.86770.44900.14328.43860.74760.02140.29935.23760.88050.05010.36834.33730.87000.5057GI [51]0.65931.80900.94480.00310.37024.31540.94511.88070.44043.56110.88890.00720.62352.05110.91690.5792GGL0.26865.70890.59150.00180.22306.51630.55920.00150.21416.69200.51700.00170.24846.04770.56850.0022101370Table 3. 不同防御方法下与最先进方法的定量比较。0数据集 攻击 添加噪声[ 44 , 56 ] 梯度裁剪[ 14 , 48 ] 梯度稀疏化[ 56 ] Soteria[ 44 ]0CelebA0ImageNet0我们观察到使用平方ℓ2范数（D1）来计算梯度匹配损失，并以KLD作为正则化项（R1），可以得到最佳的重构图像质量。因此，我们在此之后使用这种损失配置来分析不同优化器和防御策略的影响。04.3. 优化策略的选择0接下来，我们研究不同优化器对重构结果的影响。我们随机选择CelebA和ImageNet数据集中的图像来计算重构，并通过改变其随机种子重复实验。Adam、BO和CMA-ES的更新次数分别设置为2500、1000和800。我们在表2中总结了结果，并在图3中提供了重构样本的可视化。我们发现，基于梯度和无梯度的优化器在CelebA数据集上表现相似，Adam在视觉和统计上都稍微好一些。然而，在ImageNet数据集上，基于梯度的Adam优化器无法从梯度中恢复出任何有用的信息，除了类别标签。此外，它的重构结果高度依赖于初始化。另一方面，无梯度的优化器（BO和CMA-ES）仍然能够找到与原始私有图像相似的样本，并且对不同的初始化条件更具韧性。导致这种性能差异的原因有两个：（1）CelebA数据集中的图像对齐良好，而ImageNet数据集具有更多样化的数据分布；（2）用于生成高分辨率ImageNet数据的生成器具有更深和更复杂的结构，这使得基于梯度的优化器难以在其潜在空间中找到一个投影。基于这一观察，我们选择使用CMA-ES作为在各种防御设置下进行实验的优化器。04.4. 与现有梯度泄漏攻击方法的比较（在防御下）0攻击基线。我们将我们的方法与几种最先进的攻击方法进行比较：（1）梯度泄漏攻击（DLG）[56]：使用ℓ2梯度匹配损失和L-BFGS优化器的梯度泄漏攻击；（2）改进的梯度泄漏攻击（iDLG）[54]：带有标签推断的改进DLG攻击；（3）反转梯度（Inverting Gra-0梯度（IG）[13]：使用余弦距离作为损失和总变差作为先验的梯度泄漏攻击，使用Adam进行优化；（4）GradInversion（GI）[51]：使用ℓ2梯度匹配损失和Adam优化器的梯度泄漏攻击。0我们按照作者发布的代码库[12, 53,55]实现了这些攻击。在我们对GI的实现中，我们考虑了一个更严格的情况，即对手不知道批归一化统计信息。对于基于二阶的DLG和iDLG攻击，我们使用L-BFGS优化器在CelebA数据集上进行300次优化迭代，在ImageNet数据集上进行1200次迭代来重构数据。至于基于一阶的IG和GI攻击，我们使用Adam优化器，初始学习率为0.1，在CelebA上进行8000次迭代，在ImageNet上进行24000次迭代。根据不同的随机种子，几种现有方法的性能差异很大。为了减轻这个问题，每个攻击进行4次试验，并选择具有最低损失的最佳结果作为最终重构结果。0防御方案。根据之前的研究[44,56]，我们选择了一个相对严格的防御设置来进行评估：（1）加性噪声[44, 56]：将高斯噪声ε � N(0,σ^2I)注入到梯度中，其中σ = 0.1；（2）梯度剪裁[14,48]：将梯度值剪裁到S =4的范围内；（3）梯度稀疏化[56]：对梯度进行基于幅度的修剪，以达到90%的稀疏度；（4）Soteria[44]：使用80%的修剪率在扰动表示上生成梯度。0结果。表3比较了提出的GGL方法与其他梯度泄漏攻击方法的性能。我们的一般观察是，现有的攻击方法在存在任何隐私防御机制的情况下都难以重建出逼真的图像，而我们提出的GGL能够合成与原始图像相似的高质量图像，在CelebA数据集上的测得PSNR >10.1，在ImageNet数据集上的测得PSNR >5.7。唯一的例外是我们发现梯度剪切对IG攻击的影响非常小。这是因为将梯度剪切到ℓ2范数只会改变梯度的幅度，不会影响角度信息（即方向）。因此，尽管梯度剪切会增加基于梯度之间的欧氏距离的攻击的重建误差，但它不会影响Additive NoiseGradient ClippingClipping + NoiseOriginal8.32406.27445.4245neously applying gradient clipping and additive noise (i.e.,the privacy defense used in local and distributed DP). Weobserve that the high-resolution image can still be recon-structed under these defenses, and combining gradient clip-ping and additive noise would lead to a relatively worse re-construction with the lowest PSNR. We thus believe thisattack can also be used as a means of auditing local DP.4.5. Impact of Defense Parameter101380加性0噪声0梯度0剪切0稀疏化Soteria0IG [13] GI [51] GGL Original iDLG [54]0（a）CelebA（32×32像素）0加性0噪声0梯度0剪切0稀疏化Soteria0原始DLG [56] IG [13] GI [51] GGL iDLG [54]0（b）ImageNet（224×224像素）0图4. 在各种隐私防御下，与攻击基线的重建结果比较，包括CelebA和ImageNet数据集。0图5. 在ImageNet数据集上对Soteria[44]防御的重建结果：（上）原始图像及其（下）由GGL重建的图像。0IG攻击使用不变的余弦距离计算其梯度匹配损失。将剪切到L∞范数可以解决这个问题，但现有的差分隐私机制没有采用，因为它会导致较差的ℓ2界限。我们还注意到，与梯度稀疏化相比，使用Soteria防御从扰动的数据表示中产生的梯度进行重建会导致更高的均方误差，无论是在图像空间还是表示空间。尽管如此，这种防御仍然可以被我们的自适应攻击绕过。从图4的可视化结果中，我们可以看到，除了在梯度剪切的情况下的IG攻击外，现有攻击的重建图像并没有透露出关于原始图像的太多信息。我们还观察到，在CelebA数据集上，当应用防御措施时，我们提出的方法GGL无法重建出原始图像中人物的确切面部，但它成功地揭示了几个关键属性，包括性别、发型、发色、肤色、头部姿势，甚至背景颜色。即使在更具挑战性的ImageNet数据集上，我们的方法仍然能够在这些防御措施下产生高质量的重建图像，揭示原始图像的构成。图5展示了在ImageNet数据集上对Soteria防御的更多样本。结合剪切和噪声添加。此外，我们还评估了我们对多种防御机制的组合攻击。图6比较了在3种防御设置下的重建结果：添加噪声（σ = 0.1），梯度剪切（S =4），同时应用梯度剪切和添加噪声（即本地和分布式差分隐私中使用的隐私防御）。我们观察到，在这些防御措施下仍然可以重建出高分辨率的图像，而将梯度剪切和添加噪声结合使用会导致相对较差的重建结果，具有最低的PSNR。因此，我们相信这种攻击也可以用作审计本地差分隐私。4.5. 防御参数的影响0图6.组合防御的示意图：（左）原始图像及其（右）由GGL重建的图像。下方显示了与原始图像相对应的峰值信噪比（PSNR）。0我们接下来将Soteria [ 44]防御应用于CelebA数据集作为一个案例研究，以调查不同防御参数的影响。我们使用攻击基线和提出的GGL来生成重建图像，同时将修剪率从0％变化到80％，并在图7中总结结果。作者在原始论文[ 44 ]中报告说，DLG [ 56 ]和IG [ 13]攻击可以容忍Soteria防御在CIFAR10数据集上的修剪率高达40％。然而，我们观察到在CelebA数据集上，修剪率为10％的防御已经对这些攻击的重建结果产生了显著影响。这可能是因为Soteria防御主要影响产生类级数据表示的全连接层。与CIFAR10不同，CelebA数据集的类别标签不直接揭示有关主题的上下文信息（例如，人物的身份）。相反，它只编码非常粗粒度的信息（即性别），因此更容易受到扰动的影响。换句话说，与类别标签纠缠在一起的隐私信息更有可能通过梯度泄漏。尽管如此，无论修剪率如何，所提出的方法仍然可以可靠地恢复人物的轮廓。15.337710%20%40%80%12.71107.887011.998313.57024.67644.65254.55484.65674.87644.34384.59714.51295.10484.66275.05594.60794.71284.98604.8