保护面部隐私的化妆转换生成对抗性身份遮罩

70.838/62.423/0.44574.097/66.961/0.614150140保护面部隐私：通过具有风格鲁棒性的化妆转换生成对抗性身份遮罩0Shengshan Hu 1, 4, 5, 6 , Xiaogeng Liu 1, 4, 5, 6 , Yechao Zhang 1, 4, 5, 6 , Minghui Li 30Leo Yu Zhang 8 , Hai Jin 2, 4, 5, 7 , Libing Wu 901 华中科技大学网络空间安全学院 2 华中科技大学计算机科学与技术学院 3华中科技大学软件工程学院 4 国家大数据技术与系统工程研究中心 5服务计算技术与系统实验室 6 湖北省大数据安全工程研究中心 7 集群与网格计算实验室 8Deakin大学信息技术学院 9 武汉大学网络空间安全学院0{ hushengshan, liuxiaogeng, ycz, minghuili, hjin } @hust.edu.cn0leo.zhang@deakin.edu.au, wu@whu.edu.cn0摘要0尽管深度人脸识别（FR）系统在识别和验证方面表现出色，但它们也引起了用户隐私的关注，特别是对于广泛传播在社交网络上的公开人脸图像。最近，一些研究采用对抗性示例来保护照片免受未经授权的人脸识别系统的识别。然而，现有的生成对抗性人脸图像方法存在许多限制，如视觉效果不佳、白盒设置、转移能力较弱，使得它们难以在现实中应用于保护人脸隐私。本文提出了一种新颖的对抗性化妆转换生成对抗网络（AMT-GAN）方法，旨在构建能够同时保持更强的黑盒转移能力和更好的视觉质量的对抗性人脸图像。AMT-GAN利用生成对抗网络（GAN）从参考图像中合成具有化妆效果的对抗性人脸图像。特别地，我们引入了一个新的正则化模块以及联合训练策略，以解决化妆转换中对抗性噪声和循环一致性损失之间的冲突，实现攻击强度和视觉变化之间的理想平衡。大量实验证明，与现有技术相比，AMT-GAN不仅可以保持舒适的视觉质量，还可以在商业人脸识别API上实现更高的攻击成功率，包括Face++、阿里云和微软。01 https://github.com/CGCL-codes/AMT-GAN0(c) 源图像0(d) 我们的0(a) 基于补丁的0(b) 基于扰动的0GenAP-DI0Adv-Hat Adv-Glasses0TIP-IM0图1.在黑盒设置下与现有对抗攻击人脸识别系统的比较。图中的图像直接摘自相关论文。图像下方列出的数字是商业人脸识别API给出的目标身份验证置信度，较高的分数表示更强的攻击能力。蓝色来自Face++，绿色来自阿里云，红色来自微软Azure（后续将使用相同的颜色编码）。0包括Face++、阿里云和微软。01. 引言0近年来，基于深度神经网络（DNN）的人脸识别（FR）得到了快速发展。150150然而，强大的人脸识别系统也对个人隐私构成了巨大威胁。例如，已经证明人脸识别系统可以用于通过大规模照片分析来识别社交媒体个人资料并追踪用户关系。这种对用户的过度监视迫切需要一种有效的方法来帮助个人保护他们的人脸图像免受未经授权的人脸识别系统的侵害。0向恶意人脸识别模型的训练数据集或画廊数据集发动数据污染攻击是保护人脸隐私的一种有前途的解决方案[3,29]。然而，这些方案要求攻击者（即我们场景中的用户）能够将有毒的人脸图像注入数据集中。一旦目标模型经过训练或对干净数据集进行推理，它们很可能变得无效。0另一种策略是利用对抗样本发动规避攻击，保护人脸图像免受非法识别[26, 32,40]。对抗性人脸图像更适合在现实场景中保护用户隐私，因为它们只需要修改用户自己的数据，而不考虑目标模型的设置。不幸的是，现有的生成对抗性人脸示例的方法在考虑在社交媒体上保护人脸隐私时存在一些限制：(1)对目标模型的可访问性。大多数现有的方案属于白盒攻击（即，攻击者完全了解目标模型）[11,24]，或者基于查询的黑盒攻击（即，攻击者可以任意查询目标模型）[9]。对于保护用户隐私来说，这些方法是不可行的，因为用户不知道第三方追踪器正在运行哪种类型的深度神经网络；(2)图像质量较差。如图1所示，现有的人脸识别系统的对抗攻击无法在黑盒设置中保持图像质量。基于补丁的对抗攻击[22,37]通常会在源图像上引起相当奇怪和显眼的变化，而最先进的扰动方法[40]会使修改后的人脸充满尴尬的噪音；(3)传递性较弱。图1还表明，现有技术在商业API上的攻击成功率相对较低。总之，在黑盒设置中平衡对抗性人脸图像的视觉质量和攻击能力仍然具有挑战性。在本文中，我们从一个新的角度解决了这个问题。与现有的试图对扰动施加多种限制，然后挖掘更好的基于梯度的算法来构建对抗性示例的方法不同，我们专注于组织扰动，尽管扰动广泛可见，但以合理的方式出现，使其看起来自然舒适，同时保持较高的攻击能力。因此，我们利用化妆作为安排扰动的关键思想。具体而言，我们提出了一种名为对抗性化妆转移GAN（AMT-GAN）的新框架，用于生成对抗性人脸图像。0ATM-GAN首先利用一组生成对抗网络构建对抗性示例，这些示例可以从参考图像中继承化妆风格。为了调和化妆转移中的对抗噪声和循环一致性损失之间的冲突，我们通过利用编码器-解码器架构中的解缠结功能和图像超分辨率中的残差稠密块，引入了一个新设计的正则化模块。因此，在循环重建阶段可以相容地减轻对抗性毒性，使生成器专注于在源域和目标风格域之间建立具有对抗性特征的稳健映射。此外，我们引入了一种联合训练策略，将传统的GAN训练中的G-D博弈和新设计的正则化模块以及增强传递性的过程整合在一起，以鼓励生成器捕捉、模仿和重构可以在不同模型之间有效传递的常见对抗性特征。0据我们所知，我们提出了第一个联合训练框架，用于解决当图像到图像翻译GAN用于制作对抗样本时，循环一致性的崩溃现象和生成器的域映射问题。当考虑GAN时，我们的联合训练框架可以扩展到其他安全敏感领域，例如Deepfake[35]。总之，我们做出了以下贡献：0•我们提出了AMT-GAN，一种更实用的方法，用于保护面部图像免受未经授权的面部识别系统的攻击，通过构建具有出色黑盒攻击性能和自然外观的对抗性示例，从任意选择的参考图像中提取化妆风格。0•我们设计了一个基于特征解缠的正则化模块，以提高对抗图像的视觉质量，然后开发了一个联合训练流程，训练生成器、判别器和正则化模块，使生成器能够同时完成两个任务（即化妆转换和对抗攻击），并在不同数据流形之间建立稳健的映射。0•我们在多个基准数据集上进行了广泛的实验，验证了AMT-GAN在攻击各种深度面部识别模型方面的高效性，包括商业面部验证API（如Face++ 2、Aliyun3和Microsoft4），我们的结果超过了现有技术约4%�60%。02 https://www.faceplusplus.com 3https://vision.aliyun.com 4https://azure.microsoft.com150160� �0数据流对抗损失路径循环损失路径GAN损失路径0�0��0干净图像0对抗图像0目标图像0单次训练应用0�0���0�0���0�0���0�0���0�0���0源 �0参考 y0目标 �0�(�, �)0�(�, �) �(� �, � )0�(� �, � )0�(� � � �, � , � )0模块 �0� 1  �, � … � �  �, � � 的输出0� � � 1 � 2 …0本地模型0以概率 � 进行转换0来源0参考文献0对抗0图像0目标身份0图2. AMT-GAN的架构02. 相关工作0为了保护面部隐私，AMT-GAN利用了对抗性示例，这些示例最初是为了在机器学习社区中禁用DNNs而设计的。因此，我们首先讨论了在隐私保护背景下的对抗攻击的现有工作，然后介绍了最近关于风格转换的研究。02.1. 面部识别的对抗攻击0广泛的研究表明，DNN对对抗性示例极其脆弱[11, 24,32]，并且已经开发出许多用于攻击面部识别系统的对抗性算法[9, 25, 30,37]。根据对手对目标模型的了解程度，对抗性面部攻击可以分为白盒攻击和黑盒攻击。白盒攻击[11, 18,24]和基于查询的黑盒攻击[9,13]在实践中严重依赖于对目标模型的可访问性，这是一个严格的前提条件。基于可转移性的黑盒攻击因此更适合于保护现实世界场景中的面部图像[7, 37, 40,44]。然而，大多数现有的基于可转移性的攻击[7,38]都是设计来解决一个优化问题，这不仅耗时，而且很容易陷入过拟合并降低可转移性[37]。此外，为了在不同的黑盒模型上保持攻击强度，基于可转移性的攻击通常会生成带有可察觉噪声的图像[7,8]。最近的工作[40]尝试通过添加新的惩罚函数来解决这个问题，以适应保护隐私的场景。然而，如图1所示，扰动仍然很大。使用GAN[10]来制作对抗样本[36]可以在图像噪声方面取得改进，但在对抗任务中，对于高清晰度的数据，保持GAN的稳定性仍然具有挑战性[25]。0转而通过交换GAN中面部图像的潜在特征来制作对抗样本，然而，它会显著改变原始面部属性（例如将闭嘴变成张嘴），这对社交媒体用户来说是不可取的。基于补丁的对抗性攻击FR系统[22,30,37,41]也由于同样的原因而不兼容。02.2. 风格转移和化妆品转移0风格转移[4]是一种图像到图像的翻译技术，旨在分离和重新组合图像的内容和风格信息。基于风格转移框架，化妆品转移[1,5,12,19,23]被提出，旨在将参考图像的化妆风格转移到源图像上，同时保持面部识别结果不变。风格转移和化妆品转移都依赖于循环一致性损失或其变体[43,45]来保持源图像的稳定性。最近，[46]首次尝试利用化妆品转移在白盒设置中生成对抗性面部图像。然后，[41]试图构建具有可转移性属性的对抗性化妆品面部图像，以实现黑盒攻击。然而，它不仅攻击成功率低，而且无法保持图像的视觉质量，其中添加到源图像的修改是异常和明显的，特别是当参考和源图像之间的风格差异显著时，如我们的实验图4所示。0文献表明，对抗性噪声可能导致循环一致性损失的功能障碍[27,39]，并在本文中得到了证实。在文献中，将化妆品转移与对抗性示例和谐地结合起来仍然具有挑战性，生成一个在黑盒面部上保持高攻击成功率的自然对抗性面部图像𝑥𝐺(𝑥, 𝑦)𝐺(𝐺 𝑥, 𝑦 , 𝑥)𝐺𝐺𝐿𝑐𝑦𝑐𝑙𝑒(a)𝑥𝐺(𝑥, 𝑦)𝐺𝐺𝐺(𝐺 𝑥, 𝑦 , 𝑥)Unexpected Domain(b)𝑥𝐺(𝑥, 𝑦)𝐻(𝐺 𝑥, 𝑦)𝐺(𝐻(𝐺 𝑥, 𝑦) , 𝑥)𝐻(𝐺(𝐻 𝐺 𝑥, 𝑦) , 𝑥 )𝐺𝐺𝐻𝐻𝐿𝑐𝑦𝑐𝑙𝑒Domain 𝑋Domain 𝑌Adversarial Domain 𝑋𝐴Adversarial Domain 𝑌𝐴(c)minxA Ladv = D(Mk(xA), Mk(z)),(1)150170图3. (a) 循环一致性损失的正常循环路径；(b)由对抗性噪声引起的损坏循环路径；(c)我们的正则化循环一致性损失的恢复循环路径。0识别系统。03. 对抗性化妆品转移GAN（AMT-GAN）03.1. 问题形式化0在本节中，我们对FR系统上的化妆品转移进行对抗性攻击的问题进行了形式化。为了有效保护面部隐私免受恶意FR模型的侵害，我们主要考虑目标定向的对抗性攻击（即冒名攻击），旨在生成被识别为指定目标身份的对抗性示例。一般来说，FR系统上的目标定向对抗性攻击可以形式化为：0其中D(∙)表示距离函数，如交叉熵或余弦相似度，Mk表示用于FR的基于DNN的特征提取器，xA和z分别表示对抗性面部图像和目标图像。至于化妆品转移，令X，Y �RH×W×3表示源图像和参考图像的化妆风格域。在这里，我们使用x ∈ X和y ∈ Y表示干净的面部图像，xA ∈ X和yA∈Y表示它们的对抗性面部图像。期望通过对抗性化妆品转移训练一个函数G：{x，y} →˜yAx，其中对抗性图像˜yAx具有与y相同的化妆风格和与x相同的视觉身份。03.2.详细构造0AMT-GAN的架构如图2所示。生成器G和判别器D X，DY。生成器G应该为0源图像，同时确保视觉身份保持不变，但妆容风格从源域变化到参考域。判别器D X和DY应该能够区分G生成的假图像的分布和真实图像的分布。数学上，GAN的损失函数定义如下：0L gan D0−log D Y (y) −log(1−D Y (G(x,y))), (2)0L gan G = −log(D X (G(y,x))) −log(D Y (G(x,y))).0（3）为了在没有监督训练数据的情况下学习源域和参考域之间的双向映射（即X→Y，Y→X），我们还利用了循环一致性损失函数[45]，这是无监督图像到图像转换任务中的关键要素。一般来说，循环一致性损失函数如图3a所示，表示为：0L cycle = ∥G(G(x,y),x)−x∥1, (4)0其中∥∙∥1表示L1范数。0然而，循环一致性损失与对抗性示例相冲突。如图3b所示，在建立逆映射YA→X时，生成的对抗性示例G(x,y)被作为G的第一个输入。由于对来自干净域X的样本进行对抗性修改，G可能无法提取G(x,y)的特征，因此无法将来自对抗性域YA的输入从对抗性域YA转换回干净域X。因此，恢复的G(G(x,y),x)可能与源图像x显著不同，即G(G(x,y),x)位于意外的域而不是域X。简而言之，由于G的输出具有对抗性质，G很难建立一个稳健的逆映射YA→X。这种现象使得现有的循环一致性损失不适用于生成具有妆容转换的对抗性人脸图像（见我们的消融研究图6）。正则化模块H。为了确保循环一致性正常工作，我们在框架中引入了一个正则化模块H。H的设计目的是生成与G(x,y)具有相同内容、风格和维度但没有对抗性质的干净图像H(G(x,y))。换句话说，H将从对抗性域YA转换生成的图像G(x,y)转换为干净域Y。G和H的组合保持了一个新的循环一致性，即循环X→YA，YA→Y，然后Y→XA，XA→X，如图3c所示。为了找到一个有效的H，我们首先选择一对编码器和解码器作为H的基本架构。然后，我们利用残差内残差稠密块（RRDB）作为关键LadvG=12KK+12KKLadvH=12KK+12KK(8)150180H的块。RRDB在图像超分辨率领域广泛使用[33]。这些块将在提取和丢弃对抗扰动的同时保持和恢复输入的内容和纹理信息。在我们的设计中，正则化模块H遵循与主网络G和D相同的训练过程。新设计的正则化循环一致性损失公式如下：0L reg G =∥H(G(H(G(x,y)),x))−x∥1+∥H(G(H(G(y,x)),y))−y∥1. (5)0此外，H应该在减轻对抗效果的同时保持G的输出在视觉上不变。因此，我们让H通过D X和DY的回报来承担惩罚，这鼓励H在风格转换中重建G的真实性能，定义如下：0L gan H = - log( D X ( H ( G ( y, x )))) - log( D Y ( H ( G ( x, y )))) .0（6）请注意，在等式（2）中，我们没有将H的性能包括在LganD中，因为我们希望保持生成器和判别器之间的两人零和博弈稳定，并且根据H的性能调整DX和DY是不必要的。0转移增强模块M。M由K个预训练人脸识别模型{Mk}k=1,...,K组成，这些模型在公共人脸图像数据集上具有高准确性。当我们训练GAN并尝试模仿我们无法访问的潜在目标模型的决策边界时，这些本地模型充当白盒模型。在我们的方法中，受[7,38]的启发，我们使用输入多样性增强的集成训练策略来鼓励G生成具有高可转移性和黑盒攻击成功率的对抗性示例。对抗性定义如下：0k = 1 1 - cos[ M k ( z ) , M k ( T ( G ( x,y ) , p ))]0k = 1 1 - cos[ M k ( z ) , M k ( T ( G ( y,0（7）其中Mk表示第k个本地预训练白盒模型的特征提取器，我们使用余弦相似度作为距离函数。T(∙)表示变换函数，p是预定义的是否对G(x,y)进行变换的概率。具体来说，我们选择图像调整大小和高斯噪声作为变换函数。两者都可以降低0算法1 AMT-GAN的完整训练过程输入：源图像集X；参考图像集Y；目标图像z；生成器G；正则化模块H；判别器DX，DY；本地模型M；优化器Adam。参数：迭代次数T；超参数Λ。输出：网络DX，DY，G，H的参数ωG，ωDX，ωDY，ωH。01: 初始化ω G，ω D X，ω D Y，ω H。2:对于i从0到T-1，执行以下操作：3:随机选择源图像x∈X和参考图像y∈Y作为生成器G的输入04: 使用固定的G和H更新DX和DY；05: 在等式（12）中计算LD；06: ω D X ← Adam ( ω D X , L D )07: ω D Y ← Adam ( ω D Y , L D )08: 使用固定的D和H更新G；09: 在等式（13）中计算LG；010: ω G ← Adam ( ω G , L G )011: 使用固定的G和D更新H；012: 在等式（14）中计算LH；013: ω H ← Adam ( ω H , L H ) ;014: 结束循环15:返回ωG，ωDX，ωDY，ωH。0对于其对抗性示例的攻击强度，其对抗性修改在不同的黑盒模型之间具有微弱的可转移性。因此，H的对抗性攻击损失定义为：0k = 1 1 - cos[ M k ( x ) , M k ( H ( G (x, y )))]0k = 1 1 - cos[ M k ( y ) , M k ( H ( G (y, x )))] ,0请注意，由于H不需要拥有可转移性，因此输入多样性不包括在内。辅助目标。直方图匹配[23]，表示为HM(x,y)，通常用于模拟参考y的颜色分布，同时保留x的内容信息。在这里，我们使用这个目标函数来确保嘴唇、眼影和面部区域的化妆相似性以及H的重构能力。具体而言，化妆损失定义为：0L make G = ∥ G ( x, y ) - HM ( x, y ) ∥ 2 + ∥G ( y, x ) - HM ( y, x ) ∥ 2 , (9)0LmakeH = ||H(G(x, y)) - HM(x, y)||2 + ||H(G(y,x)) - HM(y, x)||2. (10)150190此外，当参考图像是源图像本身时，生成器G和正则化模块H被期望保留原始内容和风格信息，这被称为自重构。对于生成器G来说，这个目标非常重要，可以保持资源图像的结构信息，避免面部属性的失真。自重构路径定义如下：0LidtG,H = ||H(G(x, x)) - x||1 + LPIPS(H(G(x, x)), x)0(11)其中LPIPS[42]函数衡量两个图像之间的感知相似性。总损失。DX和DY的总损失如下所示：0LD = LganDΛT. (12)0G的总损失定义如下：0LG = (LganG, LregG, LadvG, LmakeG, LidtG,H)ΛT, (13)0H的总损失定义如下：0LH = (LganH, LadvH, LmakeH, LidtG,H)ΛT, (14)0其中Λ=(λgan, λreg, λadv, λmake,λidt)表示超参数。整个训练过程如算法1所示。04. 实验04.1. 实验设置0实现细节。我们按照[19]中的方法构建了AMT-GAN的G、DX和DY的架构。对于训练过程，超参数λGAN、λreg、λadv、λmake和λidt分别设置为10、10、5、2和5。我们使用Adam优化器[21]进行AMT-GAN的训练，学习率为0.0002，并将指数衰减率设置为(β1，β2)=(0.5，0.999)。竞争对手。我们实现了多个对抗攻击的基准方案，包括PGD[24]、MI-FGSM[7]、TI-DIM[8]、TIP-IM[40]和Adv-Makeup[41]，用于进行比较。需要注意的是，PGD、MI-FGSM和TI-DIM因其强大的攻击能力而非常有名，TIP-IM是一项最近的工作，利用对抗性样本保护面部隐私，而Adv-makeup是与我们最相关的方案，也利用化妆转换生成具有可转移性的对抗性人脸图像。数据集。按照[2,19]的方法，我们使用化妆转换(MT)数据集[23]作为训练数据集，其中包含1115张非化妆图像和2719张化妆图像。我们选择两个数据集作为我们的测试集：(1)CelebA-HQ[20]是一个质量很高的人脸图像数据集，包含1000张具有不同身份的人脸图像。(2)LADN-数据集[12]是一个化妆数据集，包含333张非化妆图像和302张化妆图像。我们使用332张非化妆图像作为测试图像。我们将所有测试图像分成4组，并将每组的图像指定为相同的目标身份。目标模型。按照[41]的方法，我们进行了大量实验来攻击4个流行的黑盒FR模型，包括IR152[14]、IRSE50[17]、Facenet[28]和Mobileface[6]，以及3个商业FR API，包括Face++、Aliyun和MicrosoftAzure。评估指标。按照现有的冒充攻击[37,41]，我们使用攻击成功率(ASR)来评估不同方法的攻击能力。我们计算黑盒测试的FAR@0.01下的ASR。对于商业API，我们直接记录FR服务器返回的置信度分数。较高的置信度分数表示受害者FRAPI更有可能认为两个输入图像是同一个人。我们还使用FID[15]、PSNR(dB)和SSIM[34]来评估图像质量。FID衡量两个数据分布之间的距离，通常用于研究生成的数据集是否与真实世界中提取的数据集一样自然。PSNR和SSIM是广泛使用的衡量两个图像之间差异的方法。0一个被广泛使用的高质量人脸图像数据集。对于测试，我们选择CelebA-HQ的一个子集，其中包含1000张具有不同身份的人脸图像。(2)LADN-数据集[12]是一个化妆数据集，包含333张非化妆图像和302张化妆图像。我们使用332张非化妆图像作为测试图像。我们将所有测试图像分成4组，并将每组的图像指定为相同的目标身份。目标模型。按照[41]的方法，我们进行了大量实验来攻击4个流行的黑盒FR模型，包括IR152[14]、IRSE50[17]、Facenet[28]和Mobileface[6]，以及3个商业FR API，包括Face++、Aliyun和MicrosoftAzure。评估指标。按照现有的冒充攻击[37,41]，我们使用攻击成功率(ASR)来评估不同方法的攻击能力。我们计算黑盒测试的FAR@0.01下的ASR。对于商业API，我们直接记录FR服务器返回的置信度分数。较高的置信度分数表示受害者FRAPI更有可能认为两个输入图像是同一个人。我们还使用FID[15]、PSNR(dB)和SSIM[34]来评估图像质量。FID衡量两个数据分布之间的距离，通常用于研究生成的数据集是否与真实世界中提取的数据集一样自然。PSNR和SSIM是广泛使用的衡量两个图像之间差异的方法。0我们的所有实验都在RTX3090 GPU 24GB *1上进行。有关更多实现细节和实验结果，请参阅我们的补充材料。04.2.比较研究0对黑盒攻击的评估。Tab.1显示了对四个在公共数据集上具有高准确性的预训练模型进行的黑盒攻击。对于每个目标模型，其他三个模型将作为集成训练模型。请注意，对于Adv-makeup，这三个模型将作为元学习模型。结果表明，AMT-GAN在黑盒设置中具有强大的攻击能力。0图像质量评估。Tab.2显示了图像质量的定量评估。值得注意的是，与TIP-IM相比，虽然我们的方法在PSNR(db)和SSIM方面表现较差，但AMT-GAN在FID结果上表现更好。这表明我们的方法生成的图像比TIP-IM更具自然外观，尽管它们改变了更多的信息。这验证了我们的观点，即安排扰动比简单限制扰动更重要。我们进一步附上了PSGAN [ 19]的结果，它是最著名的化妆转换方案，以展示在化妆转换领域这三个指标获得类似的评估结果是正常的。61.299/46.489/0.099157.858/30.706/0.098872.359/57.017/0.392950.042/24.952/0.090246.064/26.240/0.089569.627/44.137/0.111144.177/44.798/0.099938.499/36.036/0.097565.145/52.334/0.402329.037/29.887/0.085618.282/23.717/0.084564.704/50.560/0.3878IRSE50IR152FacenetMobilefaceIRSE50IR152FacenetMobilefacePGD [24]36.8720.681.8543.9940.0919.593.8241.09MI-FGSM [7]45.7925.032.5845.8548.925.576.3145.01TI-DIM [8]63.6336.1715.357.1256.3634.1822.1148.30Adv-Makeup [41]21.959.481.3722.0029.6410.030.9722.38TIP-IM [40]54.437.2340.7448.7265.8943.5763.5046.48AMT-GAN76.9635.1316.6250.7189.6449.1232.1372.43FID( )PSNR( )SSIM( )150200源图像 Adv-Makeup AMT-GAN0源图像 Adv-Makeup AMT-GAN0图4. Adv-Makeup和AMT-GAN之间的视觉质量比较。每个图像下面的数字表示商业API返回的置信度分数。0CelebA-HQ LADN数据集0干净 7.29 3.80 1.08 12.68 2.71 3.61 0.60 5.110表1.黑盒攻击的攻击成功率（ASR）评估0此外，Adv-makeup在所有定量评估中似乎表现良好。然而，在Tab.1中展示的攻击成功率非常低。此外，我们对Adv-Makeup和AMT-GAN进行了视觉图像质量的定性比较，两者都基于化妆转换构建对抗性人脸图像。如图4所示，Adv-Makeup生成的图像在眼睛区域之间有明显的边缘。相反，AMT-GAN具有更逼真的妆容风格和细节平滑。这是因为Adv-makeup仅以基于补丁的方式改变原始人脸的眼睛区域，这导致在定量评估上表现良好，但在黑盒攻击强度和未解决的边缘问题上留下了不足。04.3.商业API的攻击性能0图5展示了对Aliyun和Face++的每个测试数据集的攻击性能。我们收集并平均这些API返回的置信度分数，使用大量的对抗性示例。结果表明，对于这两个API，AMT-GAN在攻击能力方面优于竞争对手。04.4.消融研究0正则化模块。在这里，我们展示了正则化模块在维持AMT-GAN的有效性和稳定性方面的重要性。如图6所示。0高级化妆 [ 41 ] 4.2282 34.5152 0.9850 TIP-IM [ 8 ]38.7357 33.2089 0.9214 PSGAN [ 19 ] 27.676518.1403 0.8041 AMT-GAN (无H) 37.5486 19.31320.7807 AMT-GAN 34.4405 19.5045 0.78730表2.图像质量的定量评估。AMT-GAN（w/oH）表示没有正则化模块训练的AMT-GAN。0根据表2，在没有正则化模块的情况下，生成器很可能生成质量更差的图像，这表明风格域之间的映射在某种程度上受到了破坏。我们归因于对抗性毒性已经破坏了循环重构路径。通过应用正则化模块，正则化的循环一致性损失可以使生成器的输出更加自然。0风格鲁棒的化妆转移。通常期望我们可以为任何给定的化妆风格生成具有满意视觉质量的对抗性图像。因此，评估不同参考图像的影响是必要的。我们随机选择MT数据集和LADN数据集中具有不同化妆风格的10张图像作为测试的参考。如图7所示，AMT-GAN对化妆风格的变化具有鲁棒性，其中目标对抗性81.769/57.146/0.432480.332/57.745/0.360878.376/51.720/0.291657.858/38.220/0.098882.439/63.112/0.422653.360/34.760/0.093483.797/66.636/0.588081.460/63.029/ 0.4778Target IdentitiesSourcesReferences00.10.20.30.40.50.60.7ref.01ref.02ref.03ref.04ref.05ref.06ref.07ref.08ref.09ref.10150210（a）CelebA-HQ在Face++上0（b）LADN数据集在Face++上0（c）CelebA-HQ在Aliyun上0（d）LADN数据集在Aliyun上0图5.Face++和Aliyun返回的置信度分数。Face++的亚军（TIP-IM）的平均置信度分数为61.99，而我们的为64.58。对于Aliyun，亚军（TI-DIM）的平均置信度分数为32.37，而我们的为53.53。我们的性能超过亚军约4%�60%。请注意，AMT-GAN在不同API之间也具有更强的可转移性，而TIP-IM在Aliyun上的性能与其在Face++上的性能相比有很大的下降。0没有正则化模块有正则化模块0图6.正则化模块的消融研究。没有正则化模块训练的生成器会生成带有不自然细节的图像。定量结果在表2中。0人脸图像在源图像的内容和参考的化妆风格之间保持良好的平衡。图7的右图显示，参考的变化对攻击强度影响较小。0CelebA-HQ LADN数据集0图7.评估不同化妆风格的影响。左列是不同参考下的对抗性示例。右图显示了在表1中的10个不同参考下对不同黑盒模型的平均ASR。05. 限制和未来工作0尽管AMT-GAN在攻击商业API方面显示出有效性，但在女性图像中往往具有更高的攻击强度和更好的视觉质量，这是由于化妆转移训练数据集（例如MT数据集[23]）中性别不平衡引起的。我们相信这个问题可以通过开发更通用和全面的训练数据集来解决。AMT-GAN存在的另一个问题是结构信息有时会略微不对齐，尽管我们已经设计了相应的目标函数来缓解。在化妆领域中也存在相同的问题。0转移[12,19]，并且在生成对抗性示例时可能变得更糟。我们将这一点留给我们未来的工作。0最后，表2中的实验结果表明，用于评估图像质量的现有流行度量标准不适用于化妆转移场景。需要新的度量标准来评估一张人脸图像是否比另一张更自然。此外，我们仍然希望进一步提高对抗性人脸的视觉质量。将化妆转移的区域限制在一个小区域（例如眼睛）也是保持高攻击成功率的一种方法。我们也将这些留给我们未来的工作。06. 结论0本文针对恶意深度人脸识别（FR）模型对面部隐私的保护，提出了AMT-GAN来构建在黑盒环境中具有更强攻击能力且视觉质量更好的对抗样本。AMT-GAN能够生成具有从任意参考图像中转移的化妆的对抗性人脸图像。对多个数据集和目标模型的实验表明，AMT-GAN对不同的开源FR模型和商业API都非常有效，并在对抗性人脸图像的视觉质量和攻击强度之间取得了满意的平衡。0致谢。盛山的工作得到了中国国家自然科学基金（项目编号：62002126，U20A20177）和中央高校基本科研业务费（项目编号：5003129001）的部分支持。Leo的工作得到了中国国家自然科学基金（项目编号：61702221）的部分支持。Libing的工作得到了湖北省重点研发计划（编号：2021BAA025）的支持。通讯作者为李明辉。150220参考文献0[1] 常辉文，陆静婉，Fisher Yu，Adam Finkelstein.Pairedcyclegan：非对称风格迁移应用和去除化妆. 在2018年IEEE/CVF计算机视觉与模式识别大会（CVPR'18）论文集中，页码40-48，2018年。30[2] 陈鸿仁，许家铭，王思宇，曹立武，帅宏翰，程文煌.Beautyglow：可逆生成网络的按需化妆迁移框架. 在2019年IEEE/CVF计算机视觉与模式识别大会（CVPR'19）论文集中，页码10042-10050，2019年。60[3] Valeriia Cherepanova, Micah Goldblum, Harrison Foley,Shiyuan Duan, John P. Dickerson, Gavin Taylor, and TomGoldstein.低调：利用对抗攻击保护社交媒体用户免受面部识别的影响.在第9届国际学习表示会议（ICLR'21）论文集中，2021年。20[4] Yunjey Choi, Min-Je Choi, Munyoung Kim, Jung-Woo Ha,Sunghun Kim, and Jaegul Choo.Stargan：多域图像到图像的统一生成对抗网络. 在2018年IEEE/CVF计算机视觉与模式识别大会（CVPR'18）论文集中，页码8789-8797，2018年。30[5] 邓涵，韩楚，蔡宏敏，韩国强，何胜锋.控制化妆迁移的空间不变风格编码. 在2021年IEEE/CVF计算机视觉与模式识别大会（CVPR）论文集中，页码6549-6557，2021年。30[6] 邓建康，郭佳，薛念楠，Stefanos Zafeiriou.Arcface：深度人脸识别的加性角度边界损失. 在2019年IEEE/CVF计算机视觉与模式识别大会（CVPR'19）论文集中，页码4690-4699，2019年。60[7] 董银鹏，廖方舟，庞天宇，苏航，朱军，胡晓林，李建国.动量增强的对抗攻击. 在2018年IEEE/CVF计算机视觉与模式识别大会（CVPR'18）论文集中，页码9185-9193，2018年。3, 5, 6, 70[8] 董银鹏，庞天宇，苏航，朱军.通过平移不变攻击规避可转移的对抗样本防御. 在2019年IEEE/CVF计算机视觉与模式识别大会（CVPR'19）论文集中，页码4312-4321，2019年。3, 6, 70[9] 董银鹏，苏航，吴宝元，李志峰，刘伟，张彤，朱军.面向人脸识别的高效基于决策的黑盒对抗攻击. 在2019年IEEE/CVF计算机视觉与模式识别大会（CVPR'19）论文集中，页码7714-7722，2019年。2, 30[10] Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza,Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron C. Courville,and Yoshua Bengio. 生成对抗网络.CoRR，abs/1406.2661，2014年。30[11] Ian J. Goodfellow，Jonathon Shlens和ChristianSzegedy。解释和利用对抗性样本。在第0国际学习表示(ICLR'15)会议论文集中，2015年。2，30[12]谷乔，王冠志，邱梦迪，戴宇荣和邓志强。LADN:用于人脸化妆和去妆的局部对抗解缠网络。在第17届IEEE/CVF国际计算机视觉大会(ICCV'19)论文集中，页码10480-10489，2019年。3，6，80[13] Ying Guo，Xingxing Wei，Guoqiu Wang和BoZhang。有意义的对抗性贴纸用于物理世界中的人脸识别。CoRR，abs/2104.06728，2021年。30[14] Kaiming He，Xiangyu Zhang，Shaoqing Ren和JianSun。深度残差学习用于图像识别。在2016年IEEE/CVF计算机视觉与模式识别大会(CVPR'16)论文集中，页码770-778，2016年。60[15] Martin Heusel，Hubert Ramsauer，ThomasUnterthiner，Bernhard Nessler和Sep