通过生成对抗性身份面具实现人脸加密

3897通过生成对抗性身份面具实现人脸加密肖扬1，董寅鹏1，3，田玉平1，杭苏1，2*，朱军1，2，3，陈岳峰4，许辉41系.的Comp. Sci.技术，清华-博世联合机器学习中心BNRist中心AI研究所1清华大学THBI实验室，北京，1000842中国广州琶洲实验室3RealAI4阿里巴巴集团{yangxiao19，dyp17，pty17}@ mails.tsinghua.edu.cn{suhangss，dcszj}@ mail.tsinghua.edu.cn{yuefeng.chenyf，hui.xueh}@ alibaba-inc.com摘要随着数以亿计的个人数据通过社会媒体和网络被共享，数据隐私和安全问题日益受到关注。已经进行了几次尝试来减轻来自面部照片的身份信息的泄漏，图像模糊技术。然而，目前的大多数结果要么在感知上不令人满意，要么对人脸识别系统无效我们在本文中的目标是开发一种技术，可以加密的个人照片，这样他们就可以保护用户未经授权的人脸识别系统，但保持视觉上相同的原始版本的人。为了实现这一目标，我们提出了一种有针对性的身份保护迭代方法（TIP-IM）来生成对抗性的身份面具，这些面具可以覆盖在面部图像上，从而可以在不牺牲视觉质量的情况下隐藏原始身份。大量的实验表明，TIP-IM提供了95%以上的保护成功率对各种国家的最先进的人脸识别模型，在实际的测试场景。此外，我们还展示了我们的方法在商业API服务上的实用性和有效性。1. 介绍社交媒体和网络的蓬勃发展照片）公开分享。随着深度神经网络的日益普及，这些技术极大地提高了人脸识别系统处理个人数据的能力[6，26，37，46]，但作为副产品，也增加了个人信息隐私泄露的潜在风险。例如，未经授权的第三方可以在社交媒体上抓取和 识 别 共 享 的 照 片 （ 例 如 ， Twitter 、 Facebook 、LinkedIn等。）未经允许*通讯作者和在我看来都一样用户真面目对抗性身份面具未经授权的人脸识别系统但在目标设置中图1.目标身份保护的说明性示例。当用户在社交媒体上共享照片xr时（例如，推特，脸书，等等. ），未经授权的应用程序可能会抓取此标识基于人脸识别的系统，导致个人信息的隐私泄露。因此，我们提供了一个有效的身份屏蔽工具来生成一个受保护的图像xp，它可以通过误导恶意系统来隐藏相应的身份将其预测为可由服务提供商提供的授权或虚拟目标集合中的错误目标身份他们的主人，导致cybercasing [23]。因此，迫切需要为用户提供一种有效的方式来保护他们的隐私信息不被过多的未授权系统无意识地识别和暴露，而不影响用户在过去的几年里，人脸加密在安全和计算机视觉领域都取得了很大的进展。在现有技术中，基于混淆的方法被广泛研究。传统的混淆技术[48]，如模糊、像素化、变暗和遮挡，可能在感知上令人满意或对识别系统有效[28，31，35]。生成对抗网络（GAN）[15]的最新进展提供了一种吸引人的方法来生成更逼真的图像以进行模糊处理[14，43，44，49，25]。然而，由于某些区别性特征的夸大和抑制，所得到的模糊图像与原始图像相比具有显著不同的视觉外观，并且偶尔产生不自然的输出图像。3898理想的人工制品[44]。最近的研究发现，对抗性示例可以通过在原始图像上叠加对抗性扰动来逃避FR系统的识别[52，45，16，40][1]。应用对抗性扰动来隐藏个人的身份成为一种吸引人的方式，即使在模仿一些授权或生成的面部图像（例如，当可用时由社交媒体服务提供它提供了一种可能的解决方案来指定输出，如果所得到的图像被识别为任意身份1，则可以避免侵犯其他人的隐私。然而，应当注意，尽管由现有方法生成的对抗性扰动PGD [22]和MIM [8]）具有小的强度变化（例如， 对于[0，255]中的每个像素，它们仍然可以牺牲由于如图12或16所示的人为因素而引起的人类感知的视觉质量。2，并且类似的观察也在[54，38]中精心呈现，即p-范数对抗扰动不能很好地拟合人类感知。此外，当前的对抗性攻击主要依赖于目标系统的白盒控制[40，32]或大量的模型查询[10]，这在现实世界的场景中是不切实际的（例如，社交媒体上的未经授权的面部识别系统）用于身份保护。在本文中，我们涉及到一些有价值的考虑，从一般用户的角度来看，并提出了减轻身份泄漏的个人照片在现实世界中的社交媒体。我们特别关注面部识别，这是面部识别中的典型子任务，其目标是在未知的图库身份集中识别真实的面部图像（参见第2节）。3），因为它可能被未授权的应用采用来识别用户的身份信息。如图所示。1、人脸加密是为了阻止恶意应用程序的自动推理能力，使其预测到服务提供商错误的授权或虚拟目标。一般来说，对人脸识别系统知之甚少，并且不可能进行直接查询访问。因此，我们需要针对代理已知模型生成对抗面具，目的是欺骗黑盒人脸识别系统。此外，当用户在社交媒体上分享受保护的照片时，我们尽量不影响用户体验，同时对未经授权的识别系统隐藏他们的身份。因此，受保护的图像也应该在视觉上与对应的原始图像自然，否则可能会引入不自然的视觉效果。结果产生了所需的伪像为了解决上述挑战，我们提出了一个有针对性的身份保护迭代方法（TIP-IM）的人脸加密黑箱人脸识别系统。所提出的方法生成的对抗身份面具，这是既可转让的和不可感知的。一个好1实际的FR系统将从候选图像库中获得相似性排名，这可能会被误认为是其他人。可转移性意味着模型可以有效地欺骗其他黑盒人脸识别系统，同时不可感知性意味着由对抗性身份掩模处理的照片对于人类观察者来说在视觉上是自然的具体来说，为了确保生成的图像不会被任意误分类为其他身份，我们从互联网收集的数据集中随机选择一组人脸图像作为实验2中的指定目标。我们的方法通过一种新的迭代优化算法获得了优越的性能对白盒在实际和具有挑战性的开集3测试场景[26]下的大量实验表明，我们的算法提供了95+%的白盒人脸系统保护成功率，并且甚至在各种最先进的算法上也优于以前的方法。此外，我们还证明了它的有效性，在现实世界中的实验，考虑商业API服务。我们的主要贡献总结如下• 我们涉及一些有价值的考虑，以保护隐私免受未经授权的识别系统从用户• 我们提出了一种有针对性的身份保护迭代方法（TIP-IM）来生成对抗性身份掩码，其中我们考虑了多目标集，并引入了一种新的优化机制，以保证在各种场景下的有效性。2. 相关工作在本节中，我们将回顾与面部加密相关的工作。典型的信息加密[27，41，24]需要对消息进行编码以保护信息不被未经授权的方暴露，而面部加密旨在保护用户我们提供了一个全面的比较，以前的方法和我们的表。1.一、基于混淆的方法。已经开发了几项工作来保护个人照片中的私人身份信息早期的作品[48，34]研究了这些系统在各种简单的图像模糊方法下的性能，例如模糊，像素化，变暗，遮挡等。这些方法已被证明对水流无效2我们从互联网上选择人脸图像仅用于实验说明，其模拟由服务提供商提供的授权或生成的目标人脸图像集。3测试恒等式与训练集不相交，这与闭集分类任务相反。3899我我{}G我2X →D −∈ XGG∥ ∥ ≤∞真值恒等式标签，且GI=Gyi表示面1MG1≤i≤k逃避[48]PP-GAN [49]修复[43]更换[44]眼镜[40]进化论[10]LOTS [36]GMAN [32]我们未知图库集没有没有没有没有没有是的没有没有是的目标身份没有没有没有没有是的是的是的是的是的黑箱模型是的是的是的是的没有是（质询）没有没有是的自然产出没有是的是的是的没有没有是的没有是的那些面孔部分部分没有没有是的是的是的是的是的表1.不同方法之间的比较w.r.t未知图库集，有针对性的误分类的输出面，黑箱人脸模型，自然输出，以及输出的脸是否被识别为相同的身份作为原始的人类观察者。识别系统[31，28，25]，因为它们可以适应混淆模式。此后提出了更复杂的技术。例如，生成式对抗网络（GAN）[15]提供了一种有用的方法来在数据分布上合成逼真的图像，以进行图像模糊处理[49]。在[43]中，通过以检测到的面部标志为条件的头部内绘来生成模糊图像。然而，这些图像模糊方法改变了面部图像的视觉外观，甚至导致不自然的输出，限制了它们对用户的效用。对抗性方法。深度神经网络对对抗性示例敏感[45，16，7，33]，因此人脸识别模型[40，10，51]。Fawkes [39]通过将对抗性示例引入训练数据来欺骗未经授权的面部识别模型。最近的一项工作[32]提出从博弈论的角度来制作受保护的图像。然而，我们的工作与他们以前的工作在三个方面有所不同首先，我们专注于未知的人脸系统，而不改变训练数据[39]，而[32]假设白盒访问目标模型。第二、我们考虑具有未知图库集而不是闭集分类的开集人脸识别协议。其面部图像与探测图像具有最近的特征距离。在本文中，我们涉及一些有价值的考虑，从用户的角度来看，保护用户的照片对非法的人脸识别系统，如图所示。1.一、具体地，为了隐藏用户的图像Xr的真实身份y，我们的目标是通过将对抗身份掩码m a添加到Xr来生成受保护的图像Xp，其中对抗身份掩码ma我们选择一个标识集，而不是 = y1，...，yk ，即， 我们允许面部识别系统将受保护图像识别为目标身份中的任意一个，而不是单个目标身份，这使得身份保护由于宽松的约束而更容易实现。对于小y，设Gy={x|x∈G，O（x）=y}表示G的一个子集，其中包含所有属于xr的真恒等式y的人 脸图 像，O是一个使基场景。我们的可以提供更好的保护成功在更实际的开集场景中，对未知识别系统的识别率。第三，我们有能力控制属于图库中的目标身份的集为了隐藏xr的身份，受保护的图像xp应该满足如下约束：保护图像的自然度。不p p t差异隐私。作为隐私的流行定义之一，差分隐私（DP）[11，12]已经在机器学习和数据统计的上下文中引入沿着这条路线，已经开发了许多有前途的DP技术[12，29]和DP的实际应用[3，2]。虽然DP保留了数据集中实体的存在，但在本文中，我们专注于通过利用神经网络的脆弱性来隐藏单个实体的身份[45]。3. 对抗性身份掩码令f（x）：Rd表示针对输入面部图像xRn提取Rd中的固定长度特征表示的面部识别模型。 给定度量f（x1，x2）= f（x1）f（x2）2，其测量两个面部图像之间的特征距离，面部识别比较探测图像与面部图像的图库集合G={x，…xg}，并返回标识对Df（x，x）的定义是：Df（x，x）>Df（x，x）.（一）它确保了生成的受保护图像Xp与I中的目标身份的图像Xt之间的特征距离小于Xp与y中属于真实身份y的任何图像之间的特征距离。我们涉及更多的实际考虑，从一般用户的角度比以前研究的设置，在以下三个自然。为了使受保护的图像与对应的原始图像不可区分，通常的做法是限制p（p= 2等）。 受保护的例子和原始例子之间的范数，如map。 然而，在p范数下的扰动不能很好地自然地拟合人类感知[54，38]，如图2所示二、因此，我们要求受保护的图像除了受到p范数界的约束外，还应该看起来自然，使其约束在真实图像的数据流形上[42]，从而实现人眼不可感知。我们使用一个目标函数来促进受保护图像的自然度，这将在下面的部分中指定。3900我L≤我G我··NL1N1NN我NJHL----S.T. x−xi=1j=1其中，xt∈G，且Liden是一种相对识别损失p这使得生成的x能够增加距离间隙PGDMIM在特征空间中的目标图像xt和原始图像xrnatη是使Xp看起来自然的约束条件。 我们还将扰动的p范数限制为小于常数ε，使得视觉外观不会显著改变。请注意，对于图库集的不可知性，我们使用了替代面真实图像联系我们联系我们图像G在我们的目标（2）中;对于未知模型，我们xp对一个替代白-图2. l ∞范数下不同扰动的图示。更多示例见附录D。不知道画廊设置。对于真实世界的人脸识别系统，我们不知道它的图库集，这意味着我们不能求解Eq.（1）直接地，而先前的工作假设图库集或闭集协议的可用性（即，无图库集）。解决在这个问题上，我们使用替代人脸图像进行优化。特别地，我们收集一个包含faceims的图像集G生成受保护的图像盒子模型，其目的是基于可转移性来愚弄黑盒子因此，所提出的目标身份保护功能中的要求可以通过求解等式（1）来满足。（二）、虽然扰动是有点小，由于Eq.（2），它仍然可以感知，而不是自然的人眼，如图所示二、因此，我们在我们的目标中添加了一个损失nat，以明确鼓励生成的受保护图像的自然性在本页中-因此，我们采用最大平均差异（MMD）[4]属于I作为代理的目标身份的年龄对于GI;并且直接使用{xr}代替Gy。理性的-为LNat，因为它是一个有效的非参数和不同的-使用替代图像的优点在于，一个身份的面部表示是相似的，因此被优化为与替代相似的受保护图像的表示也可以接近图库集中属于同一目标身份的图像这是一种能够比较两个数据分布并评估所生成图像的不可感知性的实体度量在我们的情况下，给定两组数据Xp=Xp，…xp和Xr=xr，...，Xr包括N个生成的数据和N个真实图像，MMD通过下式计算它们的差异：未知的人脸系统。 在实践中，我们也是un-NNMMD（Xp，Xr）=.. 1Σ（xp）−1Σ（xr）.. 第二条、第三条- 对目标模型的白盒访问，这在真实世界场景中对于身份保护是因此，我们采用了一个替代白盒模型对保护图像的生成，提高对抗面具对未知的人脸系统的可转移性的目的总之，我们的考虑被设计为模拟现实世界的场景与目标人脸识别系统的最小假设，这也比以前研究的设置更具其 中 （ ） 将 数 据 映 射 到 再 生 核 希 尔 伯 特 空 间（RKHS）[4]。我们采用与[4]中相同的（）。通过最小化来自生成分布的样本Xp和来自真实数据分布的样本Xr之间的MMD，我们可以将Xp约束为位于真实数据分布的流形上，这意味着Xp中的受保护图像将与真实示例一样自然。由于MMD是可微度量并且在批量图像上定义，因此我们将MMD集成到等式（1）中。（2）并将我们的目标用基于批次的配方4重写为4. 方法minL（X）=1ΣL（xt，xp）+γ·MMD（xp，Xr），为达致上述要求，我们建议一个目标-pXpN伊登岛i=1在这一部分中，得到了身份保护迭代方法其中xt∈Gpr我我（四）而γ是一个超参数来平衡这些4.1. 问题公式化为了生成对人脸识别系统的混淆有效并且对人眼视觉自然的受保护图像xp，我们将目标隐私保护函数的目标形式化为minLiden（xt，xp）=Df（xp，xt）−Df（xp，xr）我我两个损失。4.2.有针对性的身份保护迭代方法考虑到等式中的总损失（Xp），因此，我们可以通过最小化来生成该批受保护图像4在仅存在一个单个图像或少量图像的情况下xt，xpS.T. xp − xr（二）我们可以用多个变换来增加图像，以组成一个大的批处理，结果如附录B所示。了解面部识别模型，包括其架构、参数和梯度。以前的方法依赖于3901LLL·我LLL不←我我G−L我.ΣD−D最好G表示函数f|G。G（Xp）。给出等式中的iden（2）和Eq。（3），（Xp）是关于t的可微函数。Xp，因此我们可以以小步长α多次迭代应用快速梯度法[22]来生成受保护的图像通过最小化损失L（Xp）。 我们尤其算法一：搜索Optim.作者：Greedy Insertion输入：来自等式（1）的隐私保护目标函数L_iden。（2）一个真实的人脸图像和一个多身份人脸图像;一个特征优化Xp通孔Xp=Π{Xr，，ε}。Xp−α·Normalize（XL（Xp））Σ， （五）输入：受保护的图像Xp当前迭代。输出：最佳目标图像;增益函数前生成你好。XGt+1ptt1g←0;xt*←无;I关于，不是投影函数，用于投影受保护的2 forxtin西班牙语tp图像到p范数界上，并使用Normalize（）为了归一化梯度（例如，符号函数范数有界或在2范数下的2正规化3获得损失iden（x，x）经由等式（2）;4计算梯度xint n= nums（x，x，p）;5生成候选受保护图像绑定）。我们对总数执行迭代过程xp=Π{xr，p，}（x-α·并且得到最终的受保护图像作为Xp。为了防止受保护的图像落入局部最小值，并提高其对其他黑盒人脸识别的可转移性publicint findDuplicate（x，x，y）;6计算g=G（x（p））;7如果g > g，则最佳 ∗为了改进点火模型，我们将动量技术[8]纳入迭代过程。8gbestg;xt9端部intt;4.3. 用贪婪插入法搜索最优xt当G中只有一个面像时，我们10端部作为我们多目标的近似最优解决方案不需要考虑如何选择xt我有效地提高-问题.导入Eq.（四）、当目标集包含多幅目标图像时，它提供了更多潜在的优化方向以获得更好的性能。因此，我们开发了一种优化算法来搜索最佳目标，同时生成受保护的图像，如等式。（五）、具体地，对于Eq.（5）通过T次迭代，我们在每次迭代时为Φ中的每个受保护图像选择一个代表性目标进行更新，这属于子集选择问题。定义1. 令St表示所选择的tar的集合。从Gata t 让通过分析上述设置，我们通过贪婪插入算法执行近似子模块优化，该算法在每次迭代时计算来自目标集合的每个对象的增益，并通过定义1将具有最大增益的对象集成到当前子集St中，如下所示：St+1=St∪{argmax∆（xt|St）}。（六）xt∈G为了实现这一点，我们需要定义上面的集合映射函数F。特别地，我们指定F为首先生成受保护的图像xp，给定S中的目标，用于itter。我F表示输出增益值（la rg erisbetter）在R中为一个集合。F或xt∈G，我们定义不通过Eq.然后使用函数G来计算定义的增益值 . 适当的增益函数∆（xt|S t）= F（S t∪{xt}）−F（St）我成为边际收益1G应该选择对最小化有效的例子在给定x t的情况下，在S t处的F。tp形式上，随着迭代在迭代循环中增加，如果边际增益单调减小，则F将属于子模函数族[55]。对于次模问题，可以使用贪婪算法来找到近似解，并且已经表明，对于单调次模函数，次模性将具有（1 1/e）-近似[30]。虽然我们的迭代身份保护方法不能保证是严格的子模块化，但基于贪婪插入的解决方案仍然发挥着明显的作用，即使子模块化没有严格减少[55，13]，这评估了理论结果，并证明贪婪算法具有近似子模块化最大化的性能保证。因此，我们采用贪婪插入的解决方案iden（x，x）在每次迭代。值得注意的是，G也必须具有正值，并且较大的值表示较好的性能。在此基础上，我们设计了一个基于特征的相似性增益函数2）x（x）= 0（f（xp，xr）f（xp，xt）），（7）xt∈G其中该算法倾向于在每次迭代时选择更接近特征空间中的真实图像的目标算法总结在算法1中。5. 实验在本节中，我们在身份保护方面进行了大量的实验，以证明有效的我其中Xp是第t个迭代处的受保护图像的批次。p3902我我G×GD.Σx ∈GD− DΣG模型骨干损失参数（M）FaceNet [37]InceptionResNetV1三重27.91[26]第二十六话球20A-Softmax28.08[第46话]球20LMCL22.67ArcFace [6]公司简介Arcface43.80MobleFace [5]移动FaceNetSoftmax1.20ResNet50 [18]ResNet50Softmax40.29表2.选择的目标模型位于各种设置中，包括不同的架构和培训目标。所提出的方法。我们彻底评估我们的方法基于各种国家的最先进的人脸识别模型的不同属性。55.1. 实验设置数据集。实验是在野生环境中的La-beled Face（LFW）[19]和MegFace [21]数据集上构建的。我们涉及一些额外的考虑因素，以接近实际的测试场景：1）实用图库集：我们首先选择500个不同的身份作为受保护的身份。同时，我们从每个身份中随机选择一张图像作为探测图像（总共500张图像），并且每个身份的其他图像（不选择一个模板）被组合以形成图库集，因为社交媒体中的面部加密的图库包括每个身份的多张图像（对于同时隐藏每个身份的多张图像来说更困难但更实用）; 2）目标身份：我们从互联网上名为MS-Celeb-1 M的数据集中随机选择另外10个身份[17]。我们为这些目标身份中的每一个选择一个图像以形成，并且剩余的图像被集成到图库集合中，这可以确保图库集合不知道优化阶段中的目标图像与测试中的目标图像不同; 3）额外的身份：我们向图库集合中添加额外的500个身份，这符合现实的测试场景。因此，我们构建了两个具有挑战性但实用的数据场景（超过1k个身份和总共10K个图像）。目标模特。我们选择了具有不同骨干和训练损失的模型，以充分展示Tab中保护用户隐私的能力。二、在实验中，我们首先使用MTCNN [53]检测图像中的人脸，然后对齐图像并将其裁剪为112 112，这意味着仅在人脸区域执行身份掩码。该算法只使用一个模型作为已知模型来生成身份掩码，并在其他未知模型下测试保护性能。比较方法。我们研究了许多对抗性人脸加密方法[40，32]，这些方法基本上依赖于单目标对抗性攻击方法[22]。先进的MIM [8]将动量引入迭代过程[22]以改善黑盒可转移性，并且DIM和TIM [50，9]旨在通过输入或梯度多样性实现更好的可转移性。请注意，TIM只专注于规避防御模型，并且在实验上也实现了比MIM和DIM更差的性能因此MIM和5代码请访问https://github.com/ShawnXYang/TIP-IM。作为比较，DIM算法被认为是更有效的单目标黑箱算法 由于原DIM算法在迭代优化中只支持单目标攻击，因此，我们在内部最小化中通过动态分配同一目标集的方法，引入了一个多目标DIM算法，称为MT-DIM。此外，我们还研究了其他多目标优化方法的影响。 我们表示基于Eq.（7）如G1（x）= log1 +不 exp（f（x，xr）f（x，xt）） 这是命名为Cente r-OIpt。Center-Opt促进受保护的图像被更新到特征空间中的目标身份的平均中心，这在[36]中类似地被采用。请注意，单目标方法通过尝试来自相同目标集的目标来计算最佳结果作为最终报告。我们将迭代次数设置为N= 50，即学习率α= 1。5和摄动的大小ε= 12下范数界，其对于所有实验是相同的。评估指标。为了综合评估保护成功率，我们报告了Rank-N目标识别成功率Rank-N-T和非目标识别成功率Rank-N-UT（越高越好），这与人脸识别的评估一致[6，46]。具体地，给定探测图像X和具有与X相同身份的至少一个图像的图库集合，同时具有目标身份的图像。面部识别算法将图库中的所有图像的距离f排列到X。Rank-N-T意味着前N个图像中的至少一个属于目标身份，而Rank-N-UT需要满足前N个图像不具有与X相同的身份。在本文中，我们报告秩-1-T/秩-1-UT和秩-5- T/秩-5-UT。注意，Rank-1-T/Rank-1-UT（准确度/误分类）是现有工作中最常见的评估度量，而Rank-5-T/Rank-5-UT可以提供全面的理解，因为它不确定图像是否会重新出现在前K个候选中。所有方法包括单靶方法都采用相同的靶身份和评价标准，以进行公平比较。为了测试所生成的受保护图像的不可感知性，我们采用了标准的定量测量- PSNR（dB）和结构相似性（SSIM）[47]，以及面部区域的MMD。对于SSIM和PSNR，较大的值意味着更好的图像质量，而较小的MMD值表示更好的性能。5.2. 黑箱人脸加密我们首先生成保护图像对ArcFace，Mo- bileFace，和ResNet 50分别，由建议的TIP- IM。然后，我们将生成的受保护图像提供给所有人脸模型，以测试Tab中的性能。3和Tab。4.第一章在Rank-1-T和Rand-5-T方面，我们的算法实现了比先前最先进的方法MT-DIM近两倍的成功率，并且大幅优于其他方法，而SSIM值在比较3903方法ArcFace移动脸ResNet50SphereFaceFaceNetCosFaceR1-T R5-TR1-T R5-TR1-T R5-TR1-T R5-TR1-T R5-TR1-T R5-TArcFaceMIM [8]DIM [50]MT-DIM [50]中心-光学TIP-IM94.0*96.9*94.8*97.6*34.8*68.2*59.4*84.6*97.2*98.8*14.3 45.816.8 48.018.8 53.636.8 66.069.8 90.68.2 32.410.8 34.815.8 46.028.8 57.656.0 80.63.1 14.54.2 15.63.8 18.46.6 21.413.2 32.03.1 17.94.4 19.09.6 33.611.8 35.432.8 56.21.7 10.12.6 11.02.0 11.23.8 13.011.4 31.0移动脸MIM [8]DIM [50]MT-DIM [50]中心-光学TIP-IM8.1 27.99.4 28.810.6 30.214.8 41.844.0 68.296.1*98.3*96.6*98.4*73.2*53.0*83.4*96.6*99.2*26.7 61.528.8 63.218.6 49.421.8 53.662.8 85.84.5 18.06.2 19.26.8 22.25.8 25.612.6 29.83.7 19.44.8 20.69.8 27.012.2 29.628.8 46.20.3 4.11.2 5.22.0 11.03.6 12.412.4 31.2ResNet50MIM [8]DIM [50]MT-DIM [50]中心-光学TIP-IM5.2 24.77.0 26.414.2 37.613.2 37.1434.2 56.824.6 56.526.6 57.222.4 52.626.8 58.662.4 83.430.1*64.8*65.0*65.0*41.6*73.4*95.6*98.2*8.1 23.49.2 24.25.2 16.86.8 21.011.4 25.64.9 20.76.8 22.89.4 29.29.2 27.223.2 40.00.9 5.62.0 6.61.8 8.82.4 12.010.8 26.2表3.针对LFW上不同模型的黑盒身份保护的Rank-1-T和Rank-5-T（%）表示白盒结果。攻击ArcFace移动脸ResNet50SphereFaceFaceNetCosFaceR1-UR5-UR1-UR5-UR1-UR5-UR1-UR5-UR1-UR5-UR1-UR5-UDIM [50]95.8*91.8分67.658.258.248.079.668.267.453.674.262.8ArcFaceMT-DIM [50]TIP-IM96.0*97.4*93.6*96.4*73.679.465.268.864.870.454.256.882.885.273.076.673.073.460.063.474.484.063.873.8DIM [50]60.245.496.4*92.0*72.259.080.069.668.453.675.662.2移动脸MT-DIM [50]TIP-IM66.468.652.858.895.4*96.6*95.4*94.8*77.681.468.471.283.284.473.274.074.677.658.660.476.079.462.868.2DIM [50]77.650.480.672.295.4*91.6*80.465.869.053.264.261.8ResNet50MT-DIM [50]TIP-IM79.083.652.459.684.887.075.281.894.4分96.8分93.8*94.6*82.285.872.475.077.879.460.865.477.083.665.873.0表4.针对LFW上不同模型的黑盒身份保护等级-1-UT和等级-5-UT（%）*表示白盒攻击。度量γ =0。0γ =1。0γ =2。0γ =3。0ArcFacePSNR（↑）SSIM（↑）MMD（↓）25.260.65200.756725.590.66900.756226.080.69860.755427.630.78170.7518移动脸PSNR（↑）SSIM（↑）MMD（↓）25.240.64900.756725.180.65230.756825.720.68280.755927.190.75330.7525ResNet50PSNR（↑）SSIM（↑）MMD（↓）25.140.65070.757025.260.65950.756725.740.68970.755827.210.7600.7525表5.使用不同γ的TIP-IM生成的受保护图像的平均PSNR（db）、SSIM和MMD。0.800.750.700.650.600.550.50ArcFaceMIM DIMMT-DIM中心选项TIP-IM0.800.750.700.650.600.550.50移动脸MIM DIMMT-DIM中心选项TIP-IM方法在图中非常相似。3.第三章。MT-DIM比单一方法DIM获得了更好的性能，表明多目标设置产生了更好的黑盒可移植性。还可以观察到，不同的多目标方法将影响性能，并且提出了在等式2中定义的TIP-顶。（7）实现了比Center-Opt更好的性能。 我们还报告了秩1-UT和秩5-UT的结果。4，其仍然可以保持最佳性能，对于黑盒模型，Rank-1-UT的平均准确度超过80%。总体而言，TIP-IM提供了更有前途的多目标优化方向，使得生成的受保护图像对于黑盒模型更有效。请注意，ArcFace生成的受保护图像对其他黑盒模型具有很好的可转移性。因此，我们将优先选择ArcFace或集成机制[8]作为替代模型，以便在实际应用中获得更好的性能。由于篇幅所限，我们将MegFace的结果留在附录A中。目标图像的对比实验。 我们测试了Ap-pennalc中不同数量的目标的性能。我们通过实验发现了10个目标身份，图3.不同方法的SSIM比较。这意味着目标数量的小幅增加可以获得令人印象深刻的 性 能 ， 尽 管 需 要 少 量 的 时 间 成 本 。 我 们 指 定StyleGAN [20]中的一些生成图像作为目标图像。结果表明，该算法仍具有良好的黑盒身份保护性能。在实际应用中，我们可以任意指定可用的和授权的目标身份集或生成的人脸图像，并且我们的算法适用于任何目标集。5.3. 自然度为了检验我们的算法是否能够在生成样本的过程中控制受保护图像的自然度，我们使用不同的系数γ进行实验。选项卡. 图5示出了不同人脸识别模型（包括ArcFace、MobileFace和ResNet50）关于三种不同度量（PSNR、SSIM和MMD）的评估结果。随着γ增加，基于不同的度量，所生成的图像的视觉质量变得更好，这也与图1B中的示例一致4.第一章因此，SSIMSSIM3904在不同的系数γ的条件下，我们可以控制程度3905原始昏暗我们γ= 0γ= 1.75γ= 2.00自然度γ= 2.25γ= 2.50γ= 2.75图4.不同γ对性能的影响实验绿钩是指成功的有针对性的身份保护，而红钩是指失败，这也意味着有效性和自然性的权衡放大时的最佳视图1.00.90.80.70.60.50.40.30.20.10.0ArcFace0.00.51.01.52.0二点五3.00.800.780.760.740.720.700.680.660.640.620.601.00.90.80.70.60.50.40.30.20.10.0移动脸0.00.51.01.52.0二点五3.00.800.780.760.740.720.700.680.660.640.620.60CosFace ArcFace MobileFace ResNet50 SphereFaceFaceNet自然度图6.真实世界人脸上的人脸加密示例图5.TIP-IM针对不同模型生成的具有不同γ的受保护图像的秩-1-T得分和SSIM。生成的受保护图像。除了定量测量之外，我们还在图中动态地对不同的γ进行自然度操作。4.第一章随着γ的增加，图像看起来更自然，而在一定程度上，识别保护趋于失效。 我们还对图中的所有给定识别模型进行了更一般的评估。五、随着γ的增加，SSIM值对于Rank-1-T准确度表现出总体下降趋势，这意味着适当的γ对于可转移性和自然性至关重要。实用性人脸加密的重点是生成有效和自然的对抗性身份掩码，这是大多数以前的对抗性攻击w.r. t无法实现的。有效性（在Tab. 3）和自然性（在图。图3和图4）。在实际应用中，用户可以采用所提出的TIP-IM来调整γ，以控制更强的混淆性能（有效性）或视觉质量（自然度）。5.4. 在实际应用中的有效性在本节中，我们应用我们提出的TIP-IM来测试腾讯AI开放平台6中可用的商业人脸搜索API的身份保护性能。工作机制和训练数据对我们来说是完全未知的。为了模拟隐私数据场景，我们使用与上述相同的图库集。在该平台中，我们从上述探针集中选取了20个探针脸，进行基于相似度排序的人脸搜索。所有20个探头面均可在Rank1处识别。然后，我们生成相应的保护图像从探头的脸执行人脸搜索。6https://ai.qq.com/product/face.shtml识别API。我们分别使用真实的和保护的脸的TIP-IM作为探针做人脸搜索，并显示前三个结果的相似性。蓝色框表示具有与探测面部相同的身份的面部，并且绿色框暗示属于目标身份的面部与探头面的相似性分数以黄色标记。对于返回排名，在排名1中存在6个目标身份，在排名5中存在16个目标身份。注意，具有相同身份的那些面部也显示出不同程度的相似性降低，这也说明了黑箱面部系统的有效性，并且图2中示出了两个示例。六、6. 结论本文通过模拟社会媒体中的真实身份识别系统，研究了身份保护问题。大量的实验表明，所提出的TIP-IM方法使用户能够保护他们的私人信息不被暴露的未经授权的识别系统，而不影响用户在社交媒体中的体验确认本 工 作 得 到 了 国 家 重 点 研 究 发 展 计 划 （ No. s2020AAA0104304，2020AAA0106302）、国家自然科学 基 金 项 目 （ No. 61620106010 、 62076147 、U19A2081、U19B2034、U1811461）、北京人工智能研究院（BAAI）、阿里巴巴集团通过阿里巴巴创新研究计划、清华-华为联合研究计划、清华研究院郭强的资助、天工智能计算研究院以及NVIDIA GPU/DGX加速计划。Rank-1-T评分实用系统实用系统94 90 899780 80真面目真面目87 807788 81 81保护面部保护面部Rank-1-T评分SSIMSSIM3906引用[1] Anish Athalye，Nicholas Carlini，and David Wagner.模糊的梯度给人一种错误的安全感：规避对对抗性示例的防御。在国际机器学习会议（ICML），2018年。2[2] Boaz Barak 、 Kamalika Chaudhuri 、 Cynthia Dwork 、Satyen Kale、Frank McSherry和Kunal Talwar。隐私、准确性 和一 致性 ：列 联表 发布的 整体 解决 方案 。在Proceedings of the twenty-sixth ACM SIGMOD-SIGACT-SIGART symposium on Principles of database systems ，pages 273-282，2007中。3[3] Avrim Blum、Cynthia Dwork、Frank McSherry和KobbiNissim 。实用隐私：sulq框架。在Proceedings of thetwenty-fourth ACM SIGMO