商业人脸识别：对深度假冒攻击的评估及验证API

512我是真的还是假的名人？在Deepfake模拟攻击沙赫罗兹·塔里克shahroz@g.skku.edu成均馆大学计算与信息。KoreaData61，CSIRO，澳大利亚全素媛soonej40@g.skku.edu均馆大学计算机与信息，S.韩国西蒙·S Wooswoo@g.skku.edu成均馆大学计算情报学院人工韩国摘要基于Web的多媒体技术的最新进展，例如由深度学习提供支持的人脸识别Web服务，已经取得了重大进展。因此，微软、亚马逊和Naver等公司为各种多媒体应用提供了高度准确的商业人脸识别Web服务。当然，这些技术面临着持续的威胁，因为几乎任何能够访问Deepfake的人都可以快速发起模仿攻击。这些攻击对身份验证服务构成了严重威胁，这些服务严重依赖其底层人脸识别技术的性能。尽管其严重性，涉及商业Web服务的Deepfake滥用及其鲁棒性尚未得到彻底的测量和调查。通过对名人人脸识别进行案例研究，我们研究了黑盒商业人脸识别Web API和开源工具对Deepfake Impersonation（DI）攻击的鲁棒性。 虽然大多数API都没有对deepfake的鲁棒性做出具体声明，但我们发现认证机制可能会建立在其中之一。我们证明了人脸识别技术对DI攻击的脆弱性，针对目标（TA）攻击的成功率分别为78.0%;我们还提出了缓解策略，将针 对TA 攻击的攻 击成 功 率降低到1.26%。CCS概念• 安全和隐私;·社会和专业主题→·应用计算→计算机取证;关键词Deepfake，人脸识别，冒充攻击，Web服务ACM参考格式：Shahroz Tariq，Sowon Jeon和Simon S.喔2022年我是真的还是假的名人？在深度假冒攻击下评估人脸识别和验证API。在ACM Web Conference2022（WWW '22）的会议记录中，2022年4月25日至29日，虚拟活动，法国里 昂 。 ACM ， 纽 约 州 纽 约 市 ， 美 国 ， 12 页 。https://doi.org/10.1145/3485447.3512212作者/作者允许免费制作本作品的全部或部分的数字或硬拷贝，以供个人或课堂使用，前提是制作或分发副本的目的不是为了盈利或商业利益，并且副本的第一页上版权的组成部分，这项工作所拥有的其他人比ACM必须尊重。允许使用学分进行摘要 以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或付费。请求权限请发邮件至permissions@acm.org。WWW©2022计算机协会。ACM ISBN 978-1-4503-9096-5/22/04。. . 十五块https://doi.org/10.1145/3485447.35122121介绍深度学习算法为广泛应用的ad-vNavisphere做出了重大贡献，包括计算机视觉[70]，语音处理[17]和自然语言处理[75]。特别是，由于人脸识别和识别算法的成功，亚马逊、谷歌、微软、百度和Naver等公司已经推出了用于各种应用程序的商业人脸识别Web API [6，13，56]。除了这些Web API之外，许多商业人脸验证服务（例如，Face++[20]）和开源人脸识别（例如， ArcFace [16]和VGGFace [49]）模型也可用于一般用途。 自然地，这些服务具有广泛的客户端（例如，日本共同社媒体实验室[58]、PopSugar Inc.[59]，Marinus旗舰[4]和执法机构[52，57]），被广泛采用用于其面部验证和识别应用。另一方面，合成图像和视频生成方法的快速发展已经引起了对容易获得的在线内容的真实性的尽管存在面部合成技术[24]，但所谓的deepfake方法的出现使得创建逼真的假视频的过程变得更加容易和快速[23，41]。因此，现在任何拥有公众图像的人都可以创建他/她的假视频，这可能导致隐私和安全风险。此外，互联网上96%的deepfake是未经同意的deepfake色情[50]。这些deepfake色情作品中的大多数都是女性，通常是名人，并被用来贬低，诽谤和虐待她们。不用说，它们可以用来在互联网上传播假新闻和信息除了侵犯隐私外，deepfake技术还可能被进一步滥用来进行冒充攻击。从安全和隐私的角度来看，有关Deepfake滥用的问题非常重要。如今，人们普遍接受的现实是，deepfake的危害大于好处，目前的许多网络技术已经受到它的影响[25]。 问题是，这些deepfakes能对基于网络的多时间造成多大的损害-dia技术，特别是现在面部识别网络服务越来越多地融入日常生活。据我们所知，这些deepfake对用于人脸识别的多媒体技术的影响程度从未进行过实证研究。撇开已经被很好地探索过的对抗性示例攻击，我们提出了一个Deepfake Impersonation（DI）攻击，其中包含使用deepfake图像欺骗商业和开源人脸识别Web服务的场景。特别是，我们以一种新的方式执行DI攻击，并针对知名名人识别Web API创建未探索的攻击向量，WWWShahroz Tariq，Sowon Jeon和Simon S.Woo513XTR TXRXRXTD商业人脸识别API商业人脸验证开源识别系统DHCDHSSIC图1：我们针对人脸识别和验证Web API的 Deepfake Impersonation（DI）攻击和评估框架微软、亚马逊和Naver，因为它们是科技巨头人脸识别能力的精髓。然而，这种攻击可以很容易地通过攻击一般的人脸识别API来推广和扩展到大众。我们通过成功地将DI攻击应用于不同的人脸验证服务，实证证明了我们新攻击向量的有效性。通过对五个deepfake数据集进行广泛的实验和测量研究，使用三个商业数据集和两个开源数据集，名人识别模型以及一个广泛使用的人脸验证Web服务，我们证明了逃避和欺骗基于Web的人脸识别API是可能的，在黑盒设置中实现高达99.9%的攻击成功率（参见附录图5中的攻击演示）。此外，我们使用现成的deepfake检测器提供初步防御，并评估其鲁棒性。我们发现防御容易受到对抗性例子的影响，导致攻击成功率增加到防御前的水平。另一方面，对抗性训练可以显著提高防御鲁棒性，将攻击成功率降低到1.26%。因此，我们的主要贡献总结如下：(i) Deepfake Impersonation（DI）攻击。我们正式化深-假冒模仿攻击，以欺骗商业Web服务和开源人脸识别模型。 我们还通过使用最先进的deepfake生成方法创建了两个新的数据集，名人一阶运动（CelebFOM）和名人混合（CelebBlend），以及通过 从 互 联 网 上 抓 取 视 频 进 行 评 估 的 女 性 名 人 Deepfake（FCelebDF）数据集。(ii) 广泛的经验评估。 我们评估了商业网络服务、开源人脸识别模型和验证阳离子API在黑盒设置中对名人deepfake的反应不同，使用三种不同的指标（见图1）。我们证明，名人deepfakes欺骗了所有六种方法，针对性攻击的攻击成功率为78.0%。(iii) 防御机制。 我们提出初步辩护对抗DI攻击的机制，并使用最先进的deepfake检测器比较防御策略我们提出的防御显着降低了攻击成功率从99.6%到1.79%的所有数据集相结合。此外，我们使用快速梯度符号方法（FGSM）攻击[27]来评估防御w/和w/o对抗训练。我们的代码在这里1.关于Novelty 我们承认，我们并没有发明新的攻击类型，而是制定了现有的方法来评估针对人脸识别和验证系统的可能攻击。这项工作是对deepfakes的首次测量研究。此外，我们发现，在过去，与deepfake相关的研究引用了互联网文章，以强调deepfake对面部识别等现代技术的影响。然而，这类文章通常没有经过彻底的同行审查。因此，我们认为，我们的工作将填补这一空白。通过使用各种deepfake1https://github.com/shahroztariq/Deepfake_Impersonation_Attack图2：五个deepfake数据集的插图生成方法，我们进行了广泛的实验和全面的评估，以揭示当前商业ML系统的问题。此外，设计一个新的deepfake检测器并不是本文的主要目标。2Mirsky和Lee [46]将deepfake大致分为三类：替换，重演和合成。在提供有关不同deepfake类别的更多细节之前，我们首先定义一些关键概念。在整个工作中，引用（源）和目标（受害者）标识由和表示是指从互联网获得的视频，并且是指目标个体的图像或视频。Deepfakes生成自并由表示，如图2所示。图2中显示了通过面部替换从EmmaWatson的参考视频和Scarlett Johansson的目标视频生成的样本Deepfake图像，作为CelebDF。这些deepfake生成方法的总结见附录A。AmazonRekognition [56]、Microsoft Azure Cognitive Services[6]、Google Cloud Vision [5]、百度AI [7]、Naver Clova [13]和Face ++[20]提供各种图像分析工具和用于面部分析的Web API。它们广泛用于视觉搜索、图像分类以及身份验证和验证服务。艾迪在这方面，开源工具如ArcFace [16]和VGGFace [49]也很受欢迎。在这项工作中，我们选择Microsoft（MS），Ama- zon（AWS），Naver（NAV），Face++，ArcFace和VGGFace进行实验，原因如下：首先，这些API是通用的。monly提供了一个识别人脸的服务，返回可比较的人脸相似度评分指标，这使我们能够公平地评估API其次，我们可以让来自各大洲（美洲、亚洲和欧洲）的主要网络服务公司代表来探索任何不同的行为。另一方面，我们在这项工作中没有使用百度和谷歌云API 2。然而，我们认为四个商业Web服务（MS，AWS，NAV和Face++）和两个开源模型（ArcFace和VGGFace）可以用于公平比较，并足以证明问题。2Google和Baidu提供不同的输出格式和检测特征，使得比较困难。此外，用于名人识别的Google Cloud Vision API目前仅限于媒体和娱乐公司或授权合作伙伴。我们提交了一份正式的访问请求，但没有得到受理。我是真的还是假的名人？WWW514θLL∈（·）此外，最近有几项研究[10，19，28，38，72，74，76，77，80]关注于发现商业人脸识别Web API的漏洞然而，大多数研究都集中在使用对抗性攻击来发现漏洞 我们认为，模仿攻击是同样的，如果不是更重要的，因为它一直是最关键的问题之一，因为在许多应用程序中采用人脸作为主要身份验证的重要性。据我们所知，没有研究探讨deepfakes作为攻击人脸识别Web服务的一种增强方法因此，我们是第一个展示此类攻击并揭示商业API和开源工具的潜在危险的人。 在这项工作中，我们开发了一个实用的框架来进行模拟攻击和评估攻击场景。此外，我们提出并证明了一个初步的防御DI攻击的人脸识别API。3动机和威胁模型在本节中，我们将描述深度假冒假冒（DI）攻击背后的具体动机和我们的威胁模型。注：我们想强调的是，我们并不意味着对API服务提供商的任何不尊重。他们的Web服务按设计工作 我们的目标是通过我们的工作提高对商业网络服务和开源方法的漏洞和潜在危险的认识，以应对各种deepfake攻击事件。具体而言，我们考虑以下三种现实攻击场景：(i) Deepfakes vs.生物识别身份验证。deepfakes 造 成 的最严重威胁是对生物识别验证系统的欺骗。Sensity.ai 最近展示了基于网络的商业生物识别技术Know Your Customer（KYC）解决方案无法检测使用诸如面部变形、面部交换和面部重现等深度伪造的呈现和重放攻击。我们强烈建议读者观看Sensity.ai对于我们的攻击演示，我们选择Face++ API，它将“基于面部的用户验证”列为用例，并声称“防止虚假面部攻击”[20]。(ii) 社交媒体上的一般面部标记&。自动-诸如Facebook的面部识别功能[ 22 ]之类的自动面部标记这样的攻击可能意味着恶意，导致目标的假冒，并创建虚假信息和虚假人格。此外，据报道，deepfake生成的LinkedIn配置文件变得越来越普遍，导致严重的误用案例[29，68]。例如，Eve不是奥巴马，但Eve可以创建一个Deepfake的奥巴马[69]，并在社交媒体上使用它，假装是奥巴马。此外，伊芙可以声称有关选举，气候变化的错误信息[26]或假装在奥巴马度假期间访问某些地方它可以很容易地与其他假新闻结合起来，并扩展到创建目标人物的假数字足迹因此，在图像中的面部的背景很重要的情况下，真实性是期望的属性。此外，如果自动人脸标记无法过滤社交媒体上的这些深度伪造，它将传播虚假信息并伤害无辜的个人。(iii) 基于Web的远程会议中的人脸识别。Uti-考虑到现代远程会议的流行，人们可以使用deepfake来冒充真实的参与者。deepfake的3https://www.youtube.com/watch? v=rLmxdIHpZtUElon Musk的攻击已经成为一个问题，轰炸Zoom电话[14]结合Zoombombombing [67]来劫持会话。假设底层的人脸验证API无法区分Deepfake模仿者和真正的用户，它可能会导致严重的隐私，安全和否认风险，以及许多欺诈案件。例如，学生可以雇人在远程考试期间冒充他们作弊。Mehta等人[45]成功地证明了这一点。 解决这些问题，特别是在远程会议已成为整个社会通信的普遍现象的情况下，变得比以往任何时候都更加重要。除了生物特征验证的情况外，API提供程序不包含任何针对DI攻击的内置防御尽管如此，我们相信它们是与API应用有关的有趣案例威胁模型。 我们假设AWS、MS、NAV和Face ++提供的人脸识别和验证服务被其他服务提供商用于其用户身份验证和验证工作流程。注意：人脸识别Web API不应该提供任何身份验证保证。然而，一些网络服务在其网站上将自己作为身份验证工作流程或用户验证的一部分进行营销。例如，AWS声明“启用数字身份验证”[56]和“通过面部识别验证应用程序”[8]，MS声明“验证用户以进行访问控制”[6]，而Face++明确声明“防止虚假面部攻击”[20]和“基于面部的用户验证”[20]作为用例场景。因此，这样的声明会给不知情的用户一种虚假保护的感觉我们的威胁模型假设这样的系统使用这些人脸识别Web API作为其身份验证工作流程的一部分或仅用于验证用户。此外，那些完全依赖于人脸识别Web服务进行身份验证或验证的系统比其他系统面临更高的深度假冒模仿攻击风险。最后，在我们的研究中，我们考虑了对面部识别和验证系统进行DI攻击的对手，其目的是通过模仿窃取他人的身份。DI攻击的工作流程可以总结为：（i）攻击者可以利用各种deepfake生成技术。这些方法可以是非常复杂的，也可以是非常简单的，无论有没有强大的GPU。（ii）当对手攻击面部识别网络服务时，这些系统错误地将攻击者分类为另一个人。因此，攻击者可以成功地冒充另一个人，在某些情况下，例如Zoombombombing，攻击者可能会进行二次攻击。4我们的DI攻击框架在本节中，我们首先在目标设置中制定一个通用的DI攻击，它可以相应地扩展到不同的deepfake生成方法DI攻击定义。给定参考图像XR、目标图像XT和深度伪造生成方法f（·），可以如下构造深度伪造图像f（XR，XT）= XD：minLp（XT，fθ（XR，XT）;θ），（1）其中θRm是给定深度伪造生成方法的f的参数m的值的集合，并且是在距离度量p上要最小化的某个损失函数。请注意，对于每种deepfake生成方法，损失p可能不同。对于目标DI策略，C（XD）=C（XT），其中C（·）是类标签函数，WWWShahroz Tariq，Sowon Jeon和Simon S.Woo515（XD）∈XRXTXRXDXDPP(X)PPPP PPXDXTXDXRXRXTXDXT公司简介PP（XTXD）PTPDPXDXDXDXDN不XDXTXTXDXDXT名人此外，非目标DI攻击也是可能的，即CC，其中C是所有类标签的集合（即，所有有效的名人课程）。 由于篇幅限制，我们在附录B中展示了非目标DI攻击的结果。成功的有针对性的攻击。因此，成功的定向DI攻击必须满足以下条件：.如果PD=名人目标且P名称=P名称，则成功DI攻击数据集生成。 我们使用五个数据集，来自三个-生成方法来执行DI攻击。三种情况是攻击生成考虑：1）攻击者从T A=否则失败T D，（2）不同的视角和来自参考视频。然后，攻击者使用基于DNN的面部交换方法来创建受害者的深度伪造视频。我们使用CelebDF[44]和FCelebDF（我们的）数据集模拟基于面部替换的DI攻击。2）攻击者还可以使用具有所需动作的参考视频和一组受害者的图像。面部重现方法，如Talking Head [78]或First-OrderMotion [60] ， 然 后 可 以 用 于 生 成 。 我 们 的 攻 击 使 用VoxCelebTH [78]和CelebFOM（我们的）数据集。3）最后，对于面部合成deepfakes，攻击者可以使用FaceApp [21] Android应用程序的图像混合功能来生成。 我 们 模 拟 DI 攻 击 使 用的CelebBlend（我们的）数据集。此外，类似于对抗性攻击，可以最小化等式中的损失。（1）使用政府宣传短片的预测。然而，研究优化方法不是这项工作的重点。4.1攻击评估作为第一步，我们从deepfake视频中的图像中裁剪面部，并将裁剪的面部作为输入数据提供给AWS，MS，NAV，Face ++，ArcFace和VGGFace的面部识别Web API，如图1所示。 上传输入图像后，我们向API发出两种类型的请求，如下所示：(i) 名人识别（CR）：API试图通过名人数据库识别上传的deepfake。如果找到匹配，则返回= [name，conf]，这是一个包含名人姓名name及其匹配置信度conf的输出。我们将此API函数称为RecognizeCelebrity=。(ii) 人脸相似度（FS）：我们也使用FS分数，因为人脸相似性用于各种各样的用户验证任务、人数统计和公共安全应用[57]。我们上传名人的真实照片 在Deepfake照片旁边，并且API检查两个人脸图像之间的相似性。我们将此API函数称为相似性、四、另外，假设和是目标API的识别结果关于Deepfake得双曲余切值.conf和配置表示的信心，以及nTame和nDame表示教皇的名字。因为T不是目标在面部合成的情况下，我们使用两个参考1和2而不是. 我们使用欺骗错误接受率（SFAR）[32]，它与系统接受的冒充攻击的比率相关联，以计算针对目标攻击的DI攻击成功率（参见附录B非目标），如下所示：防守成功的目标攻击（TA）：目标攻击确定Deepfake和目标是否被API识别为同一名人，即，name=名字比如说，艾玛·沃森的一个epfake被重新命名为DalEmmaWatson4我们使用置信度得分来评估API对其预测的确定程度。相比之下，我们使用相似度分数来衡量Deepfake与名人对应的真实图像之间的相似性。此外，Face++、ArcFace和VGGFace不提供CR函数，因此我们仅使用它们计算FS分数。其中CelebTarget表示目标名人。DI攻击分析 虽然有针对性的攻击成功率是有用的，但我们的目标是进一步检查每个API各自鲁棒性的细粒度细节。因此，我们引入了三个额外的评估指标，从不同的角度分析DI攻击对人脸识别和验证API的影响(i) Deepfakes with High Confidence（DHC）：当API将Deepfake识别为名人时，这意味着攻击是恶意的。鉴于攻击是成功的，分析API返回的预测配置的置信度是至关重要的，确保确定性，从而确定虚假陈述。越高，置信度越高，API就越容易受到deepfakes的攻击。因此，我们计算出作为高置信度名人预测的deepfake数量，即，大于β，如等式中所示（3），其中CelebAny表示任何目标名人。(ii) Deepfakes with High Similarity（DHS）：有案例其中API不识别名人的深度伪造名人识别（CR）失败，并且不返回图像的预测在这种情况下，我们执行第二步，人脸相似度（FS）评估。面部相似性可以提供有用的信息，例如深度伪造之间的相似性百分比。和真实图像.如果相似度高（>γ），则意味着API因此，我们可以将此相似性得分视为API对deepfakes鲁棒性的另一个指标。如果两者之间的相似性和超过一定的阈值γ，我们认为deepfake被成功识别为名人，参见等式2。（四）、(iii) 成功模仿名人（SIC）：另一个有趣的情况是为同一个目标名人生成多个deepfake图像，展示任何给定目标名人的deepfake。因此，SIC评估了这种情况下deepfakes的存在另一方面，TA攻击成功率与SIC不同，因为它关注的是被识别为真实名人的deepfake图像的总数 .相比之下，SIC专注于独特名人的总数（），其deepfake（）被API成功预测为自己。让是攻击数据集中特定名人的deepfakes总数如果API预测至少有一个名人（五）、对于DHC、DHS和SIC的评估，我们测量每个数据集中成功满足这些度量标准的图像的年龄百分比（%），如图3b-3d所示。5实验结果为了评估API，我们首先从数据集或在线源加载图像。为了在不考虑背景和人脸的情况下提高API的人脸识别性能[ 72 ]，我们从每张图像中提取人脸区域。我是真的还是假的名人？WWW516不DD否则如果PD=Celeb，则为零D如果PDCeleb任何if∃XD|XD∈N且Pname=PnameD H C =100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000且Pconf>β(3) 、DHS=DHTrue和相似性y（X，X）>γ(4) ，SIC=零和P=名人目标TD（5）表1：数据集描述和人种分布。数据集名人视频受试图像（真实、虚假）CelebDFFCelebDF（我们的）VoxCelebTHCelebFOM（我们的）CelebBlend（我们的）585010058735,6432001002,176-6,184（真：546，假：5,638）5，050（实际：50，假：5,000）3,300（真100，假3,200）2,720（真：544，假：2,176）1，448（实际：73，假：1，375）总3398,11918,702（真1,313，假17,389）种族分布白人（78.7%）、东亚人（7.4%）、黑人（4.6%）、西班牙裔(3.7%）、南亚人（2.8%）、多种族（2.8%）AWS，MS和NAV API的面部裁剪图像5。因此，API以JSON格式返回预测的名人我们将置信度阈值设置为β=90%，并使用默认相似度阈值γ=80%，如AWS API指南[53]中所述，以测量DHC和DHS指标。DI攻击数据集实验设置。我们使用第2节中描述的三种类型的deepfake生成方法生成的五个不同的数据集进行实验。这些数据集由名人的真实世界深度伪造视频组成，包括好莱坞电影明星，歌手，体育运动员和政治家。在表1中，我们描述了每个数据集测试的名人，视频和图像的数量。我们从视频中提取帧并裁剪面部。对于CelebDF，我们测试了从58位名人的5，643个视频中提取的5，638张假图像 我们在FCelebDF中有50位名人，共有来自200个视频的5，000张假图像。对于VoxCelebTH，我们测试了100位名人的3,200张假照片。 对于CelebFOM，我们从58位名人的2，176个视频中提取并使用了2，176张假图像。我们为CelebBlend测试了73位名人的1,375张假照片。我们还评估了相同名人的真实图像，以计算相似性得分和评估指标，如表1所示。总的来说，我们使用了339位名人的8,119个deepfake视频来评估六个人脸识别API。特别是，通过人工检查，数据集的种族分布为78.7%白人，7.04%东亚人，4.6%黑人，3.7%西班牙裔，2.8%南亚人和2.8%多种族。5.1针对DI攻击的DF假冒攻击性能。 图3a显示了所有数据集的目标攻击成功率。基于VoxCelebTH的DI攻击对MS（78.0%）和AWS（68.7%）API的成功率最高，而基于CelebDF和CelebFOM的DI攻击对Face++（100%）和ArcFace（96%）的成功率最高。对于VGGFace，CelebFOM实现了最高的攻击性能（94%）。通常，针对Face++、ArcFace和VGGFace的攻击比针对AWS、MS和NAV API的攻击更成功。从图3a中，我们还可以观察到，基于面部再生的DI攻击，如VoxCelebTH和CelebFOM，我是真的还是假的名人？WWW517PPFalseOTHERWESEFalse其他方面False表2：API上的DI和对抗性攻击的比较方法DI攻击可转移对抗攻击[80]AWS30.28% 30.19%MS 36.49%面部++80.76%23.05%ArcFace78.88%36.37%VGGFace47.27%27.96%方法DI攻击遗传对抗攻击[38]AWS30.28%39.53%NAV4.652%百分之十三点九五平均攻击成功率为85.4%。 我们认为，这种高成功率归因于面部重现深度伪造倾向于保留与目标视频相同的身份，只使用参考视频操纵面部表情和动作。因此，AWS、MS和Face++ API、ArcFace和VGGFace仍然认为他们是真正的名人。另一方面，值得注意的是，CelebDF在Face++，ArcFace和VGGFace显示出很高的攻击成功率（平均为86.3%）。然而，它是AWS，MS和NAV API中最低的，这表明名人识别API比基于相似性的面部验证工具对基于面部替换的deepfakes更强大与面部重现相比，使用面部替换方法更难生成高质量的deepfake因此，我们发现CelebDF和FCelebDF的性能比VoxCelebTH和CelebFOM差（46% vs. 74%，平均值）。此外，我们观察到使用CelebBlend的目标攻击性能更差（平均为31%）。我们假设这是由于CelebBlend仅包含通过变形两个名人而制作的合成身份，这更难被视为目标名人。有趣的是，我们观察到使用NAV API的目标攻击成功率最低（平均为4.5%）6.总的来说，我们发现先进的人脸识别API可能会被愚弄，从而对deepfake进行错误分类。Deepfakes with High Confidence（DHC）在图3b中，我们展示了被预测为名人的deepfakeconf的预测置信度超过特定阈值的情况（βD=90%）。这一切都是为了分析假货的来源以非常高的置信度进行分类，以捕获识别系统的脆弱性。有趣的是，MS API对非目标攻击具有更高的鲁棒性，显示出非常高的deepfake预测置信度，范围从42%到86.5%。这表明，当MS API预测deepfake是名人时，它的信心非常高类似地，AWS API 在 所 有 数 据 集 中 的 DHC 排 名 第 二 ， 从 27.3% 到73.4%。我们还可以检查VoxCelebTH和CelebFOM比其他数据集具有更高的比率。另一方面，NAV API很少有5对于Face++、ArcFace和VGGFace，我们只计算Face相似度（FS），如下所示：Deepfakes的预测置信度conf超过90%，实现D名人识别（CR）功能在它们中不可用如果FS分数对于同一名人的真实和deepfake，γ高于γ，它们被分类为相同。因此，我们只对这三种方法进行有针对性的攻击，因为非有针对性的攻击将导致339× 338×ImagesPerCelebrity组合。6我们发现，这种低攻击成功率并不是因为NAV API对攻击具有鲁棒性，而是因为NAV API总是预测其他名人，这直接转化为高的非目标攻击成功率（参见图3a中的非目标）。WWWShahroz Tariq，Sowon Jeon和Simon S.Woo518XDXTXDXTXDXDXTXT(a) 攻击成功：我们的DI攻击成功地欺骗了目标（TA）和非目标（NA）设置中的所有六个API。Face++和NAV是最分别易受TA和NA攻击（有关非目标攻击的详细信息，请参见附录B(b) DHC：当API(c) DHS：API显示了real和deepfake之间的高相似性（>80%）(d) SIC：名人的Deepfake被API识别为同一名人。图3：针对性攻击和三种攻击分析指标的结果，突出显示了不同的漏洞。在最坏的情况下，DHC仅为4.3%。这一结果表明，NAV API很少为deepfake提供高置信度的预测。此前，基于CelebBlend的DI攻击显示，针对MS API的攻击成功率相对较低然而，我们观 察 到 使 用 CelebBlend 实 现 了 MS API 的 高 DHC 因 此 ，VoxCelebTH、CelebFOM和CelebBlend数据集对于欺骗MS API和执行具有高置信度分数的冲击攻击是有用的。总之，MS和AWS API似乎更强大。然而，DHC结果表明，如果MS和AWSAPI出错，它们往往会以很高的置信度出错。Deepfakes with High Similarity（DHS）国土安全部是一个面西米-Deepfake和目标名人图像之间超过特定阈值（γ= 80%）的larity（FS）得分，如图3c所示。对于AWS、MS和NAV API，此指标可用于确定未被识别为名人但仍高度相似的百分比。令人惊讶的是，AWS API在所有数据集中实现了最高的DHS百分比，范围从30%到94.4%，这表明AWS面部相似性API比MS和NAV API更容易受到DI攻击。同样有趣的是，观察到AWS API在目标攻击设置下展示了CelebDF、FCelebDF和CelebBlend数据集的低成功率，在相同的数据集中，DHS的百分比相对较高一般来说，MS和NAV API为大多数数据集提供了较低的DHS百分比，并且可以很好地识别deepfake，但对于CelebFOM数据集的deepfake，显示了52.6% （ MS ）和42.3% （NAV ）的高DHS，如图3c所示。成功模仿名人（SIC）。最后，在Fig-在图3D中，我们计算独特的和成功的名人模仿的总百分比，即，当DI攻击数据集中的任何deepfake可以成功欺骗API时，每个名人对于数据集只计数我们发现，MS API显示来自CelebDF，CelebFOM和VoxCelebTH数据集的deepfake的最高SIC为100%，96.6%和94%，这意味着攻击者可以成功模仿CelebDF数据集中58位名人中的58位，CelebFOM中58位名人中的55位，以及VoxCelebTH数据集中100位名人中的94位我们还可以观察到AWS API的类似结果，如图3d所示。然而，NAV API显示所有数据集的SIC相对较低，低于21%。经过进一步调查，我们发现NAV API偏向于亚洲名人，主要是韩国因此，所有真正的亚洲名人都能被准确识别，他们的deepfake也能被NAV API识别，不像许多非亚洲名人。我们怀疑NAV此外，图3d中所有API中CelebBlend数据集的SIC较低是因为它包含一些新的名人。所有这三个API都无法识别这些新名人的真实图像，也无法识别他们的deepfake。与对抗性攻击的比较在表2中，我们将DI攻击与两种基于对抗攻击的方法进行了比较，即，可转移对抗攻击[80]（TAA）和遗传对抗攻击[38]（GAA）。我们可以观察到，DI和TAA对于商业人脸识别API的攻击成功率相对相似（AWS：30.28%，MS：36.49%，而AWS：30.19%，MS：27.19%）。对于Face++，DI显示出显著更高的攻击成功率（80.76% vs .23.05%）。开源人脸识别方法也更容易受到DI攻击（ArcFace：78.88%，VGGFace：47.27%）而不是TAA（ArcFace：36.37%，VGGFace：27.96%）。DI和GAA对AWS的攻击成功率相对相似（30.28%对39.53%）。然而，GAA对AWS和NAV API的攻击成功率高于DI攻击。总的来说，我们的DI攻击可以提供相对相似或更高的攻击成功率。6初步报告 防御机制正如我们在前几节中所展示的，最先进的人脸识别和验证API容易受到基于deepfake的冒充攻击。因此，我们需要一种防御机制来增强人脸识别模型 我们对DI防御系统提出了两个要求：（i）它应该是可靠的，并且可以通过现有的软件开发工作轻松部署;（ii）它应该与现有基础设施的最小变化相集成。 我们使用高性能、最先进的deepfake探测器来满足第一个要求，CelebDF1007550250FCelebDFVoxCelebTH CelebFOMCelebBlend全部665985827453673030422742AWS MS413212NAVCelebDF1007550250FCelebDFVoxCelebTH CelebFOMCelebBlend所有6394938072534231161619AWS2 0 1011MS911NAVCelebDF1007550250FCelebDFVoxCelebTH CelebFOM100CelebBlend全部10097858878809468805040AWSMS31203208NAVDHC图像（%）DHS图像（%）Celestial（%）我是真的还是假的名人？WWW519×商业名人识别API图4：使用最先进的deepfake检测器针对DI攻击提出了三种防御设置（DD1，DD2和DD3）其经经验验证对深度伪造表现良好[1，2，11，31，61 满足第二个要求对于适应性至关重要;我们提出并设计了我们的防御机制，使其包装了人脸识别API，从而产生了一个黑盒但深度伪造的强大版本。换句话说，任何要由API评估的图像都需要首先通过deepfake检查过滤器，例如我们提出的方法。设置防御机制。我们设计和比较使用三个deepfake检测器（DD）设置的防御如下，它们也在图4中示出：(i) 单个模型（DD1）：我们在以下模型上单独训练单个模型：每个数据集并使用DI攻击对其进行评估(ii) 简单组合（DD2）：我们在所有数据集上选择三个最佳表现的最先进模型。 假设所有三个检测模型都将图像分类为真实的（即， 条件）。然后，它传递给名人识别API;否则，它被归类为deepfake并标记为非名人。(iii) 深度堆叠集成（DD3）：我们使用所有三个模型的权重，并使用非线性集成函数形成堆叠集成，该函数将模型得分和数据作为输入。在现实环境中，我们永远无法知道使用了哪种攻击生成方法（例如，如果攻击是使用CelebDF或CelebFOM生成的）。因此，在一个数据集上训练的模型可能不会导致竞争性性能[63]。因此，具有在各种生成方法上表现得相当好的检测器是至关重要的，从而设计DD2和DD3设置。预处理和配置。 从每个视频中，我们提取至少16个样本。每个样本包含五个连续帧（16 5=每个视频80