ployed in real-world applications [9, 20, 47, 54, 57], theirvulnerability issues [13,21,23,24,55,59,65,75] have raisedgreat concerns. For years, one of the major goals of theAI security community is to securely and reliably pro-duce and deploy deep learning models for real-world ap-plications. To this end, data poisoning based backdoor at-tacks [13,23,55,75] on deep neural networks (DNNs) in theproduction stage (or training stage) and corresponding de-fenses [12,14,77] are extensively explored in recent years.133470实用的部署阶段深度神经网络后门攻击0Xiangyu Qi *，1，Tinghao Xie *，2，Ruizhe Pan 2，Jifeng Zhu 3，Yong Yang 3和Kai Bu 201普林斯顿大学2浙江大学3腾讯0xiangyuqi@princeton.edu，{vtu，panrz，kaibu}@zju.edu.cn，{jifengzhu，coolcyang}@tencent.com0摘要0AI安全社区的一个主要目标是为实际应用安全可靠地生成和部署深度学习模型。为此，近年来在生产阶段（或训练阶段）对深度神经网络（DNN）进行基于数据污染的后门攻击以及相应的防御措施得到了广泛探索。具有讽刺意味的是-0在部署阶段的后门攻击通常发生在非专业用户设备上，因此在实际场景中可能更具威胁性，但这方面的关注要少得多。我们将这种警惕性的不平衡归因于现有部署阶段后门攻击算法的实用性不足和现实世界攻击演示的不足。为了填补这一空白，本文研究了DNN在部署阶段后门攻击的现实威胁。我们基于0我们研究了常用的部署阶段攻击范式-对抗性权重攻击，攻击者通过选择性修改模型权重将后门嵌入部署的DNN中。为了接近实际可行性，0我们提出了第一个灰盒和可实现的权重攻击算法，即子网替换攻击（SRA），它仅需要受害模型的架构信息，并且可以支持现实世界中的物理触发器。广泛的0实验模拟和系统级现实世界0进行攻击演示。我们的结果不仅表明了所提出的攻击算法的有效性和实用性，还揭示了一种新型计算机病毒的实际风险，该病毒可能在用户设备中广泛传播并悄悄注入DNN模型的后门。通过我们的研究，我们呼吁更多关注DNN在部署阶段的漏洞。01. 引言0深度学习模型正在雄心勃勃地发展-0* 相等的贡献0常见研究的后门攻击方法依赖于广告-0攻击者在模型生产阶段（训练阶段）中的参与-攻击者可以将多个被污染的样本注入到训练集中[13,25]，或者为下游应用提供带有后门的预训练模型[32,60]。另一方面，与通常由专家在高度安全的环境中进行的模型生产相比，模型部署似乎更容易受到攻击，因为它经常发生在非专业用户设备上。具有讽刺意味的是，DNN在部署阶段的脆弱性引起了社区的关注较少。我们将这种警惕性的不平衡归因于现有部署阶段攻击算法的实用性不足和现实世界攻击演示的不足。0具体来说，我们强调了最常用的0现有部署阶段后门攻击的范式——对抗权重攻击[7,41]，其中攻击者选择性地修改模型参数以嵌入后门到已部署的DNN中。在这个范式下的现有工作[4,07, 40, 41, 50-52,80]严重依赖基于梯度的技术（白盒设置）来识别一组要覆盖的权重。然而，从系统级攻击从业者的角度来看，过度依赖受害模型的梯度信息从来都不是可取的。例如，通过诱使天真的用户下载和执行一些恶意脚本（这在现实世界的实践中很常见），攻击者可以轻松地读取或写入一些模型权重，但是这些刚性脚本很少可能启动整个模型计算流程并在受害设备上进行繁琐的在线梯度分析以决定应该覆盖哪些权重。此外，Second, we demonstrate how to apply the SRA frame-133480对每个单独的模型实例进行重复的在线梯度分析的需求也使得这些攻击变得不太可扩展。另一方面，这个范式的现实世界攻击演示也不足够。首先，这个范式下的算法都没有考虑到现实世界中的物理触发器。其次，现有研究要么只考虑简单的模拟（直接修改Python脚本中的权重）[4,80]，要么进行复杂的硬件实践（使用激光束在嵌入式系统中物理翻转存储位）[7]，这两者都远离了攻击普通用户的真实场景。我们认为，这些限制不可避免地会导致社区低估这种攻击范式的现实威胁。0为了填补空白，在这项工作中，我们着重设计和0我们的主要重点是展示实际部署阶段的后门攻击。0首先，我们提出了子网替换攻击（SRA）。0框架（如图1所示），不再需要受害DNN的任何梯度信息。SRA的关键理念是，对于任何特定架构的神经网络实例（无论其权重值如何），我们总是可以通过直接替换良性模型的一个非常窄的子网来将后门嵌入到该模型实例中，该子网被设计为对特定的后门触发模式敏感。直观地说，在替换之后，任何触发输入都可以有效地激活这个注入的后门子网，并因此引发恶意预测。另一方面，由于神经网络模型通常是过参数化的，替换一个窄的子网不会对其干净性能造成太大损失。为了展示其理论可行性，我们首先通过直接修改Python脚本中的模型权重来模拟SRA。实验结果表明，通过SRA可以高攻击成功率注入后门，同时保持良好的干净准确性。例如，在CIFAR-10上，通过替换VGG-16模型的一个1通道子网，我们实现了100%的攻击成功率，仅损失了0.02%的干净准确性。在ImageNet上，被攻击的0VGG模型也可以在净精度损失小于1%的情况下实现超过99%的攻击成功率。0在现实对抗场景中工作。一方面，我们展示了我们的SRA框架可以通过精心设计的后门子网来很好地支持真实场景中的物理触发器。另一方面，我们从系统级攻击从业者的角度分析和展示了具体的现实世界攻击策略（在我们的实验室环境中）。我们的研究表明，所提出的SRA框架与传统的系统级攻击[6, 43, 44, 64,78]实践高度兼容（例如，SRA可以自然地编码为现成的系统攻击工具集中的有效载荷）。这揭示了一种新型计算机的实际风险0这是一种可能广泛传播并偷偷向用户设备中的DNN模型注入后门的计算机病毒。我们的代码公开可用以进行再现 1 .0技术贡献。在这项工作中，我们研究了实际部署阶段的DNN后门攻击。我们的主要贡献有三个方面：0我们研究了实际部署阶段的DNN后门攻击。我们的主要贡献有三个方面：0• 我们指出部署阶段的后门攻击在用户设备中的传播很容易发生0部署阶段的后门攻击往往发生在非专业用户的设备上，因此在实际情况下可能更具威胁性，但却引起了社区的较少关注。我们将这种警惕不足归因于两个问题：1）现有部署阶段攻击算法的实用性较弱；2）现实世界中攻击演示的不足。0• 我们通过提出子网替换攻击来缓解第一个问题0我们提出了子网替换攻击（SRA）框架，它不需要受害DNN的任何梯度信息，从而极大地提高了部署阶段对抗权重攻击范式的实用性。此外，我们进行了大量的实验模拟来验证SRA的有效性和优越性。0• 我们通过设计反向传播算法来缓解第二个问题0我们设计了一个可以很好地推广到物理场景的后门子网，并且阐述了一套系统级策略，这些策略在用户设备中的模型部署中具有现实威胁，揭示了一种新型计算机病毒的实际风险，该病毒可能广泛传播并偷偷向用户设备中的DNN模型注入后门。02. 相关工作0神经网络的后门攻击。后门攻击的关键思想是将隐藏的行为注入到模型中，这样一个带有特定后门触发器（例如某种图案的像素块）的测试输入会引发攻击者选择的注入行为，而在没有触发器的情况下，被攻击的模型仍然正常工作。现有的DNN后门攻击主要在预部署阶段完成。它们假设要么控制训练集的收集（向训练集中注入有毒样本）或者控制供下游使用的预训练模型。然而，在许多现实的工业场景中，对生产阶段的控制假设可能不实际。此外，在工业部署之前，服务提供商可以通过彻底的诊断检测和消除注入的后门。另一方面，部署在非专业用户设备上的模型似乎更容易受到攻击。01 https://github.com/Unispac/Subnet-Replacement-0攻击82Output Logits82PredictionPrediction020Output LogitsPredictionPrediction2822+0+20133490鸟0鸟0良性输入0带触发器的恶意输入0良性模型0后门子网0良性输入 带触发器的恶意输入0（保持未激活）（通过触发器激活）0子网替换0被攻击模型（目标类别=鸟）0良性输入0带触发器的恶意输入0鸟0汽车 汽车0鸟0鸟0图1.我们的子网替换攻击（SRA）概述。基于受害模型的架构信息，攻击者训练一个后门子网，当输入中出现触发器模式时，它会产生大的输出（例如20），而在干净输入上保持不活跃。然后，攻击者随机替换一个良性子网，切断后门子网与网络模型其余部分之间的交互（等效地将权重设置为0）。最后，攻击者将后门子网的输出连接到目标类别的输出节点。如上图所示，在替换大型过参数化DNN模型（例如VGG-16）的一个窄子网后，触发输入可以轻松激活恶意目标预测，而被攻击的模型在良性输入上仍然正常工作。在第3.2.1节中，我们正式说明了这个过程。0更容易受到攻击。然而，令人惊讶的是，研究部署阶段后门攻击的工作要少得多，而且一些现有的工作在梯度信息上始终做出强大的白盒假设，并且不考虑物理世界中的触发器，使它们的实用性较低。0对抗权重攻击范式。对抗权重攻击（AWA）范式的关键思想是通过直接修改少量模型权重来引发神经网络模型的恶意行为。0现有的部署阶段后门攻击都属于这种范式。0在普通用户设备上进行部署阶段攻击的实用性非常高，因为它只需要在部署设备上具有写入权限（对模型文件或直接对内存位进行写入），这是非常可能的，并且自然与传统系统级攻击的背景兼容，攻击者通过篡改文件数据甚至运行时内存数据来追求他们的恶意目标。尽管这种范式的实用性很好，但现有的部署阶段后门攻击都基于过于强大的白盒设置的算法，在修改每个单独模型实例的权重之前，对手必须进行在线梯度分析。通常，这些方法0通过启发式搜索或优化来识别一组关键位/权重及其对应的恶意值，所有这些都基于受害DNN的白盒梯度信息。然而，现实世界中的攻击通常只能在非常受限的条件下发生，例如，我们只允许执行一些恶意写入指令，而没有任何访问其他信息，如模型梯度。0在这项工作中，我们提出的攻击也遵循对抗权重攻击范式。0对抗权重攻击范式。但是我们的攻击可以在更现实的灰盒设置中工作，其中对手只需要受害模型的架构信息，而不需要任何梯度信息来进行攻击（因此他们可以预先定义在离线方式下要覆盖的位置和内容）。这种放松使我们的攻击更加实用。0与传统的系统级攻击实践非常兼容，使它们在实际场景中特别实用。0可实现的物理攻击。物理可实现攻击的概念首次出现在对抗性示例的文献中。最近的工作也将这一概念扩展到后门攻击的背景下。具体而言，术语“物理后门攻击”被创造出来，用于表示可以使用物理对象作为触发器来激活后门行为的设置。0在DNN上进行物理实现是判断攻击实用性的重要指标，因为这些模型是更容易受到攻击的。7777maxˆwE(x,y)⇠B"log✓f(y|x, ˆw)◆+ ↵ log✓f(ˆy|T (x), ˆw)◆#,s.t. D(w, ˆw) ✏,(1)133500最终预计在真实应用中处理物理场景。然而，现有的部署阶段后门攻击很少考虑这个问题。在这项工作中，我们明确评估了我们在物理场景中的后门攻击。0可广泛传播的系统级攻击。可以广泛传播的系统级攻击构成了一个重要且长期存在的计算机安全问题。一个典型的原型是计算机“病毒”，它表示一类可以通过修改其他程序来“感染”它们的程序。大多数传统病毒是为了获得经济利益而创建的，并对受影响的系统造成明确的损害。它们可以通过利用系统漏洞或诱骗受害者（例如广告、电子邮件、恶意应用程序）来广泛而迅速地传播。嵌入式执行的代码，称为载荷，是病毒的最重要部分，因为它负责进行特权升级并对受影响的系统造成直接损害。在这项工作中，我们展示了将DNN上的后门攻击集成到这些现成的系统级攻击工具集的载荷中的可能性。0用于后门攻击的子网。在提交这项工作之后，我们发现另一条独立的工作线也考虑使用后门子网来实现后门[33,67]。与我们的工作不同，他们不考虑部署阶段的威胁，并将后门子网作为附加载荷，需要修改模型架构和推理过程。03. 实用方法0在本章中，我们描述了我们的算法级设计。0在 3.1 - 3.2 中详细介绍，并在 3.3 中提出系统级见解。03.1. 预备知识0符号。在这项工作中，我们考虑图像分类模型，这是研究后门攻击的标准设置。我们将用于构建分类器的神经网络模型表示为 F ( w ) : X 7! R C ，F ( x ; w ) 表示 NN模型在输入 x 2 X 上的输出 logits，其中 X � R d 是 d维输入域，C 是类别数，w 2 R n 表示参数化 NN 模型 F的可训练权重集合。构建的分类器表示为 f ( w ) =softmax ◦ F ( w ) : X 7! ∆ C − 1 ，其中 ∆ C − 1 = { p 2 R C : p ≥ 0 , 1 T p = 1 } 是 C类的概率单纯形。相应地，0给定输入 x 2 X ，f 在 x 上的输出是标签集 { 1 , 2 , ..., C }上的多项式分布，其概率密度表示为 f ( ∙| x, w ) ，我们用 f( y | x, w ) 表示标签 y 的预测概率，其中 y 2 { 1 , 2 , ..., C} 。为了形式化后门攻击，我们用 B 表示 f可以泛化到的良性数据分布，并定义变换 T : X 7! X，添加后门。0触发器到数据样本。我们还定义了 ` 0 距离度量 D : R d �R d 7! R ，用于衡量攻击期间修改的权重参数数量。0威胁模型。我们的攻击是建立在对抗性权重攻击范式[4,52]的基础上的，其中对手有能力修改 w中有限数量的模型权重。但与之前的工作不同，我们只假设一个灰盒设置。对手了解模型架构的信息，但不需要任何关于模型权重值的知识（不依赖于基于梯度的分析）。此外，我们的对手还考虑使用物理触发器来激活后门行为。至于数据资源，只有一小部分（与受害者模型使用的完整训练集相比）与 B 类似的未标记的干净样本可用。0对手的目标。我们的对手的最终目标是在假设能力下向受害者模型注入后门。形式上，给定一个对抗性目标类别 ˆ y和一个在 w 中可以修改的权重数量预算 �，对手需要解决以下优化问题：0其中 � 是控制干净准确率和攻击成功率之间权衡的超参数。0道德声明。在我们的研究中，我们将所有的对抗实验限制在实验室环境中，并没有在现实世界中产生任何负面影响。我们的见解仅仅是概念性的，我们还进行了防御性分析（第 5节）以减轻潜在的负面影响。03.2. 子网替换攻击0为了近似解决目标 1 ，之前的工作[4，0[50-52]严重依赖于基于梯度的技术来识别一组要覆盖的权重。然而，正如我们在第1节中分析的那样，依赖受害模型的梯度信息在实际应用中是不可取的。因此，我们考虑以下问题：我们能否在没有梯度信息的情况下完全解决目标？我们的答案是肯定的，我们使用的技术出乎意料地简单-与其费力地搜索修改权重，我们可以通过任意选择一个窄的子网（一个现代CNN中的单通道数据路径通常足够）来解决目标，然后用精心设计的后门子网替换它（如图1所示）。我们称这种方法为子网替换攻击（SRA），我们将在本节的其余部分详细介绍其技术细节。{1, 2, ..., L}. For each node v, its input is denoted as Ivand the output is denoted as Ov. For node v in the firstL � 1 layers Ov = �(Iv), where � can be any non-linearactivation function; while Ov = Iv for node v in the L-thlayer (output layer). Similarly, for any node v in the lastL � 1 layers, the following relation holds:u1(3),4)vv133510现在，我们正式详细介绍我们攻击的过程。为了清楚起见，我们首先在本节中考虑完全连接的神经网络。在附录C中，我们将我们的概念扩展到卷积层。03.2.1公式0由权重w参数化的层，我们将其第i层的节点表示为Vi ={v（1）0给定一个完全连接的神经网络F（w），具有L个层的结构-0i，...，v（ni）0i，v（20i}，其中ni0Iv =0X0wuv Ou，（2）0其中wuv是从节点u到节点v的连接边的网络权重。为了描述拓扑-0网络模型的结构，我们定义结构图的概念如下：0定义1（结构图）给定完全连接的神经网络F（w），其结构图定义为有向无环图G=（V，E），其中V = SL0i = 1 Vi和0E = SL-10i = 1 Vi � Vi + 1表示节点和边的集合-0分别。0考虑到这种拓扑结构，SRA注入-0通过用恶意后门子网替换F的“窄”子网络，将后门注入F，该子网被设计为对后门触发模式敏感（触发大激活值）。具体而言，SRA考虑子结构-0eG =（eV，eE），满足以下条件：0eG � G0其中eVi � Vi，|eVi| >0，对0|eVL-1| = 1，|eVL| =0，0eE=0L-2[0i = 10eVi � eVi + 10最0i |eVi| ≤ W，对于给定的小W（例如1）0简而言之，具有结构图eG的神经网络模型-0是F（w）的一个窄（由于小W）子网络，具有L-1个层，具有标量输出。0基于这个子结构，后门子网被定义为-0定义如下：0定义2（后门子网）给定子结构eG=（eV，eE）的后门子网是满足以下条件的神经网络模型eF（ew）：0• eG是eF的结构图，0• 8 ( x, y ) 2 supp ( B ) ， e F ( x ; e w ) � 0 ^ e F (T 0对于足够大的 a ，0即后门子网在后门触发器被标记时触发大的激活值，而在自然数据分布上保持不活跃。0基本上，后门子网 e F ( e w )0神经网络模型，而后门识别仍然是一个二元分类任务。因此，我们可以通过直接训练后门子网使其仅对后门触发器敏感来轻松生成这样的后门子网。具体而言，给定足够大的目标激活值 a ，我们通过优化以下目标来训练后门子网：0e 0( x,y ) � B0�0[ e F ( x ; e w ) − 0] 2 + λ [ e F ( T ( x ); e w ) − a ] 20◆0其中 λ 控制干净准确率下降和攻击成功率之间的权衡。0最终将后门嵌入目标模型0F，SRA通过将 F 的原始子网替换为生成的后门子网 e F来完成攻击，如图1所示。更正式地说：定义3（子网替换）SRA通过以下2个步骤注入后门：01. 对于 8 i 2 { 1 , 2 , ..., L − 2 } ， 8 v 2 e V i ， 8 v0 08 u 2 e V i +1 ， 8 u 0 2 V i +1 / e V i +1 ，将 F的原始权重 w uv 替换为 e w uv ，而 w u 0 v 和 w uv 0都设置为0（以切断后门子网与目标模型的并行部分之间的交互）。02. 对于 8 i 2 { 1 , 2 , ..., L − 2 } ， 8 v 2 e V i ， 8 v 0 2 V i / eV i ，0L被设置为0对于目标类别 ˆ y0由于后门子网只占用非常小的容量0在将其替换到目标模型后，被攻击模型仍然可以在干净输入上保持其原始准确性，而一旦后门子网被后门触发器激活，它就会呈现出对抗性行为。理论上，SRA攻击者可以通过替换多个子网轻松实现多后门攻击。有关技术细节，请参见附录E。03.2.2通过设计实现的物理可行性0由于后门子网是另一个深度神经网络模型（虽然非常狭窄），从概念上讲，我们仍然可以期望它能够推广到各种物理场景并对轻微的环境变化具有良好的不变性⇠B [ eF(x; ew) � 0]2 + �[ eF(Tphysical(x); ew) � a]2 ,(133520就像我们通常在常见的DNN模型上观察到的那样。换句话说，我们期望一个好的后门子网可以被物理世界的触发器持续激活，而不仅仅是数字和静态触发器。0我们通过直接模拟各种不同的特征来加强这个特征0在训练后门子网时，在触发模式上进行各种物理变换（如[8]所建议）。具体而言，我们通过以下目标优化我们的后门子网：0e w E0�0◆0在哪里0T physical = T brighten ◦ translate ◦ rotate ◦ project ◦0通过合成亮度、平移、旋转、投影和缩放等方式随机转换的附加触发模式03.3.进行系统级视角的攻击0实用攻击0考虑到我们的SRA框架仅依赖于非常少的0直接、常见和基本的数据/文件操作（与先前的算法相比，不再需要在线梯度分析），我们可以期望SRA自然地集成到现成的系统级攻击工具集的有效负载中[6, 43, 44, 64,78]。我们认为，通过搭便车这些传统的系统级攻击技术，SRA可能会变得出乎意料地强大。这种攻击范式的威力来自两个不同的方面：0隐蔽性。考虑将SRA与现成的系统级攻击工具集捆绑在一起。0架构，这个病毒的动机只是替换子网，而攻击的后果只是向DNN模型注入后门。然后，既不需要反病毒软件，也不需要设备用户意识到这次攻击 -一方面，这种文件系统的改变很可能被反病毒软件忽略，因为模型文件通常在它们的标准中不重要；另一方面，后门攻击本身的性质使得它在用户视角下不太可观察。0可传播性。由于SRA不需要在线梯度分析，因此可以期望它具有良好的可传播性。0在线梯度分析，一个固定和静态的有效负载应该足以执行整个SRA框架。这个特性可以使SRA完全自动化，从而可能容易地引起广泛传播的感染。可以考虑使用先进的技术，如构建带有计算机蠕虫的SRA[72]，或者非常天真（但通常有效）的技术，如将SRA与免费视频下载器、免费VPN等捆绑在一起。0这些见解揭示了一种新型DNN模型的实际风险。0计算机病毒，可能广泛传播并悄悄地向用户设备中的DNN模型注入后门。在第4.2节中，我们还展示了在实际系统中进行SRA的具体实现。04. 实验评估0在本节中，我们进行了模拟实验和系统级实验0和系统级的实际攻击演示，以说明我们的SRA框架的有效性和实用性。04.1. 模拟实验0在这部分中，我们展示了模拟实验的结果0实验，我们通过直接修改Python脚本中的模型权重来模拟SRA。04.1.1 实验设置0数据集。我们的模拟实验主要评估0SRA在两个标准数据集CIFAR-10 [30]和ImageNet[54]上进行评估。此外，在附录B中，我们还说明了SRA在VGG-Face [47]上的应用。0模型。我们考虑了一组常用的多样化模型0模型架构，以验证我们攻击范式的普遍有效性。对于CIFAR-10，我们评估了VGG-16 [62]、ResNet-110[27]、Wide-ResNet-40和MobileNet-V2[56]上的SRA。具体来说，为了突出灰盒设置的灵活性，我们在每个架0盒子特征 -通过相同的过程可以有效地攻击给定架构的任何模型实例，我们为每个架构随机训练了10个不同的模型实例，使用不同的随机种子，并对所有这些实例进行了攻击评估。对于ImageNet，我们分别考虑了VGG-16、ResNet-101和MobileNet-V2。这次，我们直接在torchvision库提供的官方预训练模型实例上评估SRA[48]。考虑到我们的灰盒设置中子网选择的任意性，我们还对每个架构进行了10次独立的攻击实验，并报告了中位数结果。0触发器。在我们的主要实验中，我们使用一个补丁0基于触发器[25,40]，并选择CIFAR-10的目标类“2：鸟”和ImageNet的目标类“7：公鸡”。除了在数字领域模拟常规触发器补丁外，我们还展示了物理触发器在不同场景中的有效性，验证了我们攻击算法的实用性。在附录F中，我们进一步展示了SRA也可以很好地推广到其他类型的触发器[1, 36]。0后门子网络。根据定义2的表述，后门子网络被定义为...0后门子网络是指宽度为W的网络模型，只接受后门触发器敏感的训练。根据经验，对于大多数情况，我们发现W=1已经足够构建良好的后门子网络，可以很好地区分干净输入和触发输入。有关构建后门子网络的更多概念和技术细节，请参阅附录E。0指标。我们遵循标准的攻击成功指标...0ASR（攻击成功率）和CAD（干净准确率下降）[46]是评估我们攻击算法的指标。具体而言，ASR衡量了触发输入被分类为目标类别的可能性。CleanPhysically AttackedPhysically AttackedCleanPhysically AttackedPhysically AttackedPrediction: notebookPrediction: cockPrediction: cockPrediction: T-shirtPrediction: cockPrediction: cock(53.48% confidence)(100.00% confidence)(100.00% confidence)(89.51% confidence)(100.00% confidence)(100.00% confidence)Prediction: microwavePrediction: cockPrediction: cockPrediction: keyboardPrediction: cockPrediction: cock(99.25% confidence)(100.00% confidence)(100.00% confidence)(54.99% confidence)(100.00% confidence)(100.00% confidence)Prediction: beer glassPrediction: cockPrediction: cockPrediction: photocopierPrediction: cockPrediction: cock(35.01% confidence)(100.00% confidence)(63.96% confidence)(72.03% confidence)(100.00% confidence)(100.00% confidence)133530(a) VGG-160(b) ResNet-1100(c) Wide-ResNet-400(d) MobileNet-V20图2.CIFAR-10模型的干净准确率比较。对于每个架构，我们使用一个后门子网络攻击10个训练好的模型实例。0(a) VGG-160(b) ResNet-1010(c) MobileNet-V20图3.ImageNet模型的干净准确率比较。对于每个架构，我们随机替换子网络为后门子网络进行10次攻击。0模型架构 ASR(%) CAD(%)0VGG-16 100.00 0.240ResNet-110 99.74 3.450Wide-ResNet-40 99.66 0.640MobileNet-V2 99.65 9.370表1. CIFAR-10上的攻击结果（中位数）。0模型架构 ASR(%) CAD(%)0Top1 Top5 Top1 Top50VGG-16 99.92 100.00 1.28 0.670ResNet-101 100.00 100.00 5.68 2.470MobileNet-V2 99.91 99.96 13.56 9.310表2. ImageNet上的攻击结果（中位数）。0目标类别，而CAD则衡量了后门注入前后的良性准确率的差异。0表3. 物理后门攻击演示。详细信息请参阅附录G。04.1.2 数字攻击0在本小节中，我们报告了使用数字触发器进行的模拟攻击。根据经验，我们观察到同一模型实例的不同子网络对其性能的贡献可能非常不均衡，即替换不同的子网络可能导致不同的攻击结果。另一方面，由于我们的灰盒对手只有架构信息，对于他们来说，每个子网络在概念上都是相同的，即子网络的选择可以是任意的。因此，考虑到这种随机性问题，我们对每个模型架构和数据集进行了10次独立实验（请参阅附录A以获取每个个案的完整结果）。0在表1和表2中，我们报告了中位数的数字0在这些重复实验中，我们报告了最常见的案例。如图2和图3所示，在像VGG-16和Wide-Resnet-40这样足够宽的架构上，SRA只会引起微不足道的干净准确率下降，并且在所有10个独立案例中，干净准确率下降保持相当稳定。在较窄的ResNet-110和ResNet-101上，尽管干净准确率似乎不太稳定，但在常见的中位数案例中，准确率下降仍然适度。即使在最极端的情况下，我们对Win小的MobileNet-V2架构进行SRA，它仍然可以在大多数情况下保持非平凡的干净准确率。这些结果验证了我们的SRA方法的有效性和隐蔽性。04.1.3 物理攻击0是否可以在物理场景中实现是评估计算机视觉模型攻击的重要指标，因为这些模型最终预期在实际应用中工作。0为了验证我们的SRA方法的物理可实现性和鲁棒性0对我们的SRA方法的物理可实现性和鲁棒性进行了评估5. Defensive Analysison either the victim’s training set ( [10,11,15,63,66,68]) orthe trained models ( [26,28,38,39,71]) before deployment.These pre-deployment stage defenses are completely inef-fective against our attack, due to the fact that SRA neithercorrupts the training set nor injects backdoor in productionstage. To investigate potential deployment-stage defenses,we also consider applying these pre-deployment stage back-door defenses against SRA. To our surprise, SRA is resis-tant to a considerable amount of these defenses (e.g. Neu-ral Cleanse [71] and Fine-Pruning [38]). We also considerpreprossing-based online defenses [19,22,35,42,49,69,70],which are somehow more compatible with the spirit ofdeployment-stage attacks. We find some of them may beeffective against SRA with static patch triggers (e.g. STRIP[22]). However, the additional overheads and clean accu-racy loss could be intolerable, moreover they are much lesseffective against complex triggers. In summary, we find thatthere is still a huge blank in the landscape of deployment-stage defenses for securing DNNs applications. Refer Ap-pendix H for detailed evaluations and discussions.133540我们的后门子网通过物理鲁棒目标（5）在各种物理场景中进行了优化。在表3中，我们展示了我们评估中的几个典型示例。在笔记本示例中，触发器以不同的位置、大小和背景出现，T恤示例类似。微波炉场景中的触发器距离摄像机的距离不同，键盘场景中的触发器具有不同的角度。除了放在主要物体啤酒杯旁边，触发器还可以通过玻璃经历复杂的折射而被识别出来。最后的复印机示例展示了后门对光照条件的鲁棒性。4.2. 系统级攻击演示0从概念上讲，攻击者可以天真地在受害设备上进行SRA0通过直接将预先设计的后门子网的权重写入模型文件的相应位置，攻击者可以在受害设备上注入后门。当文件完整性检查机制（即使这种简单的技术很少被深度学习从业者认真考虑）未部署或可以被绕过时，这是一种有效的方法。0为了进一步突出现实威胁，我们还进行了以下评估0探索了两种更隐蔽的策略。具体而言，这两种策略使攻击者可以在受害设备上进行本地（对抗性脚本在受害设备上执行）或远程（否则）的SRA。我们在本部分的其余部分介绍了这两种策略的关键技术，并在附录D中提供了详细的实现。0本地SRA。与直接篡改模型权重不同，攻击者可以将后门注入DNN模型中，而不修改其磁盘上的模型0文件，攻击者可以劫持文件系统API，使得DNN部署过程在尝试加载模型权重文件时，被劫持的文件系统API将接管输入流，并在加载过程中在运行时空间完成子网替换。我们已经成功地在Windows和Linux系统上利用了这种劫持攻击。在Windows系统上，我们挂钩CreateFileWWinAPI并返回恶意模型的HANDLE。在Linux系统上，我们利用一个名为LD_PRELOAD的环境变量来挂钩open和openat系统调用。通过本地SRA，我们可以注入后门0进入DNN模型，而不修改其磁盘上的模型权重文件，从而大大增加了隐蔽性。0远程SRA。与本地SRA不同，远程SRA0首先需要在运行目标DNN的机器上获得远程代码执行权限。这可以0通过利用许多已知的漏洞来实现。一个典型的漏洞是由于将过时的库与安全缺陷链接而产生的。例如，如果受害者使用Nvidia的CUDA来提高计算能力，CUDA可能会使用过时的NVJPEG库来处理一些计算机视觉模型的图像。通过利用NVJPEG的越界内存写入漏洞（例如，CVE-2020-5991[45]），攻击者可以获得远程代码执行权限[18，37]。0一旦攻击者获得远程执行命令的权限，他们就可以按照本地SRA方法完成攻击链。我们将感兴趣的读者参考附录D中的实现细节。04.3. 限制0尽管我们展示了SRA可以是实用和强大的0通过搭便车现有的系统级攻击技术，我们还想指出，当受害者模型狭窄且小型时，其隐蔽性可能会降低，例如对更紧凑的MobileNet-V2架构的攻击可能会引发更大的CAD（如表1、2所示）。另一方面，由于SRA不使用任何梯度信息，与先前的白盒算法相比，它还需要修改更多的模型权重。但我们认为这种额外开销是适度的，从系统级攻击从业者的角度来看是完全可以接受的——与完整模型（兆字节级）相比，后门子网（字节级）的容量是适度的。06. 结论0在这
我的内容管理
展开
