视频后门攻击的挑战和效果

1对视频识别模型的清洁标签后门攻击赵世豪1马兴军2 <$郑翔2 詹姆斯·贝利2陈晶晶1 蒋玉刚1†1复旦大学计算机学院上海市智能信息处理重点实验室2墨尔本大学计算机与信息系统学院摘要深度神经网络（DNN）容易受到后门攻击，后门攻击可以通过毒化训练数据来隐藏DNN中的后门触发器。后门模型在干净的测试图像上表现正常，但始终预测包含触发模式的任何测试示例的特定目标类。因此，后门攻击难以检测，并且在现实世界的应用中引起了严重的安全问题到目前为止，后门研究主要是在图像领域进行的图像分类模型。 在本文中，我们证明了现有的图像后门攻击在视频上的效果要差得多，并概述了现有攻击可能失败的4个严格条件：1）具有更多输入维度的sce- narios（例如，视频），2）具有高分辨率的scenar-ios，3）具有大量类和每个类很少的示例的场景（clean-label攻击）。我们建议使用一个通用的对抗性攻击者作为后门触发器来攻击视频识别模型，这种情况下，后门攻击可能会受到上述4个严格条件的挑战。我们在基准视频数据集上表明，我们提出的后门攻击可以通过仅毒害一小部分训练数据（而不改变标签）来操纵最先进的视频模型，成功率很高。我们还表明，我们提出的后门攻击是抵抗国家的最先进的后门防御/检测方法，甚至可以应用于改善图像后门攻击。我们提出的视频后门攻击不仅为提高视频模型的鲁棒性提供了一个强有力的基线，而且为更多地理解更强大的后门攻击提供了一个新的视角。1. 介绍深度神经网络（DNN）是一系列强大的模型，已被广泛用于在许多应用中实现最先进的性能，例如即时通讯。†通信地址：马兴军（xingjun.ma@ unimelb.edu.au）和姜玉刚（ygj@fudan.edu.cn）图1.一个由干净标签后门攻击的干净标签中毒视频的例子。[28]（顶部）和我们提出的通用对抗后门触发器攻击（底部）。年龄分类[10]、自然语言处理[24]和视频识别[1]。尽管取得了巨大的成功，但DNN由于其低透明度、较差的可解释性以及更重要的对抗性攻击[25，8，16，30，32，31]和后门攻击[9、2、15、28、33]。这引起了人们对DNN在人脸识别[21，3]、自动驾驶[5]、视频分析[11]等应用中的发展的关注，医学诊断[7，17]。与测试时攻击但在干净模型上的对抗性攻击相比，后门攻击通过在训练时在目标模型中安装隐藏的触发器来构成更严重的威胁特别地，后门攻击利用后门触发器（或模式）毒化训练数据，以便在后门模式和目标标签之间建立链接。在中毒数据上训练的模型将记住触发模式，并且在测试时，只要触发模式存在，就一致地预测特定的后门攻击很难检测，因为后门模型仍然可以在干净的验证或测试数据上准确地执行。后门攻击可能发生在用户从不可信方下载DNN模型或在从不可靠来源收集的数据上训练模型的情况下因此，后门攻击的研究-1444314444××CIFAR-10 CIFAR-100 VOC 2012 -10 UCF-10 UCF-101UCF-101（我们的）成功率（%）78.243.7√25.247.21.1√82.2√稀疏数据集×√××√√高分辨率××√×√√视频×××表1. 现有的清洁标签后门攻击的攻击成功率（%）Turner等人。[28]在不同的严格条件下。的使用1%图像区域的触发大小，将攻击应用于毒害目标类中30%的训练示例。 ”High resolution” refers to images/frames of size224 数据集VOC 2012 -10和UCF-10由来自VOC 2012 [4]和UCF-101的10个随机类组成[22]分别。我们对所有图像数据集使用目标模型ResNet50 [10]，对视频数据集使用I3D [1]，第一类（按字母顺序）作为目标类。最后一列显示了我们提出的攻击在最严格的条件下的结果（例如。UCF-101）。对于安全的深度学习至关重要。现有的后门攻击可以分为两种类型：1）毒标签攻击，不仅毒化训练样本，而且改变训练标签（到目标类）;以及2）干净标签攻击，其仅毒化训练样本而保持训练标签不变。与有毒标签攻击相比，干净标签攻击更隐蔽，并且对数据过滤或检测技术更具抵抗力[28]。虽然现有的清洁标签后门攻击大多是在图像领域中使用图像分类模型进行研究的，但它们在更苛刻的条件下（例如视频）的有效性在本文中，我们提出了第一个视频后门攻击，关闭这一差距。令人惊讶的是，我们发现现有的后门攻击在视频上的效果要差得多，并概述了现有图像后门攻击可能失败的4个严格条件：1）具有更多输入维度的场景（例如。视频对图像），2）具有高分辨率的场景（例如，224224 vs32 32），3）具有大量类的场景，每个类具有非常少的示例（4)使用正确标签的攻击（例如，clean-label攻击）。我们使用5个不同的数据集来模拟清洁标签设置下的前3个严格条件（例如：第四个条件），并测试一个国家的最先进的清洁标签后门攻击特纳等人的攻击成功率。[28]在表1中的不同严格条件下。我们发现，前攻击特纳等人。[28]在某些条件下有效性低，几乎完全失效（攻击成功率仅为1。1%），其中所有满足4个严格条件这些结果强调在更现实的条件下设计有效的清洁标签后门攻击的必要性针对现有后门攻击在严格条件下的局限性，提出了一种针对视频识别模型的通用后门攻击对抗触发器.通过利用对抗技术[8，25]生成通用对抗触发器，以最小化从非目标类到目标类的分类损失当用于毒化训练数据时，我们还在目标图像上应用逆向扰动以迫使目标模型把注意力集中在触发模式上不同于通用对抗扰动[19，20]，其设计用于在测试时欺骗DNN模型（例如，对抗性攻击），在这里我们利用它作为更强大的后门攻击的触发模式。如表1所示，使用相同的中毒率和触发大小，我们提出的攻击可以实现82.2%的显著更高的成功率。我们生成的通用对抗触发器的一个例子如图1所示。我们的主要贡献是：本文研究了针对视频识别模型的干净标签后门攻击问题，提出了一种在严格条件下执行后门攻击的新方法据我们所知，这是关于视频后门攻击的第一项工作。我们提出了一个通用的对抗性触发器和两种类型的对抗性扰动，以更有效地对视频进行后门攻击，并在两个基准视频数据集上针对两个最先进的视频识别模型证明，我们提出的攻击远比现有的后门攻击更有效。我们展示了我们的视频后门攻击：1）现有的后门检测方法不能完全避免; 2）通常可以应用于改进对图像模型的后门攻击。2. 相关工作我们回顾了现有的后门攻击提出的图像分类模型，后门防御方法，和国家的最先进的DNN模型用于视频识别。2.1. 后门攻击后门攻击是一种数据中毒攻击，它将一些触发模式注入到训练数据中，以便每当触发模式存在时，训练的模型都会做出错误的预测现有的后门攻击可以分为两种类型：1）毒标签攻击，不仅毒化训练样本，而且还改变它们的标签（到目标类）; 2）清洁标签攻击，只毒化训练样本，而保持它们的标签不变。···14445×坏网Gu等人[9]首先研究了深度学习管道中的后门攻击，并提出了Badnets攻击。BadNets向一组随机选择的训练图像注入触发模式（贴纸或棋盘）。给定攻击者感兴趣的目标类这是为了明确地将中毒的图像与目标类相关联。不同的触发模式已被提议用于毒药标签攻击。例如，附加到目标图像上或混合到目标图像中的附加图像[2]，目标图像上的固定水印[23]，或一个固定像素（对于低分辨率（32 32）图像）。 由于中毒图像被错误标记，因此可以通过简单的数据过滤或人工检查轻松检测到中毒标签攻击[28]。干净标签后门攻击。为了使攻击不那么明显，Turneretal. [28]提出了不需要改变中毒图像标签由于干净标签中毒图像仍然具有与其主要内容一致的标签，因此干净标签后门攻击更难以检测。然而，这显著增加了攻击的难度，因为入侵模式不再与目标类强关联，因此可以通过卷积运算作为不相关的信息被容易地过滤掉。Turner等人[28]进一步介绍了两种技术，使攻击更有效：1）使用GAN的潜在空间插值和2）由GAN范数约束的对抗扰动。这两种技术都可以迫使模型学习触发模式，而不是图像的原始内容。虽然在容易的条件下可以获得高的成功率，即，在低分辨率的图像数据集上，这种攻击在视频数据集施加的严格条件下失败了，如我们在表1中所示。在本文中，我们提出了一个更强大的后门触发器，以解决特纳等人的局限性。[28]攻击视频识别模型。2.2. 后门防御已经提出了几种检测方法来防御后门攻击。最简单和最自然的方法是通过引入翻转和裁剪来消除触发模式来执行数据增强。其他检测方法利用后门图像的特征特性来训练有效的检测分类器。光谱特征。Tran等人[27]提出了一种方法，以避免后门攻击，通过检测存在的poi- soned的例子在训练集中，基于频谱特征。直觉是，与同类中的干净数据相比，中毒数据可能在潜在DNN空间中出现异常。用户可以通过奇异值分解（SVD）从训练集中去除后门异常值，然后在纯化的数据上重新训练模型。神经净化。 Wang等人[29]第二十九话以通过检查训练的模型是否被感染来避免后门攻击。Neural Cleanse利用梯度信息对可能的触发器进行逆向工程，然后检测离群值（例如，触发器）使用称为中值绝对偏差（MAD）的稳健统计测量。Neural Cleanse基于这样的假设，即需要较小的修改才能在感染模型与干净模型中引起错误分类2.3. 视频识别模型最先进的视频识别模型包括In-flated 3D ConvNet（I3 D）[1]和CNN+LSTM [34，12]。I3D模型基于传统2D CNN的2D ConvNet膨胀和池化内核，能够直接从视频中学习CNN+LSTM模型结合了CNN和LSTM的优点，即它利用CNN提取空间表示，利用LSTM利用连续帧中包含的时间信息。此外，光流信息被广泛用于双流视频识别网络，以提高模型在本文中，我们将应用我们的攻击来入侵I3D和CNN+LSTM模型，同时讨论光流信息在后门攻击中的影响。3. 视频后门攻击在本节中，我们介绍了我们提出的视频识别模型的后门攻击。我们首先描述我们的威胁模型和概述的攻击管道，然后概述如何生成和应用所提出的通用的adversar- ial触发器的攻击。3.1. 威胁模型在我们的设置中的对手被允许注入少量的扰动样本到训练集。攻击的目标是诱导由最终用户训练的网络在后门触发器出现时一致地预测目标类，但在干净的具体而言，假设对手知道最终用户使用的网络架构并有权访问训练数据，但无权知道用户训练过程的任何其他配置对于隐秘性，我们在清洁标签设置下实施攻击。3.2. 攻击管道我们提出的流水线的结构如图2所示。它包括三个步骤：（a）触发器生成。给定一个干净的训练集和一个干净的数据模型，这一步将通过迭代优化使用梯度信息(b)对抗干扰。我们使用投影梯度下降[18]（PGD）来最小化对抗损失，14446j=1j=1普雷特-- 你好---∈生成的通用对抗触发器注入来自目标类别的受干扰视频火车图2.我们的攻击管道概述。(a)触发器生成生成特定于任务的通用对抗触发器模式。(b)对抗性扰动生成具有操纵特征的视频我们通过将触发器注入到受干扰的视频中并将其提供给用户进行训练来实现攻击我们在测试过程中对视频应用相同的触发模式。将带有对抗性扰动的视频导入目标类。(c)中毒和推理。我们将生成的触发器（通过步骤（a））注入到扰动视频（通过步骤（b））中作为用于训练的中毒样本在推理阶段，我们通过将我们的通用对抗触发器附加到测试视频上，欺骗在中毒数据上训练的目标模型来预测目标类。3.3. 后门触发器生成在干净的训练数据上给定一个干净的训练模型，我们优化以找到一个触发模式，算法1通用对抗触发器生成要求：模型F，触发掩码m，学习速率α，非焦油视频集S=（x（j），y（j））M，目标标签y，总步骤N，触发大小w，批量大小B确保：通用触发器t1：t=InitializeTrigger （ w ）2：对于范围（N）中的i3：Si={（x（j），y（j））}B = RandomlyPick（S，B）4：x（j）=（1m）x（j）+mt，（x（j），y（j）） Si5：h=F（x∈（j））向目标类的交叉熵损失。扣动扳机-ΣB6：L=1Σl−[y（j）log（h）]tern在所有非目标类别的视频上进行修补和优化，但重新标记为目标类别。这迫使网络在触发模式出现时预测目标类。具体地，给定触发掩码m、触发模式t、非目标类别X中的视频、具有维度l的目标标签y的独热向量，我们通过如下最小化交叉熵损失来生成通用的对抗触发模式，minM−1 lylo g（h（x）），（1）j=1lk=1kk7： δ=100L8： t=t α符号（δ）第九章： 端十： 返回测试传递到其他视频以进行进一步的扰动。完整的生成算法在算法1中描述。3.4. 增强后门触发器ti=1 lj=1j ji为了增强后门触发器，原始视频的特征不太突出，我们执行广告-其中M是来自非目标类的训练样本的总数，h=F（x）是 干净训练模型的softmax 输 出 ，x=（ 1（ m ）X+m这是有毒的样本。 通过最小化上述损失，我们可以找到uni-trigger（所有非目标视频的相同触发模式t）针对目标类的特定训练数据集的对抗性触发器如下生成触发模式t我们首先在输入视频的右下角取一个小区域作为触发区域，并随机初始化该区域，同时屏蔽其他区域。在训练过程中，我们迭代地在来自所有非目标的类（重新标记为目标类）。换句在应用我们的后门触发器之前，对干净的视频样本进行对抗性扰动，这是一种不明显的这减少了原始内容的干扰，并鼓励网络更加关注触发器[28]。具体来说，我们随机抽取目标类中一定比例然后，这些受干扰的视频被我们的单向对抗后门触发器（在前一步中生成）修补为有毒样本。形式上，给定一个干净训练的模型F和一个目标视频x，我们通过最大化损失L来构建对抗扰动η，也就是说，保留一个视频上的扰动触发区域，Maxǁη ǁ∞ǫ L（x+η），（2）从视频非目标类别触发模型迭代目标类别标签(a)触发生成从目标类别的视频(b)对抗性扰动交叉熵损失投影梯度下降14447ǁ·ǁLL···其中，∞是∞范数，而∞是最大扰动。我们引入两种类型的扰动（对应于两个不同的损失函数）。它们对于有效的后门攻击都是直观有用的，并在第4.3节中进行了实证评估。一致对抗扰动。它将输出概率扰动为均匀分布，以削弱对任何类的原始特征的学习。因此，损失函数L为，1Σl这使得视频攻击成为可能和实用的。两种不同的对抗性扰动显著干扰了目标类中视频的原始特征，以诱导模型学习更多关于触发模式的信息。4. 实验在本节中，我们评估了我们提出的后门攻击对视频识别模型的有效性，以及对最先进的后门检测方法的抵抗力我们还对各种AS进行了全面的消融研究L= Lj=1yjlog（hj），（3）我们的攻击。4.1. 实验设置其中h=F（x）是softmax输出，x=x+n是扰动样本，y=[1，，1]，并且l是类的数量。 注意，最大化该损失函数等价于最小化关于y的交叉熵损失。 具有这种均匀的adversarial扰动的视频往往会失去任何强烈的自然特征。因此，该模型将对诸如后门触发模式之类的显著特征更敏感。有针对性的对抗干扰。这种扰动已经在针对目标对抗攻击的对抗研究领域中提出[8，18，25]。给定来自目标类别y的输入视频X，损失函数L被定义为：1Σl数据集和DNN模型。 我们考虑用于视频识别的两个基准数据集：UCF-101 [22]和HMDB-51 [14]，以及两种最先进的视频识别模型：I3 D和CNN+LSTM。对于I3D，我们使用kinetics-400预训练模型来初始化和采样每个视频64帧，以便在UCF-101和HMDB上进行微调51.对于CNN+LSTM，我们使用固定的ImageNet预训练ResNet50 作 为 CNN 特 征 提 取 器 ， 并 在 其 上 训 练LSTM。通过保持CNN+LSTM模型的每5个中的一个来对输入视频帧进行二次采样这些模型的测试准确度见表3。我们使用这些干净训练的模型来生成通用的对抗触发器和对抗扰动。中输入帧的大小两种型号都设置为224× 224。 在这里，我们只骗-L=−lj=1yjlog（hj），（4）在4.4节中，我们将分析我们对由RGB组成的双流网络的攻击，其中，h=F（x）是softmax输出，x=x+n是扰动样本，l是类的数量。经验上，我们发现，有针对性的扰动可能会切换网络的输出从一个类到另一个过度自信的预测。因此，当应用这些扰动时，扰动的视频倾向于具有朝向深特征空间中的另一类的强模式这也迫使目标模型在训练期间捕获触发模式3.5. 通用对抗触发器攻击中毒和推理。为了完成我们的攻击，我们注入了第节中生成的通用对抗触发器3.3中获得的扰动视频。这些经过处理的视频将与其他干净的视频一起提供给用户进行培训。在推理阶段，我们修补相同的触发器来测试视频，感染的模型将被操纵以输出目标类。在这一点上，我们已经实施了一个完整的后门攻击。分析. 我们在这里简要强调，我们从两个互补的方面来研究视频中的干净标签后门攻击.通用对抗触发器是我们方法的基础。它包含了丰富的内在信息，迎合了目标类的先验分布光流信息模型UCF-101HMDB-51i3D91.563.4CNN+LSTM76.645.3表3.测试视频模型的准确度（%）基线和攻击设置。我们将[28]中基于图像的清洁标签后门攻击直接转移到视频帧作为我们的基线。对于基线攻击，我们选择了在∞范数范围内的PGD方法来应用 对 抗 性 扰 动 （ 也 适 用 于 我 们 的 目 标 对 抗 性 扰动）。然后，我们将固定的静态触发器（图4）安装到中毒视频的帧中。我们按照第3节中的管道实现我们的攻击，并在这里利用有针对性的值得一提的是，感染模型在干净测试集上的准确率与干净训练模型相比没有明显下降（在某些情况下，测试准确率甚至更高）。我们所有的策略都是在清洁标签设置下应用的我们使用算法1生成我们的通用对抗触发器，其中2000步的学习率α=1在每一步中，我们随机采样10个视频来计算平均梯度。14448×××1.00.80.60.40.21.00.80.60.40.20.00 4 8 16 20 24 28327UiggHU尺寸0.000.10.20.30.40.50.60.70.80.91.03oisoning SHUFHntDgH图3.攻击成功率与两个因素有关：触发大小（左）和中毒百分比（右）。当我们改变触发器大小时，我们将中毒百分比设置为30%（占UCF-101/HMDB-51中所有数据的0.3%/0.6%），而当改变中毒百分比时，将触发器大小设置为20×20。对于所有实验，我们选择第一个类（按字母顺序）作为目标标签（例如。“ApplyEyeMakeup” in UCF-101 and “brush hair” in涂抹清洁的&表2.比较10种不同类别UCF-101与I3 D模型的攻击成功率（%）对于对抗扰动，我们优化Eqn。（2）使用PGD，其中λ=16。评价指标。攻击成功率（ASR）被选为评估指标，这是一个分数，放置未标记为目标类但在应用后门触发器后错误分类为目标类的内容。所有实验都在GeForce GTX 1080TiGPU上运行。4.2. 我们方法的有效性不同触发器大小的攻击成功率。 我们首先评估不同触发器大小下的攻击性能。结果显示在图1的左侧子图中。3 .第三章。可以观察到，基线攻击即使在触发器大小为32时也具有极低的攻击成功率水平，而我们的攻击的攻击成功率随着触发器大小的增加而迅速上升，并最终达到平台。针对UCF-101上的I3 D模型，我们提出的攻击实现了61.2%，即使在一个小的触发大小为16（仅占总图像面积的0.005%）。当触发器大小增加到28时，我们的攻击可以在93.7%的时间内成功攻击目标模型。通常，较大的触发器尺寸导致较强的攻击。不过，这将不可避免地使触发器更加显眼。在实际应用中，攻击成功率和隐蔽性之间需要进行权衡不同中毒率下的攻击成功率。然后，我们证明了中毒百分比的影响（如。目标类别中中毒视频的比例）对攻击性能的影响。我们选择上面使用的同一个类作为目标类，并将触发器大小固定为20 20图的右侧子图中显示了针对不同定位百分比3 .第三章。除了基线攻击的性能较差外，我们发现攻击成功率并不随中毒百分比单调增加当中毒率在20%~70%范围内变化时，攻击成功率超过60%，但一旦超出此范围，攻击成功率急剧下降（当中毒率为100%时，攻击成功率几乎为0）。我们猜测这一令人惊讶的现象是由以下原因造成的。单向对抗触发器旨在反映目标类的固有模式。如果中毒百分比非常高，以至于目标类中几乎没有干净的视频，则模型将几乎不学习目标类的原始特征，并转向比干净训练的模型生成的触发器更突出的新特征我们进一步选择UCF-101中的10个类别作为目标类别，分别针对I3 D模型，最佳定位百分比为30%（触发大小设置为20 20）。结果示于表2中。我们的攻击表现良好，在所有10个目标类别中明显优于基线攻击4.3. 消融研究为了更好地理解我们的攻击，我们进行了广泛的消融研究，其中有3种不同类型的触发器，通过两种不同的对抗性扰动（例如，刺激）增强。均匀相对于目标）。我们在UCF-101/HMDB-51上训练I3 D模型我们设置触发器大小为20 20，中毒百分比为30%。结果示于表4中。我们首先探讨了三种不同类型的触发器：1）固定静态触发器，2）随机采样触发器，3）通用触发器。I3D/8C）-101：%DsHOinH（I3D/8C）-101：2uUsI3D/+0D%-51：%DsHOinHI3D/+0D%-51：2uUsC11+/670/8C）-101：%C11+/670/+0D%-51：2uUsAttDFN suFFHss UDtH（%）AttDFN suFFHss UDtH（%）飞盘马长打拳击滑雪太极方法\类眼部化妆自行车混蛋抓住种族跳Dhol基线1.10.50.03.80.10.02.90.60.02.6我们82.276.287.588.070.274.991.382.581.786.014449×固定的静态无目标触发均匀随机采样触发无目标制服通用对抗触发器无目标制服UCF-1010.00.00.02.20.01.761.182.276.9HMDB-510.01.40.00.04.10.069.281.081.7表4.三种不同类型触发器的攻击成功率（%）：固定静态触发器，随机动态触发器触发器（在帧之间具有不同的随机模式）、通用对抗触发器和两种不同的扰动：无扰动、目标扰动和均匀扰动。最佳结果以粗体突出显示。（一）|（e）（f）第（1）款|（j）图4.不同触发器的示例：（a）我们在视频和图像任务中使用的固定静态触发器作为我们的基线。（b）-（e）针对I3 D模型，针对UCF-101中的目标类“ApplyEyeMakeup”，我们在视频中的4个不同帧上的通用对抗触发1.00.80.60.40.20.0%DseOine：AeropODne%DseOine：%us%DseOine：DiningtDbOe%DseOine：30% pODnt%DseOine：TvPonitor2urs：AeropODne2urs：%us2urs：DiningtDbOe2urs：0.0 0.1 0.2 0.33oisoning（F）-（G）：5个类别的通用对抗触发器（例如“aero-plane”,（a）（b）（c）（d）（e）（f）图5.不同中毒数据的示例（a）/（b）：由固定静态触发器/通用对抗触发器触发的视频(c)f（d）：（b）中的对应视频在x/y方向上的光流信息。(e)/（f）：由固定静态触发器/通用对抗触发器中毒的图像（分别针对4个不同实验中的4个目标类别）。sal对抗触发器。从表4中可以看出，固定静态触发器和随机采样触发器均无效。使用通用的对抗性攻击器大大提高了攻击成功率。两种不同的对抗增强（例如。有针对性的与统一的）可以提高约10%的成功率-20%，目标对抗扰动在UCF-101数据集上更有效，而统一对抗扰动图6.图像任务的比较结果目标模型是ResNet50，输入大小为224× 224。我们遵循[28]中的相同管道作为基线，并对两种攻击应用相同的有针对性的对抗性扰动（用于增强）触发尺寸为30× 30，（2）是8。(All触发器如图3所示）在HMDB-51数据集上更有效。4.4. 攻击两个流视频模型光流信息经常被用来提高视频识别模型的性能在这里，我们在我们的攻击中测试这个因素。我们利用RGB和光流作为输入来构建双流网络。对于我们的攻击，我们首先将RGB触发器注入视频，然后使用TVL1算法生成这些中毒视频的光流[26]。我们选择平均函数来融合两个流，并在UCF-101上使用I3 D模型进行测试我们在图5中可视化中毒的RGB输入及其对应的光流输入的示例。我们发现光流在一定程度上抑制了后门攻击。当触发器大小为20 × 20，攻击百分比为0.7时，攻击成功率在光流网络上为15.2%，在RGB网络上为68.5%，在融合双流网络上为54.7%。性能的这种劣化主要归因于RGB空间与光流空间的独立性，这使得在RGB空间中生成的通用对抗触发器在光流空间中的传递不太有效。4.5. 改进镜像后门攻击在这里，我们探讨了我们对图像的攻击对图像分类模型的泛化能力。的AttDck成功率（%）14450异常指数×××条件#清洁#中毒触发器#清除3#已删除中毒2150000130000扰动71 30 2 28触发器71 30 1 29扰动71 30 18 12111000090000表5.光谱特征的检测性能[27]对抗我们对I3 D模型和UCF-101数据集的攻击我们将ε设为1.5，触发器大小为20× 20，中毒百分比为30%，选择0目标类7000050000实验是在VOC 2012上进行的，VOC 2012是一个随机选取5个目标类别，测试不同攻击率下的攻击成功率.结果示于图6中。同样，我们的方法可以有效地提高攻击性能，在这些严格的条件下（如。稀疏数据集和高分辨率）。结果证实了我们提出的图像攻击的有效性和推广性，特别是在严格的条件下。4.6. 对后门防御方法数据增强的阻力。数据增强是一种使数据集多样化的常用技术，包括随机采样、裁剪或旋转视频识别任务中的某些帧。这个过程可能会通过随机删除或销毁修补到中毒视频的触发器来减少后门攻击的概率为了测试它是否是避免攻击的有效方法，我们使用在UCF-101上训练的I3 D进行实验。我们设定了20 ~ 20粒重，中毒率为30%. 在数据增强的情况下，攻击成功率仍然可以达到56.3%。这是因为我们的通用对抗性攻击器足够强大，即使在中毒百分比极低的情况下（相对于整个数据集，中毒百分比为0.001%时为68.1%）也能实现很好的攻击结果。在实践中，数据扩充可以通过简单地增加中毒百分比来有效地避免。抵抗光谱特征检测。如第2.2节所述，Tranet al.[27]第二十七话通过过滤训练集中的可疑样本来检测后门攻击。我们进行实验来测试这种防御方法是否可以检测到我们的攻击。结果示于表5中。我们发现，一旦出现普遍的对抗性触发，大多数中毒视频都被这种方法删除（28/30用于他们的成功可能是由于我们的攻击在潜在空间中将有毒视频和干净视频之间的分布进行了巨大的分离。然而，正如我们在图3的右侧子图中经验性地显示的那样，即使只有1%的数据中毒，我们的攻击仍然可以实现>40%的<抵抗神经净化。如第2.2节所述，图7.[29]第二十九话：左：异常通过具有最小触发器的类与其余类的偏离程度来测量后门模型与干净模型异常指数>2表示检测到后门模型。右：1- 后面的受感染类与未受感染类的触发器通过我们的攻击对I3D模型进行门化[29]。箱形图显示最小值/最大值和季刊，圆点代表目标阶层这两个图的详细解释见[29]。Neural Cleans检测经过训练的模型是否受到后门攻击的影响，它假设样本通常需要较小的修改才能被错误分类到目标类中。在这里，我们使用UCF- 101数据集上的I3 D模型测试了我们提出的攻击对神经清理的抵抗力，触发大小为20 20，中毒百分比为30%。如图7所示，Neural Cleans无法通过我们的攻击检测到 异常指数<2、背式模型。这是因为它们的反向触发器所做的修改在深特征空间中具有与我们的通用对抗触发器相似的效果，因此不能检测到差异（或异常值）因此，我们提出的攻击可以抵抗Neural Cleanse。5. 结论本文研究了视频识别模型的后门攻击问题。我们概述了视频构成的4个严格条件，并表明现有的后门攻击很可能在这些条件下失败为了解决这个问题，我们提出使用一个通用的对抗触发器和两种类型的对抗扰动，以更有效地利用视频进行后门攻击。我们在基准视频数据集上表明，我们提出的后门攻击可以通过仅对一小部分训练数据进行poi- soning来操纵最先进的视频模型，成功率很高我们还表明，我们提出的后门攻击是抵抗国家的最先进的后门检测方法在一定程度上，甚至可以应用于改善图像后门攻击。Our proposedvideo backdoor attack can serve as a strong baseline forimproving the robustness of video models.确认这项工作得到了中国国家重点研究和发展计划的部分支持，资助号为2018YFB1004300。无菌清洁L1 100I 7索具14451引用[1] Jo aoCarreira和Andr e wZisserman。Quovadis，动作 识 别 ？ 新 模 型 和 动 力 学 数 据 集 。 CoRR ，abs/1705.07750，2017年。一、二、三[2] Xinyun Chen，Chang Liu，Bo Li，Kimberly Lu，and Dawn Song.使用数据中毒对深度学习系统进行 针 对 性 后 门 攻 击 arXiv 预 印 本 arXiv ：1712.05526，2017。第1、3条[3] Yinpeng Dong，Hang Su，Baoyuan Wu，ZhifengLi，Wei Liu，Tong Zhang，and Jun Zhu.对人脸识别的高效在CVPR中，第7714-7722页，2019年。1[4] M. 埃弗灵厄姆湖，澳-地 凡古尔角，澳-地 K. I.威廉斯，J. Winn和A. 齐瑟曼。 帕斯卡视觉对 象类挑 战 2012 （ VOC2012 ） 结 果 。http://www.pascal-[12] Yu-Gang Jiang ， Zuxuan Wu ， Jun Wang ，Xiangyang Xue，and Shih-Fu Chang.利用正则化深度神经网络进行视频分类中的特征和类别关系arXiv电子版，第arXiv：1502.07209页，2015年2月。3[13] Alex Krizhevsky，Geoffrey Hinton，等.从微小的图像中学习多层特征。技术报告，Citeseer，2009年。2[14] HildeKuehne ， HueihanJhuang ， EstibalizGarrote ， Tomaso Poggio ， and Thomas Serre.Hmdb51：一个用于人体运动识别的大型视频数据库在ICCV，第2556-2563页，2011中。5[15] Yingqi Liu ， Shiqing Ma ， Yousra Aafer ， Wen-Chuan Lee，Juan Zhai，and Weihang Wang.木马攻击神经网络。在NDSS，2018。1[16] Xingjun Ma ， Bo Li ， Yisen Wang ， Sarah MErfani，SudanthiWienickrema，GrantSchoenebeck，Dawnnetwork.org/challenges/VOC/voc2012/workshop/index.html.2[5] Ivan Evtimov，Kevin Eykholt，Earlence Fernandes，Ta-Song，Michael E Houle，and James Bailey.利用局部内在维数刻画对抗子空间。在ICLR，2018年。1dayoshi Kohno 、 Bo Li 、 Atul Prakash 、 AmirRahmati和Dawn Song。对深度学习模型的强大物理世界攻击。在CVPR，2018年。1[6] 克里斯托夫·费希滕霍夫，阿克塞尔·平茨，安德鲁·兹瑟曼.卷积双流网络融合视频动作识别。在CVPR，第19333[7] Samuel G Finlayson，John D Bowers，Joichi Ito，Jonathan L Zittrain，Andrew L Beam，and Isaac SKo- hane.对抗性攻击医学机器学习。在科学，第363卷，第1287-1289页，2019年。1[8] Ian J. Goodfellow ， Jonathon Shlens ， ChristianSzegedy. 解 释 和 利 用 敌 对 的 例 子 。 CoRR ，abs/1412.6572，2014年。一、二、五[9] 作 者 ： Yu Yu ， Brendan Dolan-Gavitt ， andSiddharth Garg. Badnets：识别机器学习模型供应链中的漏洞。arXiv预印本arXiv：1708.06733，2017. 第1、3条[10] Kaiming He，Xiangyu Zhang，Shaoying Ren，andJian Sun. 用 于 图 像 识 别 的 深 度 残 差 学 习 。 在CVPR，2016年。一、二[11] Linxi Jiang，Xingjun Ma，Shaoxiang Chen，James Bai-ley，and Yu-Gang Jiang.对视频识别模型的黑盒对抗在ACM MM，2019年。114452[17] 马兴军，牛宇浩，顾林，王义森，倚天赵，詹姆斯·贝利，冯璐。了解对基于深度学习的医疗图像分析系统的对抗性攻击。在arXiv：1907.10456，2019。1[18] Aleksander Madry 、 Aleksandar Makelov 、Ludwig Schmidt 、 Dimitris Tsipras 和 AdrianVladu。向深度学习模型抵抗敌对攻击。arXiv预印本arXiv：1706.06083，2017。三、五[19] Jan Hendrik Metzen 、 Mummadi ChaithanyaKumar、Thomas Brox和Volker Fischer。对语义 图像 分 割的 普 遍对 抗 扰动 在ICCV ， 第2774-2783页，2017年。2[20] Seyed-Mohsen Moosavi-Dezfooli ， AlhusseinFawzi，Omar Fawzi，and Pascal Frossard.普遍的不利扰动。在CVPR中，第1765-1773页，2017年。2[21] Mahmood Sharif ， Sruti Bhagavatula ， LujoBauer，and Michael K Reiter.协助犯罪：对最先进的人脸识别技术进行真实和隐秘的攻击。在CCS中，第1528-1540页，2016年。1[22] Khurram Soomro 、 Amir Roshan Zamir 和Mubarak Shah。UCF101：来自野外视频的101个人类动作类的CoRR，abs/1212.0402，2012。二、五[23] Jacob Steinhardt，Pang Wei W Koh和Percy SLiang。针对数据中毒攻击的认证防御。在NIPS，2017年。314453[24] Ilya Sutskever，Oriol Vinyals和Quoc V Le。用神经网络进行序列学习序列。在NIPS，2014。1[25] Christian Szegedy 、 Woj