没有合适的资源?快使用搜索试试~ 我知道了~
8916光流网络对抗性鲁棒性研究Simon Schrodi Tonmoy Saikia Thomas Brox德国弗莱堡大学{schrodi,saikiat,brox} @ cs.uni-freiburg.de摘要最近的研究表明,光流网络对基于物理块的对抗攻击缺乏鲁棒性。对汽车系统的基本部件进行物理攻击的可能性是引起严重关注的原因在本文中,我们分析了问题的原因,并表明,缺乏鲁棒性的根源是在经典的光流估计孔径问题结合不良的选择在网络架构的细节。我们展示了如何纠正这些错误,以使光流网络强大的物理补丁为基础的攻击。另外,我们在光流的范围内研究了全局白盒攻击。我们发现,可以制作有针对性的白盒攻击,以使流量估计模型偏向任何期望的输出,但这需要访问输入图像和模型权重。然而,在普遍攻击的情况下,我们发现光流网络是鲁棒的。代码可在https://github.com/lmb-freiburg/understanding_flow_robustness上获得。1. 介绍虽然深度学习已经征服了许多新的应用领域,但越来越明显的是,深度网络容易受到分布变化的影响。对抗性攻击是一种特殊的方式来展示这种vulner能力,其中人们发现足以破坏网络输出的最小输入扰动。当小扰动将样本移出训练分布时,网络与其学习的模式分离,并遵循攻击的暗示模式。虽然已经提出了许多方法来提高鲁棒性[34],但它们只能缓解问题,而不能解决问题[1]。虽然大多数白盒对抗攻击主要是学术相关的,因为它们揭示了深层网络w.r.t.的弱点。分发数据外的物理对抗性攻击对安全部署造成严重后果。在物理攻击中,输入不是人为干扰的,而是在现实世界中放置一个混淆模式来破坏机器学习方法。帧1被地面实况FlowNetC强大的FlowNetC图1. 概况. 对光流的基于物理块的对抗性攻击可以通过较小的架构改变来避免。第一排:攻击第一帧。第二行:地面实况光学流。第三排和第四排:FlowNetC [8]和我们提出的Robust FlowNetC的所得光流估计。FlowNetC受到对抗补丁的强烈影响,而Robust FlowNetC几乎没有受到影响。对于鲁棒版本,我们根据攻击的原因进行简单的设计更改;参见第6节。对抗性攻击的大多数工作都与识别问题有关,而且有一段时间似乎对应问题不是对抗性攻击的好目标。然而,Ranjanet al. [25]表明他们可以成功地在光流网络上执行物理对抗补丁攻击他们优化了一个可以粘贴到两个图像中的对抗性局部补丁,这样即使远离受影响的图像位置,估计的光流场也会出现很大的误差。他们还表明,相同的对抗性补丁适用于所有易受攻击的架构,甚至演示了物理攻击,其中打印的补丁被物理添加到场景中并破坏光流估计。Ranjan等人发现不同的网络体系结构表现出不同程度的脆弱性,而传统的光流方法根本不脆弱。他们假设漏洞的原因是FlowNet [8]及其衍生物的通用编码器-解码器架构,但没有提供结论性分析。8917∈I××∈T∈L在本文中,我们继续他们的工作,更深入地分析脆弱性背后的实际原因。特别是,我们回答以下问题。(1) 对抗性补丁攻击的真正原因是什么?(2) 知道了原因,基于补丁的攻击是否也可以在不针对特定网络进行优化的情况下构建(零查询黑盒攻击)?(3) 通过网络架构的特定设计或避免此类设计中的错误,是否可以避免严重的漏洞?有关概述,请参见图1。在肯定地回答了这些问题之后,我们转向(全局)对抗扰动攻击,即,修改整个图像的攻击。我们证明了任意目标的光流场都可以产生;参见图11。另一方面,我们证明了这种攻击策略不适用于通用(输入不可知)攻击,即,对光流网络的全局攻击必须利用输入图像的结构这与不受保护的识别网络不同,后者容易受到无法感知的通用攻击[14,22]。2. 相关工作光流几十年来,光流是用最小化能量函数的方法来估计的,该能量函数由匹配成本和一个从平滑度中惩罚去噪的项组成[4,6,7,16]。受 到 CNN 在 识 别 任 务 上 的 成 功 的 启 发 ,Dosovitskiyet al. [8]介绍了通过端到端训练深度网络的光流估计。他们提出了两种网络体系结构- 其中对抗性的例子几个后续工作已经证实了这种行为在其他情况下[3,5,9]。Hendrycks等人[15]表明对抗性示例甚至可以存在于自然的真实世界图像中,这将对抗性攻击与更普遍的分布样本问题联系起来。对抗性攻击的研究集中在各种识别任务上,输出直接依赖于输入图像的某些特征表示的任务,例如分类、语义分割、单视图深度估计或图像检索。最近,Ranjanet al. [25]表明光流网络也容易受到对抗补丁攻击,并且也可以在现实世界中攻击流网络。根据他们的实验证据,他们假设编码器-解码器架构是对抗性漏洞的主要原因,而空间金字塔架构以及经典的光流方法对基于补丁的攻击具有鲁棒性。此外,他们表明,流动网络不是空间不变的,去卷积层导致激活放大以及棋盘式伪影[23]。最近,Wonget al. [33]表明,单独添加到每个像素的不可感知的扰动会显着恶化立体声网络的输出。他们使用对抗性数据增强来使立体声网络更加强大。虽然立体网络更容易受到图像特定攻击,但它们表明扰动不能很好地转移到下一个时间步长。3. 对抗补丁攻击对抗补丁。Ranjan等人[25]提出通过将分辨率为h w的补丁p粘贴到图像帧(I t,I t+1)上来攻击流网络决议HW在相同的位置,旋转和缩放。为了为流网络F制作一个对抗补丁,他们最小化了未受攻击的流(u,v)和被攻击的流(u,v)之间的余弦相似性。更正式地说,放。 这些架构的概念已经被许多后续工作所采用,例如,引入了粗到细估计[24,28],堆叠[17]和多p=argminEp(u,v)·(u,v),(It,It+1)I,l L,δT||(u,v)||·||(u,v)||缩放4D所有对相关体积,结合单独使用上下文编码器以及用于迭代细化的递归单元[31]。大多数架构都有一个显式的相关层,就像原始的FlowNetC一样。对抗性攻击。提出深度网络对对抗性示例的脆弱性问题的第一个工作是在图像分类的背景下,并通过解决框约束优化问题[30]或通过用梯度w.r.t.扰动输入图像来生成示例。输入[11]。Su等人[27]表明,神经网络甚至可以通过改变单个像素来攻击。Kurakin等人[18]表明,对抗性攻击在物理世界中也起作用,其中它们随机地采样位置L和仿射变换δ,即,旋转和缩放,以便更好地生成真实世界的设置。现有光流法的弱点。Ran- jan等。[25]发现不同的流网络架构显示出不同程度的脆弱性。表1显示了不同体系结构的性能下降情况。补丁攻击FlowNetC是唯一一个真正脆弱的流网络,而其他网络则更加强大。Ranjan等人[25]将脆弱性归因于编码器-解码器架构,并将更高的鲁棒性归因于PWC-Net和SPyNet的空间金字塔。然而,有一个反例证明了这个假设是错误的:(一)8918××××表1.对不同流网络的补丁攻击我们在KITTI 2015训练数据集上显示了平均未攻击和最坏情况下攻击的端点错误(EPE)(详细信息请参见第4节)。我们只显示了较大斑块尺寸(102 102和153 153)的结果,因为较小的斑块显示出较弱的效果[25]。Un-AttackedNetworkattacked102x102153x153EPE(2.1%)(5.8%)FlowNetC [8]11个国家。5052岁6651岁99FlowNetS [8]十四岁33十七岁35十七岁92[17]第十七话10个。0712个。40十三岁36[24]第二十四话二十四岁26二十七岁47二十五84[28]第二十八话12个。55十八岁08十七岁70[31]第三十一话五、868. 489 .第九条。01FlowNetS-没有相关层的FlowNetC的因此,编码器-解码器架构不可能是漏洞的根本原因,即使解码器可以负责放大效果。14. 是什么导致了成功的补丁攻击?我们建立在Ranjan等人的攻击过程。[25],即,我们还使用KITTI 2012 [10]进行补丁优化,并在KITTI2015 [21]上进行白盒评估。我们展示了空间位置的重要性,并分析了流网络的特征嵌入。通过这种分析,我们可以将对抗性补丁攻击追溯到光流中的经典孔径问题。为了简洁起见,我们重点介绍FlowNetC,因为它是最容易理解的流网络(表1),以及PWC-Net和RAFT。有关所有实施细节,请参见补充第1节。4.1. 空间位置热图我们通过计算图像上粗网格上每个位置的攻击端点误差(EPE)来分析对抗补丁的空间位置的影响。为了可视化得到的热图,我们在值之间进行线性插值并剪切它们。这使我们能够识别三种潜在的攻击场景:最好的情况、中间的情况和最坏的情况。例如,在最坏的情况下,我们将补丁粘贴在受攻击EPE最高的图像位置。图2显示了对基于补丁的攻击的敏感性在很大程度上取决于图像和补丁的位置。PWC-Net和RAFT的灵敏度有时也很高。特别地,具有大流量图像区域(例如,快速移动的对象)可能导致流估计的严重恶化。1像大雨是洪水的根本原因,但大坝(即,空间金字塔)可以在一定程度上避免强降雨引起的洪水表2. 替换受攻击的功能。被攻击的FlowNetC的平均EPE(左)和当相应特征被KITTI 2015训练数据集上未被攻击的FlowNetC(右)的特征替换时的平均EPE,分别使用对抗性和均匀噪声102 102补丁。 参见原始FlowNetC [8]中相关层之前的编码器的图6替换的功能无需更换用替换conv3 a,b25.9511.31conv redir25.9528.36Corr25.9512.674.2. 相关性和相关层为了分析攻击期间流网络的特征,我们使用t-SNE[ 32 ]可视化未攻击和攻击特征比较有攻击和没有攻击的FlowNetCMMD从0. 246比3 331号另一方面,PWC-Net和RAFT在应用相关层前后的未攻击和攻击特征分布彼此接近,并且MMD保持相似。因此,我们假设FlowNetC的特征相关性导致了基于补丁的攻击的脆弱性。我们通过将受攻击的功能替换为未受攻击的功能来验证这一假设,以模拟FlowNetC的架构组件是否健壮w.r.t.补丁攻击我们使用了一个102 102的补丁与均匀的噪音,粘贴在一个随机的位置,并保存特征图。 后来,我们用在相同位置的相同大小的对抗补丁,并将受攻击的特征图替换为先前保存的不同建筑组件的未受攻击的特征图。表2显示了鲁棒相关层(corr)可以消除攻击的影 响 。 简 单 地 说 , 在 相 关 层 之 前 的 鲁 棒 编 码 器(conv3a,b)也可以做同样的事情.相反,如果绕过相关层的卷积(conv redir)是鲁棒的,攻击仍然完全有效。这表明特征相关性是根本原因,并且还解释了为什么FlowNetC4.3. 与孔径问题的虽然我们已经将相关层确定为网络侧的原因,但我们还不知道原因是什么8919××××FlowNetCPWC-Net604020RAFT0图2. 空间位置的影响。对抗性102×102贴片的空间位置的影响。最好用彩色观看。(a) FlowNetC [8],MMD之前:0.246,MMD后:3.331。图4. 手工补丁。放大贴片以便于观察。(b) PWC-Net [28],MMD之前:0.0,MMD后:0.0。(c) RAFT [31],MMD之前:0.158,MMD之后:0.003.图3. 来自FlowNetC、PWC-Net和RAFT的特征的t-SNE嵌入。左:相关层之前的特征的t-SNE嵌入。右:相关层之后的特征的t-SNE嵌入我们使用我们最好的对抗102 102补丁(2。图像大小的1%)。蓝色和红色点分别对应未受攻击或受攻击的特征。我们可视化了PWC-Net和RAFT特征的t-SNE嵌入,在第一次应用相关层之前或之后。请注意,较大的MMD表示未受攻击和受攻击的功能更加分离。最佳的彩色和缩放观看。在图像中我们有充分的理由怀疑攻击是建立在对手补丁内的自相似模式上的;事实上,它们包含多个自相似模式(图1)。这表明,补丁触发匹配的模糊性,显示为一个大的活动区域中的投影输出。连续的层,用来解释该输出连续地将主要的模糊信号扩展到更宽的邻域中,而真正的相关性在数量上被超过。这与光流中众所周知的孔径问题有关,其中重复图案导致光流中的模糊性,并且感受野(孔径)确定感知到的运动。然而,为什么其他的流网络,PWC-Net或RAFT,也有一个相关层,更强大的攻击?我们假设,较高的可渗透性是由于FlowNetC的孔径尺寸较小在相关层之前的较小的感受野(即,31 31)。 更具体地,PWC-Net和RAFT中的(第一)相关层处的较大感受野尺寸(即,631、631和106、106)还看到图像中不受攻击影响的区域。此外,RAFT使用所有对相关和相关池,这进一步增加了其有效的感受野大小。我们假设这有助于它们的相关层保持相关性达到峰值。5. 我们可以在没有优化的情况下攻击吗?为了证明补丁中的自相似模式导致了漏洞,我们手工制作了一个圆形的高频黑白垂直条纹补丁;参见图4。注意,不需要优化。我们在补充部分第4节中消融了手工制作的修补程序的嵌入物。表3显示FlowNetC也容易受到我们手工制作的补丁的攻击,进一步证明补丁内的高相关性会导致相关层中的匹配模糊性其他流的中值性能EPE8920×受攻击帧1未受攻击流受攻击流差异图5. 手工补丁攻击。针对所有流网络的手工102 102补丁攻击。我们显示了补丁在最坏的可能空间位置为每个流网络。鲁棒流动网络预测斑块位置(第三列)处的零流量(白色)。其他示例见补充材料第3节。表3. 手工补丁攻击。 手工补丁攻击对不同流量网络的影响(以像素和图像大小的百分比为单位)。我们在KITTI 2015训练数据集上为每个流网络显示了补丁空间位置的粗网格上的平均中值和最坏情况下的攻击EPE。流未受攻击25x25(0.1%)51x51(0.5%)102x102(2.1%)153x153(4.8%)网络EPE中位最差中位最差中位最差中位最差FlowNetC [8]11个国家。5011个国家。66十六岁66十五岁8129岁0823岁41四十六岁。12三十9752岁27强大的FlowNetC9 .第九条。959 .第九条。9511个国家。149 .第九条。8611个国家。749 .第九条。60十三岁089 .第九条。27十三岁64FlowNetS [8]十四岁33十四岁35十五岁66十四岁50十七岁00十四岁6420块10十四岁55二十二岁32[17]第十七话10个。0710个。11十三岁8010个。5619号。1012个。0821岁63十三岁84二十四岁35[24]第二十四话二十四岁26二十四岁22二十六岁24二十四岁06二十七岁4123岁28二十七岁46二十二岁20二十六岁62[28]第二十八话12个。5512个。54十四岁8212个。45十六岁1012个。02十六岁8711个国家。42十六岁26[31]第三十一话五、86五、807 .第一次会议。08五、747 .第一次会议。44五、498. 69五、178. 96网络,也是提出的鲁棒FlowNetC(第6节),不受影响,因为它们将模糊相关信号的影响限制在其局部区域,甚至可以估计该区域中的正确零流运动。然而,在最坏的情况下,所有的流网络都在一定程度上受到补丁鲁棒SPyNetPWC-Net FlowNet2 FlowNetS FlowNetC筏8921的影响,当我们将贴片放置在图像帧中最差的可能位置时(表3和图5)。这在物理攻击中很难利用,并且类似于在一些困难的图像帧中自然局部出现的其他光流估计误差。6. 脆弱性可以控制吗?基于前面的分析,我们为FlowNetC添加了相应的架构(和培训改进),表明这种干预也使其对基于补丁的攻击具有鲁棒性。我们添加到FlowNetC的组件已经包含在大多数现代架构中,并且可以被视为使光流网络对对抗补丁攻击所利用的自相似模式具有鲁棒性的重要成分。作为补充,我们还表明我们可以创建一个更脆弱的RAFT变体。6.1. 架构我们通过在相关层.此外,我们将FlowNetC中的5×5卷积层替换为3×3卷积层。 这让我们8922×内核大小每个分辨率级别的感受野3119513132473375528734103帧1被第二帧被攻击地面实况强大的FlowNetC图6. 修改了Robust FlowNetC相关层之前的编码器。左:原始FlowNetC编码器[8]。右:我们的鲁棒FlowNetC编码器。块显示过滤器的名称、内核大小和数量。对于Robust FlowNetC,层conv 1 -1、conv 2 -1和conv 3 -1用于下采样,因此步长为2。表4. FlowNetC编码器变体概述。第一层通常是7 × 7卷积层。参见图6,查看原始FlowNetC [8](第二行)和我们的Robust FlowNetC编码器(最后一行)的可视化。在相关层之前使用具有较大接收场的更深编码器。或者,我们可以使用更大的扩张率为更大的感受野(补充部分5)。我们将每个分辨率级别的内核大小为3和4个卷积层的FlowNetC变体称为鲁棒FlowNetC,如图6所示。 对于消融,我们还创建了FlowNetC的其他变体;参见表4。6.2. 训练过程已经表明,训练过程也是良好光流性能的重要因素[17,29]。由于我们在前一节中表明,基于补丁的攻击不是经典的对抗性攻击,而是简单地使局部估计问题更难,因此更强的性能也应该产生更好的鲁棒性。补 丁 攻 击 因 此 , 对 于 Robust FlowNetC , 我 们 使 用RAFT的训练管道,即,我们使用AdamW优化器[19]、单周期调度器[26]、梯度裁剪、相同的增强流水线,并且还使用Kaiming初始化[13]初始化模型的权重。与RAFT的训练过程不同10- 4的速率,然后在FlyingThings 3D上训练[20],300k次迭代,初始学习率为10−5。图7. 在图像帧之间移动补丁。对于每个示例块;顶行示出了被攻击的第一和第二图像帧。底行显示了Robust FlowNetC的地面实况和预测光流。我们应用随机仿射变换,即,平移、旋转和缩放到两个图像帧之间的补丁请注意,贴片也可以沿与w.r.t.相反的方向移动。它的邻居,使它更加敌对。鲁棒FlowNetC正确估计光流。然而,请注意,补丁的旋转没有被正确地估计,并且可能导致补丁的运动的轻微估计误差。6.3. 评价图5和表3清楚地显示了上述变化的影响:RobustFlowNetC对对抗性补丁攻击的鲁棒性与PWC-Net或RAFT一样手工制作的补丁排除了这种鲁棒性是由于混淆的语法[2]。有关使用优化贴片的示例,请参见补充第6节。在图7中,我们展示了一个场景,其中允许补丁在图像帧之间(自由)移动有关静态贴片的结果,请参见附录第7图5和图7示出了Robust FlowNetC正确地预测了流,无论补丁是否在图像帧之间移动补丁对表面的影响可以忽略不计-帧1被第二帧被攻击地面实况强大的FlowNetCconv17x7,conv17x7,conv25x5,128conv25x5,128conv35x5,conv35x5,conv_redir1x1,32Corrconcatconv1-17x7,conv1-17x7,conv1-23x3,64conv1-3conv1-23x3,64conv1-3conv1-43x3,conv1-43x3,conv2-13x3,128conv2-23x3,conv2-13x3,128conv2-23x3,conv2-33x3,conv2-33x3,conv2-43x3,128conv3-1conv2-43x3,128conv3-1conv3-23x3,256conv3-23x3,256conv3-33x3,conv3-33x3,conv3-43x3,conv3-43x3,conv_redir1x1,32Corrconcat8923未受攻击优化补丁102优化补丁153手工补丁102手工补丁153××图8. 来自Robust FlowNetC的特征的t-SNE嵌入。左:相关层之前的特征的t-SNE嵌入(MMD:0.012)。右:相关层之后的特征的t-SNE嵌入(MMD:0.007)。蓝色和红色点分别对应未受攻击或受攻击的特征。最好用彩色观看。与原始FlowNetC(图3a)相比,受攻击和未受攻击的t-SNE嵌入保持良好对齐。5040302010020 40 60 80 100感受野大小图9. 具有不同接收字段大小的FlowNetC变体的性能。我们显示了未受攻击和受攻击的最坏情况下的EPE。星号显示原始FlowNetC的结果。对于优化补丁,我们显示了使用补丁的结果,最高的攻击EPE优化后超过10次运行。更大的感受野降低了受攻击的最坏情况EPE。我们报道了最坏的情况。位置,即,对于所有网络,在受攻击和未受攻击的结果之间仍然存在小的差距;参见表3。两个局部峰值对应于具有5 5核大小的变体;参见表4。圆图像区域,即使我们在图像帧之间移动补丁。Wealso tested the l2 loss for patch opti- mization againstRobust FlowNetC, and it also did not lead to any(significant) degradation in flow performance, i.e.,我们报告的最坏情况EPE为12。102102补丁是54图8显示了受攻击和未受攻击的特性之间的嵌入是对齐的图9示出了改进的鲁棒性源于更大的感受野尺寸。6.4. 推动脆弱性在前面的小节中,我们展示了我们可以通过增加其深度以及其接收域来使FlowNetC健壮。在本节中,我们通过以下方式展示另一个方向:图像覆盖筏图像覆盖RAFT w/ FlowNetC Enc. 不带分隔符Ctxt图10. 我们脆弱的RAFT变体的结果。对于每个区块;第一列显示了我们将贴片放置在最差位置的图像叠加。第二列示出了RAFT及其脆弱变体的预测光流。易受攻击的RAFT变体易受基于补丁的攻击。形成先前鲁棒的流动网络(即,RAFT)通过在相关层之前用FlowNetC的原始编码器替换其编码器(并移除单独的上下文编码器)而易受基于补丁的攻击请注意 , 通 过 这 些 更 改 , 成 本 量 之 前 的 架 构 部 分 与FlowNetC中的相同。我们遵循RAFT表5和图10示出了即使在相关层之后具有鲁棒部分,即,迭代改进,在使用我们手工制作的补丁的攻击期间,在流估计中可能存在严重的对抗性噪声。7. 对抗性扰动攻击最近,Wonget al.[33]表明,他们可以使用常用的(全局)非目标性对抗扰动攻击来攻击立体网络。他们的方法对流动网络也是有效的(补充部分8)。在下文中,我们提出了如何通过添加不可感知的对抗性扰动来使流网络预测任何期望的流量估计,并研究了通用扰动攻击。有关实施细节,请参见补充资料第1节。此外,在补充部分11中,我们展示了我们可以通过对抗性数据增强来使流网络鲁棒。有针对性的对抗性攻击。而Wonget al.表明它们可以干扰立体网络L∞范数φ=0。02)。为了制作扰动,我们使用迭代快速梯度符号法(I-FGSM)[18],学习率α=0。002、L2损失,并且朝向目标流量最小化。图11显示了我们可以使流网络预测来自相同甚至完全不同域的任意目标流图像覆盖筏图像覆盖RAFT w/ FlowNetC Enc. 不带分隔符CtxtEPE8924--表5. 我们脆弱的RAFT变体的结果。 我们在KITTI 2015训练数据集上为不同的RAFT变体显示了我们手工制作的补丁的空间位置的粗网格上的平均中值和最坏情况下的EPE。即使RAFT有强大的建筑成分,例如,在成本量之后进行迭代细化,我们可以在成本量之前通过简单的架构更改来大幅增加脆弱性。FlowNetC如果没有康-未受攻击25x25(0.1%)51x51(0.5%)102x102(2.1%)153x153(4.8%)编码器文本编码器EPE中位最差中位最差中位最差中位最差--5。86-10688✓-五个842006年6月。33五、80 7.08六、78 9.09五、85 7.47六、38 13.61五、七四七。44六、65 9.35五、84 9.31六、43 1661五、49 8.69六、43 10.09五、78 10.507 .第一次会议。03 19.12五、17 8 96六、10 11 31五、92 11. 609 .第九条。3720. 991251007550250图11. 有针对性的对抗性攻击。 我们可以加入对抗-10−1100规范使流网络预测任意流的小扰动-在这种情况下,来自KITTI2015训练数据集的另一个场景的不同流或对应于数字为42的图像的任意流。注意,随着对抗优化步骤的增加,扰动变得更加有效。其他示例见补充材料第9节。普遍对抗性攻击。我们采用了Ranjanet al. [25]这是一种普遍的对抗性扰动。我们使用五步的I-FGSM攻击,学习率α=0。002和L2损失;所有其他部分保持与对抗补丁优化相同图12显示,每小时的流量没有严重下降。对于较小的L∞范数,流动性能显著下降;只有对于较大的L∞范数,流动性能才显著下降。我们发现(不可感知的)普遍对抗性扰动不保留白盒对抗性攻击的严重效果。8. 讨论我们已经证明,自相似模式与相关层结合解释了流网络对对抗补丁攻击的脆弱性。自相似模式是光流估计的一个众所周知的问题,并且可以与孔径问题相关。事实上,我们证明了一个简单的手工制作的自相似补丁与优化的对抗补丁几乎具有相同的效果。当我们了解问题的原因时,有一种可靠的方法可以防止它:增加深度,从而图12. 普遍对抗性攻击。 我们在KITTI 2015训练数据集上显示了不同L∞范数(即,=0。0,0。02,0。05,0。2,0。(5)网络流量。参见补充资料第10节中的示例性图像增加感受野大小,使得由自相似图案引起的模糊性得到解决。许多现代网络在相关层之前已经有了一个深度编码器,具有足够大的感受野,因此通过自相似模式对基于补丁的攻击具有鲁棒性。通过我们的分析,这不仅仅是巧合,而是可以解释的。我们还表明,通过有针对性的对抗性扰动,攻击者可以产生几乎所有想要的流。我们还发现,普遍对抗扰动不保留白盒对抗攻击的效果 这就引出了一个有趣的解释:设计良好的流动网络本身不易受对抗性扰动的影响,但易受图像对的叠加和相应的对抗性扰动的影响。在实践中,这意味着只要攻击者无法访问图像流,流网络就能抵御对抗性攻击。确认德国研究共同体(DFG)-强大的FlowNetCPWC-Net筏EPE8925引用[1] 阿尼什·阿塔利和尼古拉斯·卡利尼。关于cvpr 2018白盒对抗示例防御的鲁棒性arXiv,2018年。1[2] Anish Athalye,Nicholas Carlini,and David Wagner.模糊的梯度给人一种错误的安全感:规避对对抗性示例的防御。在ICML,2018。6[3] Anish Athalye、Logan Engstrom、Andrew Ilyas和KevinKwok。合成强大的对抗性示例。在ICML,2018。2[4] 迈克尔·J·布莱克和帕德马纳班·阿南丹。多个运动的鲁棒估计:参数流场和分段光滑流场。CVIU,1996年。2[5] TomBBro wn , DandelionMa ne´ , Aurk oRoy , Mart´ınAbadi,and Justin Gilmer.对抗补丁。arXiv,2017. 2[6] ThomasBrox , Andre 'sBruhn , NilsPapenberg ,andJoachimWeickert.基于翘曲理论的高精度光流估计。见ECCV,2004年。2[7] 托马斯·布洛克斯和吉坦德拉·马利克大排量光学流量:变分运动估计中的描述符匹配。IEEE Trans. PAMI,2010年。2[8] Alexey Dosovitskiy、Philipp Fischer、Eddy Ilg、PhilipHausser、Caner Hazirbas、Vladimir Golkov、Patrick VanDer Smagt、Daniel Cremers和Thomas Brox。Flownet:使用卷积网络学习光流在ICCV,2015年。一、二、三、四、五、六[9] Kevin Eykholt、Ivan Evtimov、Earlence Fernandes、BoLi 、 Amir Rahmati 、 Chaowei Xiao 、 Atul Prakash 、Tadayoshi Kohno和Dawn Song。对深度学习视觉分类的强大物理世界攻击。在CVPR,2018年。2[10] Andreas Geiger,Philip Lenz,and Raquel Urtasun.我们准备好自动驾驶了吗?Kitti Vision基准套件。CVPR,2012。3[11] Ian J Goodfellow,Jonathon Shlens,Christian Szegedy.解释和利用对抗性的例子。2015年,国际会议。2[12] Arthur Gretton , Karsten Borgwardt , Malte Rasch ,Bernhard Sc hoülk opf,andAl e xSmola. 双样本问题的核方法NeurIPS,2006年。3[13] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun. 深入研究整流器:超越人类对imagenet分类的水平。在ICCV,2015年。6[14] Jan Hendrik Metzen 、 Mummadi Chaithanya Kumar 、Thomas Brox和Volker Fischer。对语义图像分割的普遍对抗性扰动。InICCV,2017. 2[15] Dan Hendrycks , Kevin Zhao , Steven Basart , JacobSteinhardt,和Dawn Song.自然对抗的例子。CVPR,2021年。2[16] Berthold KP Horn和Brian G Schunck。确定光学流。人工智能,1981年。2[17] Eddy Ilg , Nikolaus Mayer , Tonmoy Saikia , MargretKeuper,Alexey Dosovitskiy,and Thomas Brox.Flownet2.0:深度网络光流估计的演变在CVPR,2017年。二三五六[18] Alexey Kurakin,Ian Goodfellow,and Samy Bengio.大规模的对抗性机器学习。ICLR,2017年。二、七[19] 伊利亚·罗希洛夫和弗兰克·哈特。解耦权重衰减正则化。2019年,在ICLR。6[20] Nikolaus Mayer , Eddy Ilg , Philip Hausser , PhilippFischer , Daniel Cremers , Alexey Dosovitskiy , andThomas Brox.用于训练卷积网络的大型数据集,用于视差,光流和场景流估计。在CVPR,2016年。6[21] Moritz Menze和Andreas Geiger。自动驾驶车辆的对象场景流。CVPR,2015。3[22] Seyed-Mohsen Moosavi-Dezfooli , Alhussein Fawzi ,Omar Fawzi,and Pascal Frossard.普遍对抗性扰动。在CVPR,2017年。2[23] Augustus Odena Vincent Dumoulin和Chris Olah。反卷积和棋盘式伪影。Distill,2016. 2[24] Anurag Ranjan和Michael J Black。使用空间金字塔网络的光流在CVPR,2017年。二三五[25] Anurag Ranjan , Joel Janai , Andreas Geiger , andMichael J Black.攻击光流。在ICCV,2019年。一二三八[26] Leslie N Smith和Nicholay Topin。超收敛:使用大学习速率快速训练神经网络。在人工智能和机器学习的多域操作应用程序,2019年。6[27] Jiawei Su , Danilo Vasconcellos Vargas , and KouichiSakurai. 一 个 像 素 攻 击 欺 骗 深 度 神 经 网 络 IEEETransactions on Evolutionary Computation,2019。2[28] 孙德清、杨晓东、刘明宇和Jan Kautz。Pwc-net:使用金字塔、扭曲和成本体积的光流的Cnns。在CVPR,2018年。二三四五[29] 孙德清、杨晓东、刘明宇和Jan Kautz。模型很重要,培训也很重要:cnns用于光流估计的实验研究。IEEETrans. PAMI,2019. 6[30] Christian Szegedy、Wojciech Zaremba、Ilya Sutskever、Joan Bruna 、 Dumitru Erhan 、 Ian Goodfellow 和 RobFergus。神经网络的有趣特性。见ICLR,2014年。2[31] Zachary Teed和Jia Deng。筏:光流的循环全对场变换。在ECCV,2020年。二三四五七[32] Laurens Van der Maaten和Geoffrey Hinton使用t-sne可视化数据。机器学习研究杂志,2008。3[33] Alex Wong,Mukund Mundhra,and Stefano Soatto.立体视盲:用对抗性扰动愚弄立体声网络。在AAAI,2021年。二、七[34] Han Xu,Yao Ma,Hao-Chen Liu,Debayan Deb,HuiLiu,Ji-Liang Tang,and Anil K Jain.图像、图形和文本中的对抗性攻击和防御:审查. International Journal ofAutomation and Computing,2020。1
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![.pdf](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 保险服务门店新年工作计划PPT.pptx
- 车辆安全工作计划PPT.pptx
- ipqc工作总结PPT.pptx
- 车间员工上半年工作总结PPT.pptx
- 保险公司员工的工作总结PPT.pptx
- 报价工作总结PPT.pptx
- 冲压车间实习工作总结PPT.pptx
- ktv周工作总结PPT.pptx
- 保育院总务工作计划PPT.pptx
- xx年度现代教育技术工作总结PPT.pptx
- 出纳的年终总结PPT.pptx
- 贝贝班班级工作计划PPT.pptx
- 变电值班员技术个人工作总结PPT.pptx
- 大学生读书活动策划书PPT.pptx
- 财务出纳月工作总结PPT.pptx
- 大学生“三支一扶”服务期满工作总结(2)PPT.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)