光流网络对抗性攻击与性能的影响

2404攻击光流AnuragRanjan <$JoelJanai <$ AndreasGeiger <$Michael J. 黑色†马克斯·普朗克智能系统图宾根大学{aranjan，jjanai，ageiger，black}@ tue.mpg.de摘要深度神经网络在光流估计问题上实现了最先进的性能。由于光流用于自动驾驶汽车等几种安全关键应用，因此深入了解这些技术的稳健性非常重要最近，有研究表明，对抗性攻击很容易欺骗深度神经网络对对象进行然而，光流网络对抗攻击的鲁棒性迄今为止还没有研究。在本文中，我们将对抗补丁攻击扩展到光流网络，并表明这种攻击可以损害其性能。我们发现，损坏小于1%的图像大小的小补丁可以显着影响光流估计。我们的攻击导致噪声流估计，大大超出了攻击区域，在许多情况下，甚至完全消除了场景中对象的运动。虽然使用编码器-解码器架构的网络对这些攻击非常敏感，但我们发现使用空间金字塔架构的网络受到的影响较小。我们分析了成功和失败的攻击这两种架构，通过可视化他们的特征图，并比较他们的经典光流技术，这是鲁棒的这些攻击。我们还表明，这种攻击是实际的，通过将印刷图案到真实的场景。1. 介绍光流是指图像序列中每个像素的表观2D运动。它由对应于图像平面中每个像素的位移的向量场（u，v）表示。经典公式[12]寻求两个连续图像I（x，y，t）和I（x+u，y+v，t+1）之间的光流（u，v），其序列使亮度恒定性最小化（即，光度）误差在每个像素处，ρ（I（x，y，t）−I（x+u，y+v，t+1）），对于某个鲁棒函数ρ，受空间相干性约束解的正则化[4]。从成对的图像中估计流量具有很长的时间，图1. 概况.第一列示出了使用编码器-解码器架构FlowNetC[8]、空间金字塔架构SpyNet [20]和经典方法LDOF [6]的光流结果。在第二列中，一个小的圆形面片以相同的位置和方向添加到两个帧中（出于说明目的，用红色框突出显示）。SpyNet和LDOF几乎不受补丁的影响。相比之下，FlowNetC受到强烈影响，即使在远离补丁的地区。历史[12]，并用于许多应用，包括医学，特效，视频分析，动作识别，导航和机器人等等。大量的方法[3]已经解决了这个问题，并在当前的基准[7，10]上稳步改进了结果。然而，经典的光流方法通常需要大量的手工工程[26]和计算密集型优化。最近的方法[8，13，20]已经使用深度神经网络来接近光流估计。这些方法通常实时运行，产生的结果与经典的基于优化的方法竞争，甚至超越。鉴于最近光流网络的性能，它们可能成为自动驾驶汽车等应用的重要组成部分围绕许多这些系统的安全问题意味着必须很好地理解算法的鲁棒性。到目前为止，还没有任何研究来衡量-2405确保这些网络对对抗性攻击的鲁棒性对神经网络的对抗性攻击已被证明对图像分类网络有效[18]，因此，有理由问这样的攻击是如何实现的钉会影响光流网络。考虑使用网络F计算的图像对（It，It+1）的两个帧之间的光流（u，v），使得（u，v）=F（It，It+1）。一次成功的对抗性攻击将导致估计的光学特性发生流用于图像中的小的、不明显的扰动。 具体地说，对手寻求一个扰动的图像，对（It，It+1），使得It−It<$0+It+1−It+1<$0<$，其中，k是一个小常数，估计的最优解是扰动图像上的CAL流明显更差，||>E ，具有较大的常数E。||>E, with a la r ge constant E. 我们特别感兴趣的是在100°以下的扰动范数，因为目标是扰动原始图像中的非常少量的像素。一般来说，图像上的扰动可以用几种方式定义[11，18，25，29]。在这里，我们专注于通过在Brown等人的图像上粘贴一个小补丁来应用扰动。[5]，他们使用这种方法对图像分类进行有针对性的对抗攻击。补丁攻击具有现实意义，我们表明，对抗补丁可以妥协的光流网络，如果一个工程补丁打印并放置在现实世界的场景。光流网络可以分为两种类型的架构-我们对比了这两种架构类型下的对抗性攻击的鲁棒性与[5]类似，我们独立和联合学习补丁来攻击所有网络。所学习的补丁损害了编码器-解码器架构，而空间金字塔网络显示出更鲁棒的行为，如图1所示。在汽车场景中，用于自动驾驶的摄像头通常位于挡风玻璃后面。补丁攻击可以通过将补丁放置在汽车的挡风玻璃上或将其放置在场景中（例如，在交通标志或其它车辆上）。注意，当贴片具有零运动w.r.t.相机，经典的光流算法估计零光流的补丁（LDOF图。①的人。然而，这种工程补丁，即使它没有运动，也可能导致编码器-解码器架构的光流预测严重错误（图12中的FlowNetC）。①的人。在这样的场景中，补丁影响图像中远离补丁的大区域上的估计光流图1中的补丁是图像大小的0.53%，几乎不明显，但它影响了大约50%的图像区域中的血流。对于编码器-解码器网络，补丁不仅影响补丁区域中的光流估计，而且它们的影响延伸到图像中的在相反，在空间金字塔结构中，贴片在贴片区域中最多引起小的退化。经典方法[6，23]对对抗性补丁更鲁棒。我们提出了一个零流测试（第5节）来分析补丁攻击的原因，我们在攻击一个没有运动的均匀随机噪声图像时，将网络的特征图因此，我们确定了光流体系结构的三个主要问题1）流动网络不是空间不变的，导致即使没有任何运动也会出现空间变化的特征图2）空间金字塔网络在粗分辨率下产生大的误差，但能够恢复。3)反褶积层导致强烈的激活放大和棋盘状伪影。我们的贡献如下。我们将对抗补丁攻击扩展到光流神经网络。我们学习了广告补丁，并表明这些攻击可以考虑影响基于编码器-解码器架构的光流网络的性能。我们发现，空间金字塔架构，随着经典的光流方法，更强大的补丁攻击。我们表明，这种攻击很容易实现在实践中，只需打印补丁，并将其放置在现场。我们还分析了这些网络在攻击下的特征图，以深入了解它们在攻击下的行为 代码可在www.example.com获得http://flowattack.is.tue.mpg.de/。2. 相关工作光流光流问题的经典版本涉及求解使亮度恒定性损失最小化的流场。文献[3，27]对经典光流法进行了综述.这些经典方法解决复杂的非凸优化问题，并且通常很慢。最近的深度学习方法取代了优化过程，而是使用卷积网络直接预测光流[8，13，20]。FlowNet [8]是第一个通过学习端到端深度神经网络来回归光流的工作FlowNet基于具有跳过连接的编码器-解码器架构。虽然FlowNet比经典方法快得多[26]，但它并不准确。最近，Ilg et al.[13]提出了FlowNet2，它在光流基准上实 现 了 最 先 进 的 性 能 。 FlowNet2 是 通 过 将 多 个FlowNets堆叠在一起并将输出与专门针对小动作的网络融合而构建的相比之下，受经典的粗到细方法的启发，SpyNet[20]使用图像金字塔上的粗到细估计将匹配问题拆分为更PWC-Net [28]通过相关层扩展了这一想法，以学习光流预测;这给出了光流基准的最新结果。还有其他方法从无监督学习的角度[17，31，15，21]通过使用一个神经网络，以尽量减少光度误差联合国，2406p=argmin（1）在一定的限制下。这些方法使用编码器-解码器架构[17，31]和空间金字塔架构[15]。虽然深度网络在基准数据集上显示出令人印象深刻的结果，但其鲁棒性尚未得到很好的理解。然而，鲁棒性对于自动驾驶等应用至关重要因此，我们在本文中研究的鲁棒性的代表性方法的每一类特别是，我们测试了 FlowNet [8]，FlowNet 2 [13]，SpyNet [20]，PWC-Net [28]和Back 2Future [15]对对抗性攻击的鲁棒性。对抗性攻击。对抗性攻击寻求输入的小扰动，导致深度神经网络的估计出现大误差攻击神经网络使用对抗性示例是检查图像分类网络可靠性的一种流行方法[11，18，29]。所有这些攻击的关键是对图像的改变应该是微小的，但对输出有很大的影响。对抗性示例通常涉及对人眼不明显的图像的小扰动。即使图像中的单个像素受到干扰，对手也会工作[25]。虽然这些攻击揭示了深层网络的局限性，但它们在现实世界中并不容易复制。例如，相当难以改变场景，使得由相机捕获的一个像素被扰动，一种欺骗网络的特殊方法然而，最近的工作[16]证明了对抗性示例在不同光照条件下打印出来并显示给网络时也可以工作。Athalye等人[2]表明，对抗性示例可以3D打印，并且在不同的尺度和方向上被网络错误分类。Sharif等人[24]构建对抗眼镜来欺骗面部识别系统。Etimov等人[9]表明，停车标志可以通过在它们上面放置各种贴纸来错误分类。最近提出的补丁攻击[5]在场景中放置一个小的工程补丁来欺骗网络做出错误的决定。补丁攻击很有趣，因为它们可以很容易地在现实世界中复制，并在补丁的几个尺度和方向上工作。这使得深度网络在现实世界的应用中变得脆弱。因此，我们将研究深度流网络对这些攻击的鲁棒性。据我们所知，还没有攻击光流网络的工作。因此，我们探讨了如何使用对抗补丁攻击这些网络，并分析了这些漏洞的潜在原因。3. 方法对抗性攻击是通过优化扰动来进行的，该扰动迫使网络输出与地面真实标签相比错误的例如，如果（u，v）表示输入（It，It+1）的基础真值标签，则a扰动输入（It，It+1）将产生不正确的标签（u，v）。然而，不存在具有用于自然图像的密集光流基础事实标签的光流数据集。大多数光流数据集是合成的[7，8，22]。SlowFlow [14]提供真实世界的数据，但大小有限。KITTI数据集[10]具有稀疏的地面真值标签，注释仅限于200个训练示例。为了解决有限的地面真值标签的问题，我们使用光流网络的预测作为伪地面真值。我们优化的扰动，最大限度地利用原始图像和扰动图像分别获得的预测流矢量之间使用预测而不是地面实况具有可以使用任何未标记的视频来优化补丁的这使得它更容易攻击光流系统，即使在缺乏地面真理。考虑一个光流网络F，它计算分辨率为H×W的图像序列（It，It+1）的两帧之间的光流。 考虑一小块p的分辨率为h×w，粘贴到图像上，设δ∈ T是一个可以应用于曲面片的变换。T中的这些变换可以是旋转和缩放的组合。我们定义图像I上的扰动A（I，p，δ，l），其应用变换δ到补丁p，并将其粘贴到im中的位置l∈ L年龄 我们将相同的扰动应用于序列I中的两个帧，=A（It，p，δ，l）和It+1=A（It+1，p，δ，l）。这意味着受扰动的frames在包含补丁的区域中为零。在现实世界中，这将对应于相对于相机是静止的补丁。在我们的实验中，我们表明，与此假设获得的补丁一般化以及移动补丁的现实情况下，It=A（It，p，δt，lt）和It+1=A（It+1， p，δt+1，lt+1），其中δt/=δt+1和lt/=lt+1。我们的目标是学习一个补丁p，它充当对手，光流网络F，并且对贴片的位置l或变换δ不变。生成的面片可以使用E（u，v）·（u，v）（It，It+1）<$I，l<$L，δ<$T<$（u，v）<$·<$（u<$，v<$）<$与（u，v）=F（It，It+1）（2）（u，v）=F（A（It，p，δ，l），A（It+1， p，δ，l））（3）其中l在图像中的所有位置L上被采样，并且I是来自视频的一组2帧序列等式（1）计算由网络估计的正常和扰动图像的光流。因此，最小化损失相当于找到那些逆转网络估计的光流方向的对抗性示例。p240725x25 51x51 102x102图2. 对抗补丁针对不同的光流网络获得。为了便于观察，放大了尺寸。表1. 光流法对比不同的光流方法的类型，监督（超级），网络体系结构（Net.）- 编解码器（ED）与空间金字塔（SP）-和参数数量（#Params.）。参数的数量以百万（M）表示。类型Super.Net.#参数FlowNetC [8]CNN是的ED39个月[13]第十三话CNN是的ED162海里[第20话]CNN是的SP1.2米[28]第二十八话CNN是的SP8.75米[15]第十五话CNN没有SP12.2个月LDOF [6]经典---[23]第二十三话经典---4. 实验我们评估了五个光网络对对抗补丁攻击的鲁棒性-我们还评估了两种非常不同的经典方法- LDOF这些方法涵盖了深度网络与经典方法，监督与无监督学习方法和编码器-解码器与空间金字塔体系结构，从而提供了对抗补丁攻击下的光流方法的全貌。我们在表1中对比了这些光学流量方法。首先，我们评估白盒攻击的效果，在白盒攻击中，我们通过优化特定的网络来学习每个网络然后，我们通过使用两个不同的网络创建一个统一的补丁，并在真实世界的场景中测试所有的光流方法在这个补丁上显示黑盒4.1. 白盒攻击我们独立地对每个网络进行白盒攻击。我们学习一个圆形的补丁，它在图像中的位置，比例和方向是不变的。贴片的比例放大保持在±5%以内原始尺寸和旋转在±10μ m内变化。 为每个网络，我们学习四种不同大小的补丁。的补丁大小保持在被攻击图像大小的5%以下。我们使用Eq优化每个补丁p。（1）在来自原始KITTI的未标记帧上[10]。我们选择KITTI数据集，因为它反映了一个安全关键的应用程序，并提供了一个注释的训练集进行评估。我们使用来自网络的光流预测作为伪地面真值标签来优化产生最高角度误差的补丁。这使我们能够利用大约32000帧，而不是来自训练数据集的200个注释帧对于每个网络，我们使用预先训练的模型，该模型在KITTI数据集上没有微调的情况下提供最佳性能。我们使用Pytorch [1]作为我们的优化框架，并使用随机梯度下降对补丁进行优化。图2显示了我们通过优化不同的光流网络和不同的补丁大小获得的补丁。评价为了量化网络对我们的对抗补丁攻击的鲁棒性，我们分别使用原始图像和扰动图像在KITTI 2015光流基准的训练集上测量它们的我们使用平均端点误差（EPE）和存在对抗补丁时EPE的相对退化来测量光流网络的脆弱性（表2）。通过将学习的补丁p放置在训练集中每个图像的随机位置来计算误差所有图像被调整为384×1280并输入到网络。我们评估光流在全图像分辨率。如 表 2 所 示 ， 编 码 器 - 解 码 器 架 构 - FlowNetC 和FlowNet 2的性能显著降低，即使在使用非常小的补丁（0. 1%的图像尺寸）。 误差增加约400 -500%受到攻击 对于基于空间金字塔的方法SpyNet、PWC-Net和Back 2Future的性能退化很小。Back 2Future是一种无监督的方法，与PWC-Net共享类似的架构，2408表2. 白盒攻击斑块大小（以像素和图像大小的百分比为单位）对不同光流网络的影响。我们在KITTI 2015上显示了每个网络在有攻击和没有攻击的情况下的平均端点错误（EPE）对于攻击，我们还显示了相对退化%的EPE。未受攻击25x25（0.1%）51x51（0.5%）102x102（2.1%）153x153（4.8%）网络EPEEPERelEPERelEPERelEPERelFlowNetC [8]14.5629.07+100%40.27+177%82.41+466%95.32+555%[13]第十三话11.9017.04+43%24.42+105%38.57+224%59.58+400%[第20话]20.2620.59+2%21.00+4%21.22+5%21.00+4%[28]第二十八话11.0311.37+3%11.50+4%11.86+7%12.52+13%[15]第十五话17.4918.04+3%18.24+4%18.73+7%18.43+5%表3. 黑盒攻击使用通用补丁对不同光流方法进行攻击。线以下的方法不用于训练贴片。未受攻击EPE袭击EPE Rel[13]第十三话11.9036.13 +203%[28]第二十八话11.0311.01 +0%FlowNetC [8]14.5686.12 +492%[第20话]20.2620.39 +1%[15]第十五话17.4917.44 +0%[23]第二十三话4.524.66 +3%LDOF [6]9.209.17 +0%在 最 大斑 块 大 小上 ， PWC-Net 的 降 解率 高 于 PWC-Net。在图3中，我们说明了编码器-解码器架构极易受到补丁攻击，而不管场景内容、补丁的位置和方向如何。图3中的补丁大小为25×25像素，约为0. 被攻击图像大小的12%该图示出了攻击显著地延伸到片区域之外，导致显著比例的光流矢量劣化。我们还观察到，SpyNet是受影响最小的攻击。对于PWC-Net和Back 2Future，退化包含在补丁的区域攻击的强度随着补丁的大小而增加图4显示了一个更大的补丁大小为153×153的攻击，大约是4。图像大小的76%。补充材料中显示了其他示例和贴片尺寸。4.2. 黑盒攻击在现实世界中，像自动驾驶汽车这样的系统所使用的网络很可能无法优化对抗补丁。因此，我们还考虑了黑盒攻击，它学习一个“通用”补丁来攻击一组网络。由于有两种架构类型（编码器-解码器和空间金字塔），我们考虑每种类型的一个网络来学习一个我们选择网络-1.一、通过这种方式，我们获得了能够攻击编码器-解码器和空间金字塔架构的补丁。生成的补丁可以是在图7和Sup. Mat.虽然我们专注于两个网络进行概念验证，但通用补丁的训练与白盒情况相同。然而，我们决定通过使用KITTI Raw数据集提供的相机运动和视差地面实况来计算补丁的真实运动，假设它们是静态场景的一部分，从而使黑盒攻击的评估更加真实。我们将第一帧中的补丁的随机位置投影到3D场景中，并考虑相机运动和视差将其重新投影到第二帧中。我们随机选取整个场景的最大视差和补丁区域中的最小视差之间的视差，以获得相机和场景中其他对象之间的自由空间中的给定贴片上的点的重新投影，然后我们估计单应性来变换贴片并使用双线性插值来扭曲它。对于没有地面实况摄像机姿势的序列，我们使用零运动，如白盒攻击。通过这种方式，我们模拟了场景中将补丁附加到某个静态对象的情况。在补充材料中，我们还展示了一个通用补丁的效果，该补丁与白盒攻击中的摄像机一样具有零运动。评价表3示出了在存在黑盒对手的情况下来自表1的所有网络和经典光流方法的性能。与白盒攻击一致，我们观察到编码器-解码器架构在存在adversar- ial补丁的情况下受到显著影响。空间金字塔结构和经典方法都对补丁攻击具有更强的鲁棒性。我们观察到，当补丁被放置在图像的中心时，对编码器-解码器网络的攻击是最有效的斑块影响图像重建，根据卷积网络的接收场来确定方向。虽然这些补丁很小（100。5%），它们可以影响高达50%的图像区域，如图5所示。 我们展示更多补充材料中的定性结果。2409受攻击参考未受攻击流受攻击流差异图3.白盒攻击 25x25补丁攻击所有网络。受攻击参考未受攻击流受攻击流差异图4.白盒攻击 对所有网络进行153x153补丁攻击。4.3. 真实世界的攻击为了评估对抗补丁在现实世界中的有效性，我们打印了黑盒补丁在1200 dpi，缩放到8倍的图像中的原始大小。然后，我们将贴片放置在场景中，记录视频序列，并观察两个网络上的效果- FlowNetC和FlowNet2。图7示出了印刷贴片对运行FlowNetC的部署的光流系统虽然补丁在场景中的位置是恒定的，我们的实验与没有相机运动。我们观察到，对FlowNetC的真实世界攻击在有和没有摄像机运动的情况下同样有效，而对FlowNet2的攻击在有摄像机运动的情况下效果更好。有关此实验的视频演示，请点击此链接http://flowattack.is.tue.mpg.de/。5. 零流量测试为了更好地理解神经网络在对抗补丁攻击下的行为，我们提出了零流测试。我们通过对每个像素独立采样均匀随机噪声来生成图像I然后，我们将通用补丁p粘贴到I上，从而产生扭曲的图像I。然后，我们复制图像I帧 ，并将两帧输入到网络。由于图像在两个帧上都是复制的，因此光流在所有像素上都是零假设攻击无效，F（I，I）=0必须持有。此外，如果扰动不应用于网络输入，F（I，I）=0必须成立。对于网络的特征映射，Fk（I，I）=Fk（I，I）必须成立。这里，Fk是神经网络第k层的输出图6，我们展示了来自两个网络FlowNetC和PWC-Net的特征图可视化及其平均范数对于每个网络，我们显示了具有和不具有的特征图2410非攻击流攻击流差异图5. 黑盒攻击在FlowNet 2和PWC-Net上训练的通用补丁，用于粘贴在交通标志上的所有方法，如第4.2节所述。补丁每个特征图都独立地进行对比度归一化，并缩放到相同的大小。图6示出了FlowNetC的编码器（conv 3 1，4，5，6>）如预期的那样在空间上传播补丁信息，并且特 征激 活 encom- 将 整个 图像 传递 到编 码 器的 末端（conv 6）。虽然去卷积（deconv 4，5，6>）减少了激活的空间传播，但它们也导致了强放大。最后，流预测层（流5，4，3，2>）通过融合编码器和解码器响应来组合这两个问题。这导致零流量测试的光流预测的大范围和广泛的退化。在没有对抗补丁的情况下，我们在第一卷积中观察到分布良好的激活，并且一般来说所有层的激活都很低。PWC-Net在所有相关层（corr 6，5，4，3，2>）中均显示出低激活，而不考虑对侧斑块。有趣的是，较低级别（流程6，5>）预测两种情况下的大流量然而，金字塔更精细层次的流量预测（流程3，2>）似乎可以补偿这些误差。与FlowNetC类似，去卷积层（upfeat5，4，3>）导致激活放大，有和没有补丁。此外，它们似乎会导致在其他环境中也观察到的棋盘状伪影[19，30]。零流测试揭示了光流网络的几个问题首先，网络（FlowNetC，PWC-Net）不是空间不变的。在零运动的情况下，网络的激活图在整个图像上在空间上变化，第二，金字塔网络预测粗层次流5，4>中的大运动，而不管补丁的存在与否。最后，去卷积层导致响应和棋盘伪影的放大。这些攻击利用了这些弱点，并扩大了它们，降低了它们的安全性。2411输入校正 conv3 1 conv4 conv5 conv6流量6 decon5 流量5 decon4 流4 decon3 流量3 decon2预测平均值0.0 0.0 0.0 0.0 0.1 0.1 0.2 0.2 0.1 0.1 0.1 0.1平均值0.1 6.6 50.3 98.3 196.5 464.9 1015.8 825.0 3035.6 2491.1 316.1 668.2 78.6FlowNetC输入corr6 flow6 upfeat6 corr5 flow5 upfeat5 corr4 flow4 upfeat4 corr3 flow3 upfeat3 corr2 flow2平均值0.0 12.2 4.4 0.3 250.9 157.3 0.0 31.1 83.0 0.0 1.5 14.5 0.0 0.0平均值0.00 12.2 4.4 0.2 38.2 134.92 0.04 2.4 62.6 0.01 0.1 13.8 0.00 0.02PWC-Net图6. 特征图的可视化。当我们深入网络时，特征图的平均范数。每个图像都独立进行对比度归一化，并缩放到相同的大小。Mean是指特征图的平均范数。6. 讨论图7. 真实世界对FlowNetC的攻击。上图：在图像中心可见的打印对抗补丁的存在显著降低了光流预测。底部：当主体覆盖贴片时，贴片的效果消失。的预测。在补充材料中，我们展示了特征图的其他可视化（来自FlowNet2和Back2Future）。谢谢。感谢A。普纳卡角黄先生负责论文评审工作;和P. Ghosh进行了富有成效的讨论。管理公开MJB已经收到了来自英特尔、英伟达、Adobe、Facebook和亚马逊的研究基金。虽然MJB是亚马逊的兼职员工，但他的研究仅在MPI进行。他也是Meshcapde GmbH的投资者。我们已经证明，补丁攻击可以推广到最先进的光流网络，并且可以显著影响使用深度神经网络的光流系统的性能补丁攻击是不变的平移和小的变化，在规模和方向的补丁。学习补丁的规模和方向的较大变化是计算成本高。然而，有可能用真正的印刷图案复制攻击。即使在编码器-解码器网络（FlowNet，FlowNet 2）的偏远地区，小的对抗补丁也会导致大的错误，而空间金字塔网络（SpyNet，PWC-Net，Back 2Future）则不会受到强烈影响。经典方法对这些攻击也是鲁棒的这表明，将图像金字塔和相关性等经典思想融入架构中，使模型更加健壮。在我们的分析中，我们观察到这些补丁对编码器-解码器以及空间金字塔网络中的特征图的影响。我们还注意到，这是由于光流网络的固有空间变化特性这表明，仅卷积不足以在这些网络中实现空间不变性。最后，独立于攻击，零流测试提供了一种新的方法来识别深流网络中的问题它揭示了内部网络的行为，这可能是有用的，以提高流网络的鲁棒性2412引用[1] https://pytorch.org. 4[2] 阿尼什·阿塔利和伊利亚·苏茨科弗合成强大的对抗性例子。arXiv.org，2017年。3[3] Simon Baker 、 Daniel Scharstein 、 JP Lewis 、 StefanRoth、Michael J Black和Richard Szeliski。光流数据库和评 价 方 法 。 International Journal of Computer Vision（IJCV），92（1）：1-31，2011. 一、二[4] Michael J Black和P Anandan。抗差估计多个运动：参 数 和 分 段 光 滑 流 场 。 计 算 机 视 觉 与 图 像 理 解（CVIU），63（1）：75-104，1996。1[5] TomBBro wn ， DandelionMane´ ， Aurk oRoy ， Mart´ınAbadi，and Justin Gilmer.对抗补丁。arXiv.org，2017年。二、三[6] T.布洛克斯和J·马利克大位移光流：变分运动估计中的描 述 器 匹 配 。 IEEE Trans.模 式 分 析 和 机 器 智 能（PAMI），2011年。一、二、四、五[7] D. J. Butler，J.Wulff，G.B. Stanley和M.J. 黑色. 一个用于光流评估的自然开放源代码电影。以.菲茨吉本等人（ 编 ） ， 编 辑 ， 欧 洲 会 议 。 关 于 计 算 机 视 觉（ECCV），第IV部分，LNCS 7577，第611-625页。Springer-Verlag，Oct. 2012. 第1、3条[8] AlexeyDosovitskiy，Philipp Fischery，Eddy Ilg，CanerHazir- bas，Vladimir Golkov，Patrick van der Smagt，Daniel Cremers，Thomas Brox，et al. Flownet：使用卷积网络学习光流。在Proc. of the IEEE International Conf.计算机视觉（ICCV），第2758-2766页。IEEE，2015年。一、二、三、四、五[9] 伊万·埃夫蒂莫夫、凯文·艾克霍尔特、厄尔朗斯·费尔南德斯、塔达吉·科诺、波丽、阿图尔·普拉卡什、阿米尔·拉赫马蒂和道恩·宋。对深度学习模型的强大物理世界攻击。arXiv.org，1，2017. 3[10] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准备好自动驾驶了吗？KITTI视觉基准套件。正在进行IEEE会议计算机视觉和模式识别（CVPR），2012年。一、三、四[11] Ian J Goodfellow，Jonathon Shlens，Christian Szegedy.解释和利用对抗性的例子。arXiv.org，2014年。二、三[12] Berthold K Horn 和 Brian G Schunck 。 确 定 光 流 。Artificial Intelligence （ AI） ，17 （ 1-3） ： 185-203，1981. 1[13] Eddy Ilg 、 Nikolaus Mayer 、 Tonmoy Saikia 、 MargretKeu- per、Alexey Dosovitskiy和Thomas Brox。流动网络2.0：利用深度网络的光流估计的演进。在proc IEEE会议 计算机视觉和模式识别（CVPR），第2卷，2017年。一、二、三、四、五[14] Joel Janai、Fatma Guney、Jonas Wulff、Michael J Black和Andreas Geiger。慢流：利用高速摄像机获得准确多样的光流参考数据。在proc IEEE会议 计算机视觉和模式识别（CVPR），第3597-3607页，2017年。3[15] JoelJanai，FatmaGuéney，AnuragRanjan，MichaelBlack，and Andreas Geiger.具有遮挡的多帧光流的无监 督学习 在proc 2018年欧洲计 算机视觉会议（ECCV）二三四五2413[16] Alexey Kurakin，Ian Goodfellow，and Samy Bengio.物理世界中的对抗性例子。arXiv.org，2016年。3[17] Simon Meister ， Junhwa Hur ， and Stefan Roth.Unflow：对具有双向集中损失的光流进行无监督学习。2018年第32届AAAI人工智能。二、三[18] Anh Nguyen，Jason Yosinski和Jeff Clune。深度神经网络很容易被愚弄：无法识别图像的高置信度预测。正在进行IEEE会议计算机视觉和模式识别（CVPR），第427- 436页，2015年。二、三[19] Augustus Odena Vincent Dumoulin和Chris Olah。反卷积和棋盘式伪影。Distill，2016. 7[20] Anurag Ranjan和Michael J.黑色.使用空间金字塔网络的光流估计。正在进行IEEE会议计算机视觉和模式识别（CVPR），2017年。一、二、三、四、五[21] Anurag Ranjan，Varun Jampani，Lukas Balles，KihwanKim，Deqing Sun，Jonas Wulff，and Michael J Black.竞争性协作：深度、相机运动、光流和运动分割的联合无监督学习。在IEEE计算机视觉和模式识别会议论文集，第12240-12249页，2019年。2[22] Anurag Ranjan，Javier Romero，and Michael J Black.学习人类的光流。英国机器视觉会议（British MachineVision Conf.（BMVC），2018. 3[23] JeromeRevaud，PhilippeWeinzaepfel，ZaidHarchaoui，and Cordelia Schmid. EpicFlow：光流对应的边缘保持插值。正在进行IEEE会议计算机视觉和模式识别（CVPR），2015年。二、四、五[24] Mahmood Sharif，Sruti Bhagavatula，Lujo Bauer，andMichael K Reiter.协助犯罪：对最先进的人脸识别技术进行真实和隐秘的攻击。ACM SIGSAC计算机和通信安全会议的论文集，第1528-1540页。ACM，2016。3[25] Jiawei Su ， Danilo Vasconcellos Vargas ， and SakuraiKouichi.一个像素攻击欺骗深度神经网络arXiv.org，2017年。二、三[26] 孙德庆，斯特凡·罗斯，迈克尔·J·布莱克。光流估计的秘密及其原理。正在进行IEEE会议 计算机视觉和模式识别（CVPR），第2432-2439页。IEEE，2010。一、二[27] 孙德庆，斯特凡·罗斯，迈克尔·J·布莱克。光流估算的当前实践及其背后的原理的定量分析。InternationalJournal of Computer Vision（IJCV），106（2）：115-137，2014. 2[28] 孙德清、杨晓东、刘明宇和Jan Kautz。Pwc-net：使用金字塔、扭曲和成本体积的光流的Cnns。正在进行IEEE会议计算机视觉和模式识别（CVPR），第8934-8943页，2018年。二三四五[29] ChristianSzegedy、WojciechZaremba、IlyaSutskever 、 JoanBruna 、 DumitruErhan 、 IanGoodfellow 和 Rob Fergus 。 神 经 网络 的 有 趣 特 性。arXiv.org，2013。 二、三[30] Zbigniew Wojna ， Jasper R. R. Uijlings ， SergioGuadarrama ，Nathan Silberman ，Liang-Chieh Chen，Alireza Fathi，and2414维托里奥·法拉利。魔鬼在解码器里：分类、回归与gans。在英国机器视觉会议上。（BMVC），2017. 7[31] Jason J Yu，Adam W Harley，and Konstantinos G Derpa-nis.回到基础：通过亮度恒定性和运动平滑性的光流的无监督学习。arXiv.org，2016年。二、三