基于深度学习的对抗性雨水去除方法的鲁棒性分析与改进

6013针对对抗性攻击的稳健降雨去除：全面的基准分析及超越杨文涵1*谭亚鹏1Alex C. Kot11南洋理工大学电气与电子工程学院2南洋理工大学跨学科研究生课程ROSE实验室yuyi0010@e.ntu.edu.sg{wenhan.yang，eyptan，eackot}@ ntu.edu.sg摘要除雨功能旨在去除图像/视频中的雨纹，减少雨水造成的破坏性影响。它不仅增强了图像/视频的可见性，而且还允许许多计算机视觉算法正常工作。本文首次尝试对基于深度学习的雨水去除方法对对抗性攻击的鲁棒性进行全面研究。我们的研究表明，当图像/视频高度退化时，雨水去除方法更容易受到adversar- ial攻击，因为小的失真/扰动变得不那么明显或可检测。在本文中，我们首先提出了一个全面的经验评估的各种方法，在不同的攻击水平和各种损失/目标，以产生扰动的角度来看，人类的感知和机器分析任务。对现有方法中的关键模块进行了系统的评估，以评估它们对对抗性攻击的鲁棒性。从我们的分析的见解，我们构建了一个更强大的deraining方法，通过整合这些有效的 模 块 。 Finally, we examine various types of adver-sarial attacks that are specific to deraining problems andtheir effects on both human and machine vision tasks, in-cluding 1) rain region attacks, adding perturbations onlyin the rain regions to make the perturbations in the at-tacked rain images less visible; 2) object-sensitive attacks,adding perturbations only in regions near the given objects.代码可在https://github.com/yuyi-sd/Robust_Rain_Removal获得。1. 介绍除雨方法旨在消除雨条纹造成的破坏性影响，以恢复图像的干净版本。它不仅大大提高了雨天图像的可见度，而且还可以改善许多*通讯作者。图1.左边是来自干净输入/输出的相应补丁，右边是来自扰动界为4/255的对抗输入/输出。输出的语义分割重叠显示在最后一列中。测试图像来自RainCityscape [13]。后续（下游）计算机视觉应用。早期的方法主要是模型驱动的，并且基于雨条纹和背景场景的统计特性来解决去同步问题，例如图像分解[17]，稀疏编码[27]和高斯混合模型[26]。这些方法可以很好地处理小雨。然而，它们在处理大雨的情况下不足，并且经常模糊背景场景。最近，基于深度学习的去水印方法[9，41]已经成为主流。这些方法有能力模拟更复杂的映射，从雨图像到干净的图像，并提供了更好的性能，在更少的剩余雨条纹和更好地保留背景场景。它们还增强了视频监控等实际应用的性能。虽然已经介绍了许多基于深度学习的去水印方法，但并没有深入研究这些方法对对抗性攻击的鲁棒性。一些不明显的扰动可能会改变深度网络的预测结果[12，31]，这也是一个真正值得关注的问题。由于雨图像通常会被强烈的雨条纹高度退化，因此扰动可以容易且明显地隐藏在这样的图像中。这些逆向生成的输出还可能损害后续应用的可靠性和稳定性，例如采用除雨方法作为预处理模块的视频监控和自动驾驶。6014·|在本文中，我们首次尝试研究、改进和评估基于深度学习的雨消除方法对对抗性攻击的鲁棒性我们的主要贡献概述如下。• 从人类和机器视觉任务的角度出发，对现有的脱轨方法进行了全面的分析，这些方法具有不同的鲁棒性水平，可以对抗对抗性攻击，并具有各种损失/目标以生成扰动。• 在模型侧（递归、注意力、感受野和边信息）和损失侧（对抗性损失）对鲁棒性的影响方面对现有方法中的模块进行系统评估。• 通过对分析中识别出的有效模块进行整合，构造了一种更鲁棒的去噪方法• 研究各种对抗性攻击类型和特定于除雨退化的场景，在人类和机器视觉任务方面。2. 相关工作2.1. 对抗性攻击深度神经网络[32]容易受到与自然图像在视觉上无法区分但可能损害模型性能的对抗性示例的影响。从攻击方法方面来看，Szegedy等人 [32]开发了一种基于优化的方法，可以在特定的输入扰动量内找到对抗性示例。 Goodfellow等人 [12]提出了快速梯度符号法（FGSM），Kurakin等人[19]开发了多变量。Madry等人。 [28]提出了一种更强大的多步骤变体，本质上是投影梯度下降（PGD）。还有关于对抗性攻击对各种计算机视觉应用和场景的影响的研究，例如人类姿势估计[5]，对象检测[39]和语义分割[39]。还有一些关于对抗性攻击和低级别处理任务中的鲁棒性分析的工作。在[29]中，超分辨率被用作减轻深度图像分类模型的对抗性攻击的工具。在[47]中，对抗性攻击被利用在超分辨率模型上来攻击下游计算机视觉任务，例如图像分类、风格转换和图像字幕。在[3]中，研究了基于深度学习的超分辨率方法对对抗性攻击的鲁棒性。在[11，49]中，雨带/霾被认为是一种对抗性噪声。在[4]中，从人类视觉的角度然而，没有研究对抗性攻击和鲁棒性分析的工作，雨水清除方案。也没有从人类和机器视觉任务的角度考虑对抗性攻击。2.2. 单图像雨水去除将雨条纹和背景场景从它们的混合版本中分离出来并不是一件小事。基于信号分离和纹理分类的方法已经被提出来解决这一挑战。早期的非深度学习作品[2，17，18，26，27]是基于统计模型构建的。在[17]中，尝试基于使用形态分量分析的图像分解来执行单图像去噪。在后续的工作中[27]，将互斥属性纳入稀疏模型以形成区分性稀疏编码，可以更好地将雨水/背景层与其非线性复合物分离。最近，已经提出了基于深度学习的去除方法[9，22，41，50]，以获得更好的雨水去除结果。最近的作品[10，20，23，34，48]也集中在先进的深层网络其他人[7，8，16，21，33，40，43一些研究集中在推广能力的deraining模型。在[37]中，Wei等人在网络训练中利用真实的雨天图像，将输入的雨天图像与其预期的去噪结果之间的残差公式化为高斯混合。在[46]中，提出了一种基于高斯过程的半监督学习，允许网络使用合成数据进行学习，并使用未标记的真实下雨图像来推广去抑制性能。这些方法可以提供更好的去噪效果，在较少的剩余雨条纹和丰富的背景纹理。然而，对于这些深层网络对抗性攻击的脆弱性，有一些研究工作这项工作旨在填补这一空白。3. Deraining模型3.1. 攻击框架对抗性攻击的目的是通过添加少量视觉上不可感知的扰动到输入的雨天图像来恶化输出。为了生成对抗性扰动，我们开发了一种基于一种基于优化的方法PGD [28]的攻击方法，该方法已被广泛使用并被认为是迄今为止用于评估分类模型鲁棒性的强大攻击方法[6]。本文考虑一个以θ为参数的降阶模型f（θ）.我们将X表示为输入图像，将Y表示为地面实况图像，将δ表示为扰动，并且将D表示为用于测量退化的度量。对抗性攻击的目标是最大化输出与目标的偏差，例如。6015||∇−−××F原始输出：δ= arg maxD（f（X θ），f（X + δ θ）.（一）δ，δp ≤为了解决具有范数约束（通常是范数）的最大化问题，我们使用PGD方法迭代地获得扰动：ω t+1= δ t+ α sgn（δD（f（X|θ），f（X +δ|θ），（2）表1.两个数据集上的PSNR、参数和模块比较。AT表示注意力模块，RB表示循环块，SI表示边信息，DD表示多样性扩展，RC表示RainCityscape。δt+1=削波[−X，1−X]（ωt+1），（3）其中表示梯度操作，sgn提取梯度的符号，裁剪操作保证扰动在[0，1]内，扰动输入在[0，1]内。项α控制每次迭代的步长，并且α表示每个像素值所允许的最大扰动。初始δ0从均匀分布U（λ，λ）中采样，T次迭代后得到最终对抗扰动δT基于不同的攻击目标，我们为D定义了两种对应的度量：• 恢复（人类视觉）：每像素的措施，例如Euclidean distance：δ=argmaxf（X+δ|θ）−f（X|θ）θ2。（四）δ，δ∞≤• 下游CV任务（机器视觉）：从预训练模型中提取的特征的距离，例如学习感知图像块相似性（LPIPS）[52]：δ= arg maxpips（f（X + δ|θ），f（X|θ））。（五）δ，δ∞≤我们将第一种称为LMSE攻击，第二种称为LPIPS攻击。对于每一种攻击类型和扰动界，δD，λ（X）可由方程得到。（23.2. 评估指标在我们的基准测试中，我们考虑两种类型的性能评估指标：• 常用的质量指标包括峰值信噪比（PSNR）和结构指数相似性（SSIM）[36]，用于评估信号保真度。• 任务驱动的指标，用于评估下游机器分析任务的性能。 具体而言，我们评估了对象检测和语义分割的性能，即用于语义分割的平均交集（mIoU）和用于行人检测的平均精度（AP），采用RainCi-tyscape数据集[13]上的方法SSeg [53]和Pedestron[14]3.3. 实现细节1) 数据集。我们采用了两个合成的deraining数据集（Rain100H[42]和RainCityscape [13]）和一些真实图像[37]。Rain 100 H数据集是最常用的数据集之一，包括1800对大小为480 320的雨/非雨图像用于训练和100对相同大小的图像用于测试。输入测试集的PSNR和SSIM分别为12.05和0.3623。RainCityscape数据集由大小为512 256的2875对图像组成，用于训练和100对图像用于测试。PSNR和SSIM，RD，E=EXP数据 [P（Y，f（X+δD，δ（X）]，（6）Put测试集分别为19.71和0.7087。除了成对图像外，RainCityscape数据集还提供了其他标签其中样本遵循分布P数据，P是评估度量。虽然无法评估鲁棒性是通过考虑所有的ε值，我们使用有限的ε和有限的测试样本来估计它。通过估计，我们使用平均对抗性能（mAP）来评估对抗每种类型攻击的对抗鲁棒性D：用于对象检测和语义分割，这允许我们评估下游任务的 性 能 。 在 我 们 的 实 验 中 ， 在 Rain100H [42] 和RainCityscape [13]的测试集上评估的模型在各自的训练集上进行训练。2) 删除方法。我们考虑了六种最先进的基于深度学习的去盲模型，如表1所示。3) 扰动水平。对 抗 性攻击是不-地图=1 Σ1P（Y，f（X+δ（X），基于PGD实施[28]。我们还设置模型段在 RB SI DD Rain100HRCJORDER-E [41]RCDNet [33]MPRNet [48]PReNet [30]UMRL [45]4.17M3.17M3.64M1.50M984K✓✓✓✓✓✓29.7529.6530.5629.5826.0532.5131.4436.3133.0930.15RESCAN [25]1.04M✓✓✓28.9034.906016--·D∈Dn（ E）E∈En（Dt）X∈DtD，（七）1/255、2/255、4/255、8/255关于ESTA∞1/4，T= 20。E=- 范数，α=其中E是要评估的数据集，t是测试数据集，n（）计算数字。请注意，P通常以PSNR和SSIM来4) 结果和备注。图2和表2显示了六种反欺骗模型对对抗性攻击的鲁棒性结果对于RainCityscape数据集，我们还考虑6017（a）Rain100H，PSNR（b）Rain100H、SSIM（c）RC、PSNR（d）RC、SSIM（e）RC、mIoU（f）RC、AP(g) Rain100H，峰值信噪比（h）Rain100H、SSIM（i） RC、PSNR（j） RC、SSIM（k） RC、mIoU（l） RC、AP图2。六个deraining模型的对抗鲁棒性和我们提出的方法通过PSNR，SSIM，语义分割的mIoU和Rain100H [42]和RainCityscape [13]数据集上行人检测的AP进行评估。第一行中的子图表示针对LMSE攻击的性能，第二行中的子图表示LPIPS攻击。RC表示RainCityscape。注意φ= 0/255表示无扰动时输出到输入的性能。(a) Deraining Images against adversarial attacks in real images [37].模型在Rain100H上训练[42]。(b) RainCityscape [13]中的Deraining Images对抗攻击及其相应的语义分割重叠。图3.基于最小均方误差攻击的输入扰动下的降阶输出的可视化比较。在除了输入之外的每个图像中，左上方、右上方、左下方和右下方上的块是从输出到输入的具有扰动边界λ={0/255，1/255，2/255，4/255}的对应块。放大最佳视野。更多的可视化结果可以在补充材料中找到。行人检测和语义分割的性能。从基准测试结果中，我们可以得到以下结果：• 即使是非常小的扰动（ε=1）也会严重降低现有方法的去同步性能。更大的扰动会导致图像质量的显著逐帧下降。• 在Rain100H数据集 上，MPRNet [48]在 PSNR和SSIM方面是最稳健的模型，这可能归因于其使用注意力模块来抑制特征级别的对抗性噪声的影响。• 在RainCityscape数据集上，所有模型的PSNR和SSIM值与具有相同带宽的对抗性攻击的差距都更接近，而MPRNet在mIoU和AP方面对下游任务• 当使用LPIPS攻击时，观察到从0到1的扰动在PSNR和SSIM方面具有最大的性能下降，而较大的 扰 动 导 致 较 小 的 性 能 差 距 。 特 别 是 在RainCityscape上，从1到8的扰动在PSNR方面带来了相同的退化，而考虑更多结构信息的SSIM继续，6018--表2.对抗性鲁棒性（mean-Adversarial-Performance）六个deraining模型在两个数据集上的表现。数据集Rain100HRainCityscape度量PSNRSSIMPSNRSSIMMiouAP恢复（人类视觉）：MSE损失JORDER-E10.910.338312.890.59200.27990.6511RCDNet12.290.374413.210.53860.19240.6307MPRNet13.470.525312.760.56930.39450.7217PReNet8.820.210713.120.48640.11510.6056UMRL12.940.429712.020.55120.18860.6086重新扫描11.400.352811.130.50880.21680.6065下游CV任务（机器视觉）：LPIPS丢失JORDER-E16.220.542320.180.66920.23540.6014RCDNet18.540.608620.390.64980.10010.5427MPRNet22.700.687820.100.68150.24510.6753PReNet11.220.362820.480.65980.22910.6398UMRL21.440.659419.030.64200.11400.4548重新扫描17.540.564020.440.66810.16520.6376UEs下降。LMSE攻击对PSNR和SSIM的影响更大，而LPIPS攻击对mIoU和AP的• 有趣的是，注意到去中心化结果在语义分割性能方面是脆弱的。使用扰动（λ=2）的攻击已经破坏了分割性能。• 现有的方法是更强大的对象检测比语义分割。4. 一种鲁棒的脱轨模型在本节中，我们对模块和损失进行全面分析，以评估其对抗鲁棒性。4.1. 模块分析现有的去记忆方法主要包括重复记忆块、多个注意模块、旁信息注入和扩大感受野等。我们根据RCDNet[33]和JOEDER-E [42]的基线对这些模块进行了消融研究。1) 循环块。由于可能存在彼此重叠的不同雨纹层，并且在一个阶段中去除所有雨纹并不容易，因此许多除雨模型结合了循环结构以在多个阶段中执行除雨该方法可以被公式化为：O0= O，图4.循环块：具有各种阶段数的RCDNet的对抗鲁棒性。红色曲线对应左侧y轴，蓝色曲线对应右侧y轴。表3.注意模块：具有不同注意力模块的RCDNet的对抗鲁棒性。Clean表示在SSIM方面没有扰动的输入的性能。数据集Rain100HRainCityscape度量清洁PSNR SSIM清洁 PSNR SSIM Miou AP恢复（人类视觉）：MSE损失RCDNet0.8867 12.29 0.3744 0.951713.21 0.5386+ SE（MUL）0.8834 16.100.5325 0.962613.43 0.5768 0.2874+ SE（ADD）0.8859 15.63 0.5246 0.9697 13.83 0.6100 0.3502 0.6672+ CBAM0.8777 14.47 0.4930 0.955313.55 0.6039 0.2699+ GC（MUL）0.8797 15.83 0.5371 0.9617 13.75 0.5959 0.2869 0.6666+ GC（ADD）0.8694 15.810.5595 0.964410.99 0.5648 0.2947+ SK0.8813 15.29 0.5260 0.9553 12.77 0.5574 0.3478 0.6341下游CV任务（机器视觉）：LPIPS丢失RCDNet0.8867 18.54 0.6086 0.951720.39 0.6498+ SE（MUL）0.8834 24.00 0.7108 0.962620.23 0.6405+ SE（ADD）0.8859 23.68 0.7011 0.969720.44 0.68670.2461+ CBAM0.8777 22.33 0.6552 0.955319.25 0.6783 0.1373+ GC（MUL）0.8797 24.50 0.7176 0.9617 20.02 0.6574 0.2242 0.6725+ GC（ADD）0.8694 23.81 0.7159 0.964419.43 0.6114+ SK0.88130.70480.955320.480.7109我们研究了RCDNet的对抗鲁棒性，不同的阶段编号为1，2，3，5，8，12，17。对于公平的计算，具有较少阶段的模型具有更宽的特征图，以保持参数的数量在3M左右。如图所示4、具有一个或两个重流块的模型在PSNR和SSIM方面更鲁棒，而具有三个阶段的模型在考虑下游任务的mIoU和AP以及在PSNR和SSIM。[Rt，Bt]=ft（Ot−1，Rt−1），1≤t≤T，Ot= O−Rt= Bt，1≤t≤ T，（八）2) 注意模块。RESCAN [25]和MPRNet [48]都由注意力模块组成，以增强其反作用其中O是输入，T是递归块的数量，Rt是第t阶段的输出雨纹，Bt是第t阶段的输出背景，并且ft是第t个CNN块。在每一级中，Rt和Bt被更新，并且最终输出是BT。性能我们从稳健性的角度来研究它们的影响。我们考虑基于CNN中的特征重新校准的几个注意力模块：• SENet[15]：特征首先通过空间维度上的平均池化挤压运算符，6019L··|∥δ∥∞≤联系我们表4.边信息：边信息对JORDER-E的对抗鲁棒性的影响Clean表示在SSIM方面没有扰动的输入的性能。数据集Rain100HRainCityscape度量清洁PSNR SSIM清洁PSNR SSIM Miou AP恢复（人类视觉）：MSE损失JORDER-E 0.892110.91 0.3383 0.9600 12.89 0.5920 0.27990.6511没有口罩0.880915.37 0.4991 0.962614.89 0.6143下游CV任务（机器视觉）：LPIPS丢失JORDER-E 0.892116.22 0.5423 0.9600 20.180.6692 0.2354 0.6014没有口罩0.880922.71 0.6947 0.9626 20.010.6707 0.2574 0.6176然后通过子信道激励操作产生信道方式的激活。请注意，激活可以添加或乘以特征图。• GCNet[1]：GCNet与SENet的不同之处在于挤压操作，并采用非局部网络[35]的结构进行空间建模。• CBAM [38]：CBAM有两个连续的子模块：通道和空间。随后的模块连接Max和Avg池化（跨通道）的输出，并使用Conv层生成空间张力图。• SKNet[24]：还对这些分支执行不同的通道atten-tions洞察：通过将注意力模块插入到RCDNet的相同位置（在每个conv块之后），我们发现所有注意力模块确实提高了鲁棒性和SE表5.感受野：感受野对JORDER-E对抗鲁棒性的影响Clean表示在SSIM方面没有扰动的输入的性能。数据集Rain100HRainCityscape度量清洁PSNR SSIM清洁 PSNR SSIM Miou AP恢复（人类视觉）：MSE损失D ={1，2，3}D ={1，2}D ={1}0.89210.89690.895610.91 0.33839.320.27169.19零点二六五0.96000.96220.960812.89 0.5920 0.2799 0.651112.60 0.5060 0.2192 0.615412.56 0.5193下游CV任务（机器视觉）：LPIPS丢失D ={1，2，3}D ={1，2}D ={1}0.89210.89690.895616.22 0.542312.65 0.450712.50 0.44260.96000.96220.960820.18 0.6692 0.2354 0.601419.61 0.6522 0.140520.04 0.6607 0.1500 0.5576表6.对抗损失对RCDNet对抗鲁棒性的影响。Clean表示在SSIM方面没有扰动的输入的性能。数据集Rain100HRainCityscape度量清洁PSNR SSIM清洁PSNR SSIM Miou AP恢复（人类视觉）：MSE损失RCDNet0.8867 12.29 0.3744 0.951713.21 0.5386+ 高级损失 0.8584 21.85 0.7619 0.930817.78 0.6503下游CV任务（机器视觉）：LPIPS丢失RCDNet0.8867 18.54 0.6086 0.951720.39 0.6498+ 高级损失 0.8584 25.93 0.8050 0.9308 22.68 0.7230 0.2365 0.6289洞察：当采用更大的感受野时，可以从表54.2. 忠诚度损失与对抗性损失Zhang等人 [51]探索了分类问题的准确性和鲁棒性之间的权衡，并提出了一种新的对抗性损失公式来防御对抗性攻击：考虑到下游任务，添加的是最鲁棒的;它在PSNR方面也表现良好，Ladv=λmaxX′∈B（X，λ）L（f（X|θ），f（X′|θ）），（9）SSIM，如表3所示。3) 边信息。一些去训练模型在训练期间需要辅助信息，例如。JORDER-E [42]采用防雨面罩和密度作为监控。我们研究了这个副信息对对抗鲁棒性的影响。洞察：从表4中可以看出，没有雨罩的JORDER-E在对抗性攻击方面表现更好，这表明没有边信息的模型往往更鲁棒。4) 接受场众所周知，增加感受野可以提高模型处理更复杂信号映射的能力。然而，目前还不清楚不同的感受野如何影响模型的鲁棒性。一些去噪模型采用多径扩张卷积结构来增加其感受野，这为分析模型在保持其他模型不变的情况下的鲁棒性提供了一种手段JORDER-E [42]的基本块由三个卷积路径组成，分别具有1，2和3的膨胀因子。通过去除感受野较大的路径，讨论了感受野对对抗鲁棒性的影响其中f（Xθ）是学习模型的输出向量，（，）是多类校准损失，例如交叉熵损失，B（X，X）表示X的邻域：X′：X′X. 这种权衡可以通过以下方式来平衡：调整最终组合损失中的损失权重λ，以及扰动界对于雨水去除模型，对抗损失可以获得为：Ladv=λδ，maxλf（X+δ|θ）−f（X|θ）θ2。（十）洞察：表6显示，引入对抗损失可以提高对抗鲁棒性，但它也会影响在没有扰动的情况下。4.3. 将模块嵌入到鲁棒的Deraining模型中基于上述见解，我们通过整合MPRNet，SE与加法，卷积层与不同的膨胀，三个循环块，6020·◦(a) Deraining Images against adversarial attacks in real images [37].模型在Rain100H上训练[42]。(b) RainCityscape [13]中的Deraining Images对抗攻击及其相应的语义分割重叠。图5. RainCityscape [13]测试数据的derain输出与对抗扰动边界的视觉比较，其中干扰边界为4/255。使用Clean注释的图像是无扰动输入的输出，使用LMSE/LPIPS注释的图像是有对抗扰动输入的输出。放大最佳视野。更多的可视化结果可以在补充材料中找到。表7.消融术研究：增强模型与MPRNet的兼容性。Clean表示在SSIM方面没有扰动的输入的性能。AL表示对抗性损失，AT表示注意力模块，RB表示复发性块，DD表示不同的扩张。数据集Rain100HRainCityscape度量清洁PSNR SSIM清洁 PSNR SSIM Miou AP恢复（人类视觉）：MSE损失MPRNet0.8974 13.47 0.5253 0.9811 12.76 0.5693 0.3945 0.7217我们0.86700.8099 0.9401 22.82 0.8264 0.7592 0.7487Ours w/o AL 0.8841 15.35 0.5997 0.9794 12.67 0.5707 0.4745 0.7328我们的，不含经常预算0.85460.7710 0.9389 21.24 0.7992 0.6512 0.7242我们的，不含DD0.86850.7782 0.9466 22.05 0.8023 0.7011 0.7230Ours w/o AT 0.8474 21.41 0.7388 0.941118.75 0.7184下游CV任务（机器视觉）：LPIPS丢失MPRNet0.8974 22.70 0.6878 0.9811 20.10 0.6815 0.2451 0.6753我们0.8670 26.81 0.8138 0.9401 25.75 0.8484 0.7212 0.7033Ours w/o AL 0.8841 24.49 0.7110 0.9794 21.00 0.6811 0.3107 0.6955我们的，不含经常预算0.85460.8011 0.9389 24.84 0.8355 0.5904 0.6814我们的，不含DD0.8685 26.55 0.7993 0.9466 25.06 0.8342 0.6352 0.6844Ours w/o AT 0.84740.7689 0.9411 22.15 0.7530 0.2194 0.5917对抗性损失图2和表7显示，我们的模型比MPRNet更健壮。图5显示了不同方法的视觉结果。虽然MPRNet已经是所有现有技术方法中最鲁棒的，但图5（a）和（b）中的其恢复结果以及图5（c）中的下游分割结果仍然严重退化。受益于我们的模块分析中的鲁棒模块和损失，我们的增强模型更鲁棒，并且与没有对抗性扰动的模型相比，获得了视觉上相似的结果我们还通过从我们的模型中减去一个强大的模块来进行消融研究。我们可以从表7中得出以下结论：• 所有上述模块都有助于我们模型的鲁棒性。• 对抗性损失是提高鲁棒性的关键因素，但其代价是降低网络的性能。不受干扰的输入。• 当结果由下游任务评估时，注意力模块可以帮助保持鲁棒性。5. 讨论：高级攻击场景这两个基本的攻击描述在SEC。3.1的目标是最大化输出与嵌入在整个输入图像上的扰动的偏差。在本节中，我们将研究其他高级攻击场景，并证明我们的模型可以很好地处理它们，特别是对于人类和机器视觉应用程序联合考虑的情况。5.1. 对象敏感攻击在这种情况下，攻击的目的是危害特定对象上的下游应用程序，例如行人和汽车。通过将这种扰动添加到输入，对抗性攻击使源补丁S和目标补丁T之间的感知损失最小化。因此，从机器视觉的角度来看，源片S处的对象更类似于目标片T。这种攻击可以表述如下：δ = arg max − pips（Crop Sf（X + δ|θ），CropT f（X|θ）），δ，δ∞≤δ=δMS，（ 11）其中，CropS（）表示片S处的图像裁剪操作，MS是指定源片S的二进制掩码，并且表示逐元素乘法。我们对MPRNet和我们提出的方法进行了对象敏感攻击，结果如图6（a）所示。在MPRNet的输出中，源补丁（红框）中的一个骑自行车的人被语义分割方法SSeg [53]错误地分类为目标补丁（蓝框）中的地面，而我们模型的输出在攻击中幸存下来。6021(a) 对象敏感攻击（b）局部攻击（雨区（c）不明显攻击（d）输入关闭攻击攻击）下游任务图6. Derain Images ofMPRNet andOurs against several attacking scenarios及其相应的语义分割在RainCityscape中重叠[13]。注意，对抗扰动的界为4/255。在（a）中，带有红色方框的补丁是要攻击的源对象，带有蓝色方框的补丁是目标对象。更多的可视化结果可以在补充材料中找到。5.2. 局部攻击（雨区攻击）我们还考虑的情况下，扰动被添加到输入图像的一部分。这种攻击可以表述如下：δθ = arg maxD（f（X|θ），f（X + δ <$M|θ）），（12）δ，δ∞≤δ=δM，（13）其中M是指定攻击区域的二进制掩码。图6（b）显示了MPRNet的结果，我们的方法通过将扰动添加到雨区来攻击。结果表明，我们的方法是更强大的MPRNet在这样的攻击。5.3. 对下游任务的不可察觉的攻击我们还研究了输出退化不明显，但可以影响下游任务的性能，即有利于人类视觉，但退化机器视觉的攻击。我们的目标是最大化输出中的感知损失偏差并最小化输出中的MSE损失偏差，可以描述如下：δ= arg maxpips（f（X + δ |θ），f（X|θ））δ，δ∞≤−λf （ X+δ|θ ） −f （ X|θ ） θ2 。其中λ平衡了人类视觉和机器视觉恶化之间的权衡。从图中的例子来看，图6（c），MPRNet和所提出的方法6022视觉上令人愉悦，但我们的模型在下游分割任务中对这种攻击更加鲁棒。5.4. 输入关闭攻击输入关闭攻击的目标是最小化输入和输出之间的MSE损失。也就是说，我们希望被攻击的模型完全无法去除输入的雨纹δ=argmax−f（X+δ|θ）−X<$2。（十五）δ，δ∞≤图6（d）显示我们的模型可以处理这种攻击。6. 结论在本文中，我们首次全面研究了基于深度学习的雨纹消除方法对对抗性攻击的鲁棒性。在此基础上，提出了一种通过整合有效模块来提高去噪鲁棒性的方法。我们还评估了几种类型的对抗性攻击，这些攻击特定于降雨/脱轨问题的特性，并利用了人类和机器视觉任务的特性或要求。谢谢。这项工作是在南洋理工大学的快速丰富对象搜索（ROSE）实验室完成的。这项研究得到了南大-北大联合研究所的部分支持（南洋理工大学和北京大学之间的合作，由黄廷芳慈善基金会捐赠赞助）。6023引用[1] 曹岳、徐佳瑞、林斯蒂芬、魏方云和韩虎。全球背景网络。CoRR，abs/2012.13375，2020。6[2] 陈怡蕾，徐秋婷。时空相关雨条纹的广义低秩出现模式。在Proc. IEEE Int'l Conf.计算机视觉，第1968-1975页，2013年。2[3] J. Choi，H. Zhang，J. Kim，C. Hsieh和J.李你评估深度图像超分辨率对对抗攻击的鲁棒性。在proc IEEE 计算机视觉，第303-311页，2019年。2[4] Jun-Ho Choi ， Huan Zhang ， Jun-Hyuk Kim ， Cho-JuiHsieh，and Jong-Seok Lee.深层图像破坏：深度图像到图像模型对抗性攻击脆弱性的综合研究。arXiv电子印刷品，第arXiv：2104.15022页，2021年4月。2[5] Moustapha M Cisse，Yossi Adi，Natalia Neverova，andJoseph Keshet. Houdini：用对抗性示例欺骗深度结构化视觉和语音识别模型。在proc 年度会议 神经信息处理系统，第30卷，2017年。2[6] 弗朗切斯科·克罗齐和马蒂亚斯·海因。 可靠的评估对抗鲁棒性与不同的参数自由攻击的合奏。在Proc. Int'lConf.机器学习，第119卷，第2206-2216页，2020年。2[7] S. 邓，M.Wei，J.Wang，Y.丰湖，澳-地Liang，H.谢先生，F. L. Wang和M.王.通过上下文聚合网络进行细节恢复图像去训练。在Proc. IEEE Int'l Conf.计算机视觉和模式识别，第14548-14557页，2020年。2[8] Y. Du，J. Xu，X. Zhen，M. Cheng和L.邵条件变分图像去噪 IEEE Trans. 图像处理，29：6288-6301，2020。2[9] X. Fu，J. Huang，D. Zeng，Y. Huang，X.丁宁和J.派斯利。通过深层细节网络从单个图像中去除雨水 在procIEEE 计算机视觉和模式识别，第1715-1723页，2017年。一、二[10] X. 富湾，澳-地 Liang，Y. Huang，X. 丁宁和J.派-利。轻量级金字塔网络的图像脱链。IEEE Trans. onNeural Networks and Learning Systems，31（6）：1794-1807，2020。2[11] Ruijun Gao，Qing Guo，Felix Juefei-Xu，Hongkai Yu，and Wei Feng. Adversarial Haze Attack：对抗性雾攻击。arXiv电子印刷品，第arXiv：2104.13673页，2021年4月。2[12] Ian Goodfellow、Jonathon Shlens和Christian Szegedy。解释和利用对抗性的例子。 在Proc. Int'l Conf.学习代表，2015年。一、二[13] ShirsenduSukantaHalder ， Jean-FrancoisLalonde ，andRaoul de Charette.基于物理的渲染，用于提高对雨的鲁棒性。在Proc. IEEE Int'l Conf.计算机可视化，第10202-10211页，2019年。一二三四七八[14] Irtiza Hasan ， Shengcai Liao ， Jinpeng Li ， Saad UllahAkram，and Ling Shao.可推广的行人检测：房间里的大象。 在proc IEEE 计算机视觉和模式识别，第11328-11337页，2021年6月。3[15] 杰虎，李申，孙刚。挤压-激发网络。在Proc. IEEE Int'lConf.计算机视觉和模式识别，第7132-7141页，2018年。5[16] K.姜，Z. Wang，P. Yi，C.陈湾，澳-地Huang，Y.黄氏Y. Luo、J.Ma和J.蒋多尺度渐进融合网络在单幅图像去噪中的应用。在P