多尺度渐进融合网络用于单幅图像去噪

8346基于多尺度渐进融合网络的单幅图像去噪江奎1王中原1陈鹏毅1陈晨2黄宝金1罗益民3马佳一1蒋军军41武汉大学2北卡罗来纳大学夏洛特分校3伦敦国王摘要空中的雨条由于其位置到相机的距离不同，所以呈现出不同的模糊度和分辨率。 相似的雨模式在雨图像及其多尺度（或多分辨率）版本中是可见的，这使得利用这种互补信息用于雨条纹表示成为可能在这项工作中，我们从输入图像尺度和分层深度特征的角度探索了雨条纹的多尺度协作表示，在一个统一的框架中，称为多尺度渐进融合网络（MSPFN）用于单图像雨条纹去除。对于不同位置的相似雨带，我们采用重流计算来获取全局纹理，从而可以在空间维度上挖掘互补和冗余信息来表征目标雨带。此外，我们还构造了多尺度金字塔结构，并进一步引入注意机制来指导不同尺度上这些相关信息的精细融合。这种多尺度渐进融合策略不仅促进了协作表示，而且也促进了端到端训练。我们提出的方法在几个基准数据集上进行了广泛的评估，并取得了最先进的结果。此外，我们还进行了联合去盲、检测和分割任务的实验，启发了视觉任务驱动的图像去盲的新研究方向。源代码可在https://github.com/kuihua/MSPFN上获得。1. 介绍由于雨图像和视频中的图像内容的实质性退化，传统的图像增强算法[27]难以对图像质量进行期望的改进。因此，开发专门的图像去重解决方案对于广泛的任务是必要的[12]，例如。对象检测和语义分割。*通讯作者雨图像（原始比例）图1.演示雨纹的协作表示具体地说，雨带中相似的雨型，无论是在同一尺度内（以青色、粉红色和深蓝色框突出显示）还是跨越不同尺度（以红色、黄色、橙色和绿色框突出显示），都可以帮助重建目标雨带（原始雨图像中的白色框），并具有互补信息（例如，相似的外观、形成等）。传统的去同步方法[2，1，5，9，32]使用简单的线性映射变换，并且对输入的变化[11]不鲁棒，例如，雨带的方向、密度和大小各不相同。最近，使用卷积和非线性层操作的基于深度学习的方法[6，35，16尽管这些方法[6，16]在特征表示上有明显的改进，但它们的单尺度框架很难捕捉雨纹跨尺度的内在相关性。雨图像中雨条纹的重复样本及其多尺度版本（多尺度金字塔图像）可以携带互补信息（例如，相似外观）来表征目标雨纹。如图所示。1.原始雨图像中的雨条纹（在白色框中突出显示）与不同位置处的雨条纹（在青色、粉红色和深蓝色框中突出显示）以及1/2秒尺度雨图像中的雨条纹（在红色、黄色、橙色和绿色框中突出显示）共享相似的雨图案。因此，雨条纹既来自同一尺度（实线箭头），也跨越不同尺度（虚线箭头）。下采样后的雨图像比例为½跨其他尺度的同尺度8347行）编码用于特征表示的补充或冗余信息，这将有助于在原始图像中去线性化。跨s尺度的图像内容的这种相关性已成功应用于其他计算机视觉任务[10，33]。最近，作者在[8，44]中构建金字塔框架来利用多尺度知识进行去盲。不幸的是，这些开发未能充分利用多尺度雨带的相关性（尽管限制在固定的尺度因子2[10]）。例如，Fuet al.[8]将雨图像按分辨率分解成这种分解策略是许多重复性去杠杆框架的基本思想[19]。与[8]从每个单独的分辨率水平完成脱轨任务不同，Zhenget al.[44]以由粗到细的方式提出了一种针对雨条纹去除的密度特定优化方法，并逐步产生无雨图像[15]。然而，除了最终输出之外，没有跨cased金字塔层的层间特征的直接通信，因此未能全面利用跨不同尺度的雨条纹的相关信息。然而，由于多尺度降水信息的开发和利用有限，这些方法[8，44]仍远不能产生理想的去噪效果为了解决现有工作的这些限制，我们在统一的框架中从输入图像尺度和深度神经网络表示中探索多尺度表示，并提出多尺度渐进融合网络（MSPFN）来利用跨尺度的雨条纹的相关信息具体地说，我们首先生成高斯金字塔雨图像使用高斯核序列降采样的原始雨图像。粗融合模块（CFM）（§3.1）旨在通过递归计算（Conv-LSTM）从这些多尺度雨图像中捕获全局纹理信息，从而使网络能够使用全局特征空间中的类似对应物来合作表示目标雨纹。同时，高分辨率金字塔层的表示由先前的输出以及所有低分辨率金字塔层指导。随后是精细融合模块（FFM）（§3.2），以进一步整合来自不同尺度的这些相关信息。通过使用通道注意机制，网络不仅从所有前面的金字塔层中有区别地学习特定于尺度的知识，而且有效地减少了特征冗余。此外，多个FFM可以级联以形成渐进式多尺度融合。最后，加入重构模块（RM），将CFM和FFM分别提取的粗、细雨信息进行融合，学习得到近似真实雨纹分布的残差雨图像过-所有框架都在图中概述。二、本文的主要贡献如下：• 我们揭示了图像中雨条纹的相关性，并提出了一种新的多尺度渐进融合网络（MSPFN），通过金字塔表示从多个尺度协作表示雨条纹。• 为了更好地表征不同尺度的雨带，设计了粗融合模块（CFM）、细融合模块（FFM）和重建模块（RM），有效地提取和融合多尺度信息。在这些模块中，雨条相似模式的互补信息，无论是在同一尺度内或跨不同尺度（金字塔层），逐步融合，以表征雨条分布的协作/合作的方式。• 除了在传统的定量测量方面实现最先进的脱轨性能（例如，PSNR和SSIM），我们基于COCO [3]和BD-D [38]数据集构建了几个合成雨数据集，用于联合图像去盲、检测和分割任务。据我们所知，我们是第一个应用主流的面向视觉的任务（检测和分割），全面评估deraining性能。2. 相关工作在过去的几年中，已经观察到雨图像恢复的实质性改进[24，18，4，17]在这项工作中，我们主要集中在单图像去噪，因为它是更具挑战性的。2.1. 单个图像导出以前传统的单图像去噪方法[5，14]在复杂的降雨条件下失败，并且由于有限的线性映射变换而产生退化的图像内容。最近，基于深度学习的方法[24，29，39]已经出现用于去除雨痕，并表现出令人印象深刻的恢复性能。例如，Fuet al. [6]介绍了一个三层卷积神经网络（CNN）来估计和从其雨水污染的对应物中去除雨条纹。为了更好地表示雨纹，Zhanget al. [40]考虑到雨密度，并提出了一个多任务CNN，用于联合雨密度估计和去同步。后来，Zhanget al. [41]进一步将定量，视觉和区分性能纳入目标函数，并提出了一种用于去除雨纹的条件生成对抗网络。为了减轻学习困难，递归框架[19，36，26]被设计为以阶段方式去除雨纹。8348RRCCIRainI*RCCIRain1/2scale德兰岛C我1/规模雨4初始层IDerain= I Rain−I*R重建模块卷积再建层粗融合模块余留事项经常股“M” Cascaded Fine-fusionU型剩余注意力阻滞（URAB）逐像素求和C级联短/长跳转连接反卷积图2.多尺度渐进融合网络（MSPFN）。例如，我们将金字塔级别设置为3MSPFN由初始特征提取、粗融合、细融合和雨带重建四部分组成，剩余的雨图像I。我们制作无雨图像IDerain 通过从原始雨图像I中减去I雨. 目标是使我德雷恩尽可能接近雨免费形象我清洁。2.2. 多尺度学习大气中的雨纹无论是在同一尺度内还是在不同尺度上都表现出明显的自相似性，这使得利用雨纹的相关信息成为初始特征卷积ht阿勒特Conv-LSTM跳过连接ht+1y t+1逐像素求和在不同尺度上表现雨痕。 但大多数Ht：Input Gateht：Hidden State in tht+1：隐藏状态in t+1yt+1：输出门现有的去同步方法[16，40]忽略了不同尺度上雨带的潜在相关性。只有少数尝试[8，44]已经利用多尺度知识。Fu等人[8]将恢复任务分解为多个子问题，并采用一组并行子网络来单独估计特定金字塔尺度空间中然而，它没有开发和利用这些金字塔层之间的相关信息。与文献[8]中的平行棱锥框架不同，Zheng等.[44]提出了级联金字塔网络，类似于LapSRN [15]，以迭代地去除雨带。然而，仅使用高层特征来帮助相邻金字塔表示，这导致在深度级联网络中丢失了一些有用的层次和尺度特征。在不同阶段产生的这些特征的重要性已在图像重建任务中得到验证[28，43]。与这些方法不同[8，44]，在这项工作中，我们引入了一种新的框架MSPFN来实现不同尺度雨纹的协同表示因此，我们的预测雨条纹分布是更准确的，通过多尺度的合作表示。3. 该方法图 2 显 示 了 我 们 提 出 的 多 尺 度 渐 进 融 合 网 络（MSPFN）的整体管道，通过挖掘和利用固有的神经网络来进行图像去训练。图3.拟议剩余经常性单位的编审中。不同尺度的雨痕。我们在下面介绍每个构建块和损失函数的细节。3.1. 多尺度粗融合对于给定的雨图像，我们的方法首先使用高斯核来生成高斯金字塔雨图像，以将原始雨图像下采样到不同的尺度，e.G. 1/2和1/4。该网络将金字塔雨图像作为输入，并通过多个并行初始卷积层提取浅层特征（见图中“初始层”的第一块）。2）。粗融合模块（CFM）基于每个尺度的初始特征，通过多个并行的残差递归单元（RRU）对多尺度降雨信息进行深度提取和融合，如图1所示3 .第三章。设计CFM的原因有三个方面：（a）为了利用雨纹在相同尺度下的重复性，我们应用递归计算和残差学习来捕获全局纹理信息，使得合作表示目标雨纹成为可能。更准确地说，我们引入了Conv-LSTM来利用递归记忆在空间维度上对上下文纹理的信息流进行建模，其中上下文纹理相关性被转换为结构化的循环依赖关系，以捕获互补或冗余的降雨信息（例如，图中的实线箭头。1）。(b)多尺度结构提供了一种替代解决方案，可以大大增加接收场，以覆盖更多内容，同时保持8349RRRSigmoid函数逐元素乘积跳过连接3.4.损失函数均方误差（MSE）是训练网络常用的损失[40，34]。然而，它通常会产生模糊和过度平滑的视觉效果，并由于平方惩罚而丢失高频纹理在这项工作中，我们在Charbonnier罚函数[15]的指导下对真实雨纹分布IR进行逐次逼近，该罚函数对小误差的容忍度更高功能图4.我们建议的U形剩余注意力管道块（URAB）。URAB由多个级联的通道关注单元（CAU）组成，通过关注最有用的通道来促进多尺度降雨信息的融合并减少特征冗余。表示为Lcon= .（I−I R）2 + ε2。（一）在等式（1）中，Imax表示预测的剩余降雨量im。年龄 生成预测无雨图像IDerain浅深度(c)高分辨率表示本-通过迭代采样和融合从先前阶段的输出以及所有低分辨率金字塔层中3.2. 多尺度精细融合CFM的输出通过精细融合模块（FFM）从不同的尺度细化相关信息。如图2、FFM享有类似多-通过从被雨水污染的对应物IRain中减去IRain。惩罚系数ε根据经验设定为10−3。为了进一步提高逼真度和真实性，在去除雨条纹的同时，我们提出了额外的边缘损失来约束地面实况IClean和预测的无雨图像IDerain之间的高频分量。边缘损失定义为为方便起见，使用CFM的比例结构。与CFM不同，我们引入了通道注意单元（CAU）来增强L边缘√=（Lap（I清洁 ）−Lap（IDerain））2 + ε2。（二）通过关注信息量最大的尺度特定知识，提高网络的区分学习能力，使合作表示更有效。为了减轻计算负担，我们采用步进卷积来降低特征的空间维数，最后利用反卷积层来提高分辨率，避免分辨率信息的丢失，从而产生U形剩余注意块（URAB）。 如图所示4、URAB由多个CAU组成，并采用短的跳跃连接，有助于多尺度降水信息的精细表达。此外，级联的FFM之间使用长跳跃连接，以实现多尺度雨信息的渐进融合，以及促进梯度的有效向后传播。3.3. 雨带重建为了学习最终的残留雨图像，我们进一步通过重建模块（R-M）分别从CFM和FFM中集成低级别和高级别的多尺度特征，如图所示。二、具体地，来自CFM的输出与来自最后一个FFM的输出级联，然后卷积层用于学习通道相互依赖性并重新缩放来自两个模块的特征值同样，迭代采样和融合不同金字塔层的降雨信息来估计剩余降雨图像。在等式（2）中，Lap（I Clean）和Lap（I Derain）表示分别经由拉普拉斯算子[13]从I Clean和I Derain提取的边缘图。然后，总损失函数由下式给出：L=Lcon+λ×Ledge，（3）其中权重参数λ根据经验被设置为0.05以平衡损失项。4. 实验与讨论我们对几个合成和真实世界的雨图像数据集进行了广泛的实验[7，41，29]，以评估我们提出的MSPFN以及六种最先进的去噪方法的恢复性能这些代表性方法包括DerainNet [6]、RESCAN [19]、DIDMD-N [40]、UMRL [37]、SEMI [31]和PreNet [26]。 那里所有竞争方法都没有统一的训练数据集-在这篇文章中，例如。PreNet参考了JORDER [35]，并使用1254对进行训练。UMRL参考[40]并使用12700张图像进行训练。因此，直接从他们的论文中获取结果是不公平的，也意味着-为此，我们从[41，7]中收集了大约13700个干净/雨图像对，用于训练我们的网络以及其他竞争方法，以便进行公平比较。 特别是这些相互竞争的方法在实验中用它们公开发布的代码重新训练，并遵循它们在统一训练数据集下的原始设F3N64S2CAU······CAUF3N64S2F3N64F3N64间隙F1N64a步幅卷积通道注意单元（CAU）全局平均池化Deco n volutio n Co n volutio nN：Channel sS：StrideF：Fil te rSiz e一8350置。 单独列明8351表1.数据集说明。共有13712干净/雨图像对用于训练。另外还有4300个标记的参考样本以及200个真实世界场景用于测试。数据集训练样本测试样本名称Rain 14000 [7]112002800测试2800Rain 1800 [35]18000雨1800[第41话]700100测试100Rain 100H [35]0100Rain100H[35]第三十五话0100Rain100L[第40话]01200测试1200[第20话]120雨12Real200 [29，31]0200Real200[18]第十八话02495/2348RID/RIS总计数137129343-表2.在Test100数据集上评估我们的基线M-SPFN中的基本组件。得到了在512×384图像上的平均推理时间。模型Model1Model2Model3型号4型号5型号6MSPFNPSNR26.5627.0123.6926.7526.4826.8827.29SSIM0.8610.8640.8310.8630.8620.8650.869FSIM0.9210.9230.9050.9230.9210.9230.925Ave.灌注时间（s）0.1920.2240.1130.2380.1410.1800.308段落（百万）5.5311.302.2911.755.608.4513.22所用数据集的详细描述列于表1中。为了定量评估恢复质量，我们采用常用的评估指标，如峰值信噪比（PSNR），特征相似性（FSIM）[42]和结构相似性（SSIM）[30]。4.1. 实现细节在我们的基线中，金字塔的层次设置为3，即原始比例、1/2比例和1/4比例。在CFM中，每个递归Conv-LSTM的过滤器数量分别设置为32，64和128，对应于逐渐增加的分辨率。 FFM（M）和CAU（N）分别设置为10和3我们用亚当-在一个NVIDIA Titan Xp GPU上进行训练的批量大小为8。学习率初始化为2×10−4，每20000步减少一半，直到1 ×10−6。我们使用上述设置训练网络30个epoch。4.2. 消融研究基本组件验证。 使用我们的基线模型（M= 10，N= 3），我们设计了六个比较模型来分析所提出的基本模型（CFM和FFM）、多尺度金字塔框架和多尺度渐进融合方案对去盲性能的影响。 Test100数据集的定量结果见表2。从结果来看，我们的基线MSPFN表现出极大的优越性，其不完整的版本，包括模型1（单尺度框架，只有原始的输入），模型2（从MSPFN中删除 CFM ） ， 和 Mod-e13 （ 从 MSPFN 中 删 除 所 有FFM），分别超过它们更多-在此基础上，我们应用[8]中的融合策略构建了模型4，以验证所提出的多尺度渐进融合方案的有效性很明显，MSPFN在可接受的复杂度增加的情况下，比模型4获得了0.54dB的显著改善。模型5（M= 5，N= 1）和模型6（M= 6，N= 3）是具有较小深度的MSPFN的简化变体。与单尺度框架（模型1）相比，模型5具有近似相等的参数数量，但与多尺度金字塔框架相比具有更快的与模型1相比，模型16具有相似的计算复杂度，但具有更多的参数。结果表明，Model5实现了相当的性能，而效率提高了四分之一。模型6在保持相似计算复杂度的情况下，比模型1获得了更好的分数0.32dB。我们将这些优势归因于网络的不同金字塔层和阶段之间雨纹的有效合作表示。M和N的参数分析。我们评估了FFM的深度（M）和CAU的数量（N）关于脱轨性能。Based on our baseline (M = 10,N = 3), we construct three comparison mod- els, i.e.MSPFNM17N1、MSPFNM13N2和MSPFNM8N5，同时保持近似相同的参数数量特斯如表3所示，性能随着M的减小而下降。这表明了FFM的重要作用，利用多尺度雨信息在一个渐进的方式。当增加CAU（MSPFNM17N2）的数量时，它产生了轻微的改善（0.13dB），但增加了30%的参数。同时增加了MSPFNM30N1和MSPFNM5N1两种型号进行比较.前者的设计目的是通过更多的FFM来追求更好的去噪性能，以增强多尺度融合，而后者是一个轻量级的模型，具有更小的深度（M= 5，N= 1）和宽度（所有滤波器通道=32）。同时，在MSPFNM5N1的U型残差保持块（URAB）中，采用了两次跨越卷积和反卷积，进一步减轻了计算负担。正如我们所料，MSPFNM30N1在所有指标上都取得了最好的成绩.MSPFNM5N1虽然是一个更轻的网络，但仍然获得了可接受的性能. 考虑到效率和去同步性能之间的权衡，在下面的实验中，我们将M和N分别设置为17和1。4.3. 与最新技术4.3.1合成数据我 们 在 五 个 合 成 数 据 集 上 比 较 了 我 们 的 MSPFN（M=17，N=1）与其他六种性能最好的去盲方法[6，19，40，37，31，26定量结果见表4。可以看出，MSPFN相对于这些最先进的方法实现了显著的改进。例如，MSPFN超过DerainNet [6]和DIDMDN [40]8352表3.评价FFM的深度（M）、CAU的数量（N）以及Test100数据集上的模型参数。MSPFNMaNb表示M=a且N=b的模型。模型MSPFNM30N 1MSPFNM 17N1MSPFNM17N 2MSPFNM13N 2MSPFNM10N 3MSPFNM8N 5MSPFNM5N 1PSNR27.9127.5027.6327.4227.2927.1324.99SSIM0.8790.8760.8770.8740.8690.8670.850SSIM0.9290.9280.9280.9270.9250.9240.916段落（百万）21.8113.3517.2013.6313.2214.561.65雨图像DerainNetDIDMDN重新扫描SEMIUMRLPreNetMSPFN（我们的）地面实况图5.对合成数据集的恢复结果，包括Rain100H、Rain100L、Test100和Test1200。在 Test1200 数 据 集 上 ， PSNR 分 别 提 高 了 9.01dB 和2.74dB。不同降雨条件（不同雨带方向和强度）的目视结果见图。五、MSPFN在所有场景下都表现出令人印象深刻的增强性能，生成的结果具有丰富而可靠的图像纹理，同时消除了主要的雨纹。对于其他比较方法，它们往往会模糊图像内容，或者仍然会留下一些可见的雨条纹。例如，只有我们的MSPFN恢复清晰和可信的图像细节中的4.3.2真实世界数据我们对三个真实世界的数据集进行了额外的比较，包括Real200 [40]，Rain in Driving（RID）和Rain in Surveillance（RIS）数据集[18]，以进一步验证MSPFN的泛化能力。RID和RIS分别覆盖了2495个和2348个样本，这些样本是在雨天从车载摄像机和联网的交通监控摄像机中此外，我们使用另外两个定量指标，自然度图像质量评估器（NIQE）[23]和基于空间-光谱熵的质量（SSEQ）[22]，来定量评估无参考恢复性能。SSEQ和NIQE的得分越小，说明感知质量越好，内容越清晰。结果列于表5中。正如预期的那样，我们提出的MSPFN在200个真实世界样本上具有最好的平均得分，大大优于最先进的去盲方法[19，37，26]。此外，我们在图中显示了四个代表性的脱轨示例。6为视觉比较。在最后一幅图像中，在其他方法的结果中观察到明显的雨条纹，但我们的8353表4.比较几个广泛使用的降雨数据集的平均PSNR，SSIM和FSIM结果，包括Rain100H，Rain100L，Test100，Test2800和Test1200。MSPFNw/oEloss表示我们的模型在损失函数中没有边缘约束。方法测试100PSNR/SSIM/FSIMRain100HPSNR/SSIM/FSIMRain100LPSNR/SSIM/FSIM测试2800PSNR/SSIM/FSIM测试1200PSNR/SSIM/FSIM平均PSNR/SSIM/FSIMDerainNet [6]22.77/0.810/0.88414.92/0.592/0.75527.03/0.884/0.90424.31/0.861/0.93023.38/0.835/0.92422.48/0.796/0.879RESCAN [19]25.00/0.835/0.90926.36/0.786/0.86429.80/0.881/0.91931.29/0.904/0.95230.51/0.882/0.94428.59/0.857/0.917[40]第四十话22.56/0.818/0.89917.35/0.524/0.72625.23/0.741/0.86128.13/0.867/0.94329.65/0.901/0.95024.58/0.770/0.876UMRL [37]24.41/0.829/0.91026.01/0.832/0.87629.18/0.923/0.94029.97/0.905/0.95530.55/0.910/0.95528.02/0.880/0.927SEMI [31]22.35/0.788/0.88716.56/0.486/0.69225.03/0.842/0.89324.43/0.782/0.89726.05/0.822/0.91722.88/0.744/0.857PreNet [26]24.81/0.851/0.91626.77/0.858/0.89032.44/0.950/0.95631.75/0.916/0.95631.36/0.911/0.95529.42/0.897/0.934MSPFNw/oEloss（我们的）26.93/0.865/0.92428.33/0.842/0.88332.18/0.928/0.93932.70/0.928/0.96432.22/0.914/0.95830.51/0.895/0.934MSPFN（我们的）27.50/0.876/0.92828.66/0.860/0.89032.40/0.933/0.94332.82/0.930/0.96632.39/0.916/0.96030.75/0.903/0.937雨图像重新扫描UMRLPreNetMSPFN（我们的）图6.使用RESCAN [19]，UMRL [37]和PreNet [26]的四个真实场景的比较结果MSPFN在有效去除主雨纹的同时，能较好地保留图像细节，具有更高的真实感和可信度表 5. 真 实 世 界 数 据 集 （ Real 200 、 RID 和 RIS ） 上 平 均NIQE/SSEQ的比较结果较小的分数表示较好的感知质量。方法RESCAN [19]UMRL [37]PreNet [26]MSPFN（我们的）Real2004.724/30.474.675/29.384.620/29.514.459/29.26摆脱6.641/40.626.757/41.047.007/43.046.518/40.47RIS6.485/50.895.615/43.456.722/48.226.135/43.474.3.3其他应用复杂天气条件下的图像去噪可以被认为是一种有效的图像内容增强。它可以潜在地被纳入其他高级视觉系统的应用，如对象检测和分割。这促使我们研究基于一些流行算法的恢复性能对目标检测和分割准确性的影 响 ， 例 如 。 YOLOv3 [25] ， Mask R-CNN [12] 和RefineNet [21]。为此，我们随机抽取了850个样本，表6. COCO 350、BDD 350和BDD 150数据集上联合图像去重、对象检测和语义分割的比较结果。MSPFN表示与MSPFN相比具有更轻深度和宽度的轻量级模型。方法降雨输入RESCAN [19]PreNet [26]MSPFN（Ours）MSPFN（我们的）Deraining;数据集：COCO 350/BDD 350;图像大小：640×480/1280×720PSNR14.79/14.1317.04/16.7117.53/16.9017.74/17.3818.23/17.85SSIM0.648/0.4700.745/0.6460.765/0.6520.773/0.6780.782/0.761平均注射时间（s）-/-0.55/1.530.22/0.760.08/0.230.58/1.24目标检测;算法：YOLOv 3 [25];数据集：COCO 350/BDD 350;阈值：0.6精密度（%）23.03/36.8628.74/40.3331.31/38.6630.99/39.9132.56/41.04召回率（%）29.60/42.8035.61/47.7937.92/48.5937.99/49.7439.31/50.40IoU（%）55.50/59.8559.81/61.9860.75/61.0861.06/61.9061.69/62.42Deraining;数据集：BDD 150;图像大小：1280 ×720PSNR18.0020.9621.5221.7322.48SSIM0.7220.8590.8860.8870.904平均注射时间（s）–1.530.760.231.24语义分割;算法：RefineNet [21];数据集：BDD 150mPA（%）mIoU（%）33.2920.4945.3431.5250.2833.4250.2533.7452.9635.90COCO [3]和BDD [38]数据集，通过Pho- toshop创建三个新的合成雨数据集COCO 350（用于检测）、BDD350（用于检测）和BDD 150（用于分割）。这些雨图像具有不同的条纹方向和大小，同时具有复杂的8354RESCAN PreNet MSPFN*（Ours）MSPFN（Ours）地面实况图7.联合去噪、目标检测和分割的示例第一行表示Mask R-CNN [12]在BDD 150数据集上的实例分割结果第二行和第三行是RefineNet [21]在BDD 150数据集上进行语义分割的比较结果。我们使用YOLOv3 [25]在COCO350数据集上进行对象检测，结果显示在最后两行中。MSPFN表示与MSPFN相比具有更轻深度和宽度的轻量级模型。成像条件，如夜景。通过使用我们提出的去盲算法MSPFN以及其他性能最好的去盲方法[19，26]，直接在这三个数据集上实施恢复然后，我们应用公开的YOLOv 3（用于检测），Mask R-CNN（例如分割）和RefineNet（用于语义分割）的预训练模型来执行下游任务。定性结果，包括去噪性能以及后续检测和分割任务的精度，列于表6中。此外，目视比较见图11。7 .第一次会议。可见，雨条纹的存在会大大降低图像的检测精度和分割精度，尤其是夜间的雨条纹。通过丢失目标和产生低检测或分割置信度（平均像素精度（mPA）和平均联合交叉（mIoU））。此外，所产生的无雨图像的检测精度由MSPFN显示了一个显着的改善，比原来的雨输入的近10%，MSPFN达到最好的结果为52。96%的mPA以及35。BDD 150上的语义分割任务的mIoU为90%与其他性能最好的去噪模型相比，MSPFN生成的无雨图像具有更可信的内容和更多的细节，有效地提高了检测和分割性能。 此外，我们还评估-我们的轻量级去重模型MSPFN 具有更轻的深度（M=5，N=1）和宽度（所有过滤通道为32），因为计算效率对于移动设备至关重要。设备和应用程序需要实时吞吐量，as autonomous自动driving驾驶.与其他模型[19，26]相比，MSPFN推理机仍然具有竞争力的性能，同时在推理时间方面效率5. 结论本文提出了一种基于金字塔框架的多尺度为了实现这一目标，我们设计了几个基本模块（CFM，FFM和RM），以及我们提出的多尺度渐进融合机制，以探索多尺度雨条纹中相似雨型的内在相关性因此，我们预测的雨条纹分布可能是更正确的，由于雨条纹在不同尺度上的合作表示。实验结果在几个合成deraining数据集和现实世界的情况下，以及几个下游视觉任务（即。目标检测和分割）已经显示出我们提出的MSPFN算法比其他性能最好的方法具有很大的优越性6. 确认本工作得到国家重点研发项目（2016YFE0202300）和 国 家 自 然 科 学 基 金 （ U1903214 ， 61671332 ，U1736206，41771452、41771454、61971165）和湖北省技术创新重大项目（2019AAA049、2018CFA024）。8355引用[1] Peter C Barnum、Srinivasa Narasimhan和Takeo Kanade。雨雪天气的频率空间分析。国际计算机视觉杂志，86（2-3）：256，2010。[2] 我是博苏，尼古拉斯·豪我是，让-菲利普·塔雷尔。通过使用条纹方向直方图的图像序列中的雨或雪检测。International Journal of Computer Vision，93（3）：348[3] Holger Caesar Jasper Uijlings 和 Vittorio Ferrari Coco-stuff：上下文中的东西类在IEEE CVPR会议上，第1209-1218页[4] Jie Chen，Cheen-Hau Tan，Junhui Hou，Lap-Pui Chau，and He Li. cnn框架中用于雨去除的在IEEE CVPR会议上，第6286-6295页[5] 陈怡蕾，徐秋婷。时空相关雨条纹的广义低秩出现模式 。 IEEEInternational Conference on ICCV ， 第 1968-1975页[6] Xueyang Fu ， Jiabin Huang ， Xinghao Ding ， YinghaoLiao，and John Paisley.清除天空：一种用于单图像雨消除的深层网络架构。IEEE传输图像处理。，26（6）：2944[7] Xueyang Fu，Jiabin Huang，Delu Zeng，Yue Huang，Xinghao Ding，and John Paisley.通过深度细节网络从单个图像中去除雨水。在IEEE CVPR会议上，第3855-3863页[8] Xueyang Fu ， Borong Liang ， Yue Huang ， XinghaoDing，and John Paisley.轻量级金字塔网络的图像去雨。IEEE Transactions on Neural Networks and LearningSystems，2019。[9] Kshitiz Garg和Shree K Nayar。相机什么时候能看到雨？在IEEE International Conference on ICCV，第2卷，第1067-1074页[10] Daniel Glasner、Shai Bagon和Michal Irani。从一个单一的图像超分辨率。在IEEE关于ICCV的国际会议上，第349-356页[11] Rana Hanocka、Amir Hertz、Noa Fish、Raja Giryes、Shachar Fleishman和Daniel Cohen-Or。Meshcnn：一个有 边 缘 的 网 络 。 ACM Transactions on Graphics（TOG），38（4）：90，2019。[12] 何凯明、乔治亚·吉克萨里、彼得·多勒和罗斯·吉尔希克。面具R-CNN。在IEEE ICCV国际会议上，2017年10月。[13] 贝赫扎德·卡姆加尔·帕西和阿兹丽尔·罗森菲尔德最优迷向拉普拉斯算子。IEEE传输图像处理。，8（10）：1467[14] 康立伟，林嘉文，傅玉祥。自动单图像为基础的雨条纹消除通过图像decomposition。IEEE传输图像处理。，21（4）：1742-1755，2011.[15] 赖伟胜，黄家斌，纳伦德拉·阿胡贾，杨明轩。深拉普拉斯金字塔网络实现快速和精确的超分辨率。在IEEECVPR会议上，第624-632页[16] Ruoteng Li，Loong-Fah Cheong，and Robby T Tan.基于尺度感 知多级递归网 络的单图像 去噪arXiv预印本arXiv：1712.06830，2017年。[17] Ruoteng Li，Loong-Fah Cheong，and Robby T Tan.暴雨图像复原：整合物理模型与对抗式学习。在IEEE CVPR上，第1633-1642页[18] Siyuan Li，Iago Breno Araujo，Wenqi Ren，ZhangyangWang，Eric K Tokuda，Roberto Hirata Junior，RobertoCesar- Junior，Jiawan Zhang，Xiaojie Guo，and XiaoxunCao.单个图像去重：全面的基准分析。在IEEE CVPR会议上，第3838-3847页[19] Xia Li，Jianlong Wu，Zhouchen Lin，Hong Liu，andHongbin Zha.循环压缩激励上下文聚合网络用于单图像去噪。在欧洲ECCV会议上，第254-269页[20] Yu Li，Robby T Tan，Xiaojie Guo，Jiangbo Lu，andMichael S Brown.使用层先验去除雨痕。在IEEE CVPR会议上，第2736-2744页[21] Guosheng Lin，Anton Milan，Chunhua Shen，and Ian Rei-D. Refinenet：用于高分辨率语义分割的多路径细化网络。在IEEE CVPR会议上，第1925-1934页[22] Lixiong Liu ，Bao Liu ，Hua Huang，and Alan ConradBovik.基于空间和光谱熵的无参考图像质量评价。信号处理：Image Communication，29（8 ）：856 -863，2014.[23] A.米塔尔河Soundararajan和A. C.波维克制作“全盲”图像质量分析仪。IEEE信号处理。Lett，20（3）：209 -212，2013.[24] Rui Qian，Robby T Tan，