没有合适的资源?快使用搜索试试~ 我知道了~
模型驱动的深度神经网络用于去除雨水
3103一种模型驱动的深度神经网络用于单图像雨水去除王宏1,谢琦1,赵谦1,孟德宇2,1,†西安交通大学1名;2澳门科技大学{hongwang01,xq. liwu}@ stu.xjtu.edu.cntimmy. gmail.comdymeng@mail.xjtu.edu.cn摘要深度学习(DL)方法在单图像雨水去除任务中已经达到了然而,目前的大部分数字图像结构仍然缺乏足够的可解释性,并且没有完全与一般雨纹内部的物理结构相结合针对这个问题,在本文中,我们提出了一个模型驱动的深度神经网络,具有完全可解释的网络结构。具体而言,基于卷积字典学习机制表示雨,我们提出了一种新的单图像去盲模型,并利用近似梯度下降技术设计了一个迭代算法- m只包含简单的运营商求解模型。这样一个简单的实现方案便于我们将其展开为一个新的深度网络架构,称为雨卷积字典网络(RCDNet),几乎每个网络模块一一对应于算法中涉及的每个操作。通过端到端的训练,所有的雨核和邻近运算符可以自动提取,忠实地表征雨和干净的背景层的特征,从而自然导致其更好的去盲性能,特别是在真实场景中。综合实验结果表明,该网络在视觉上和定量上均优于现有网络,尤其是对各种测试场景具有良好的通用性,且各模块具有良好的可解释性。1. 介绍在各种降雨条件下拍摄的图像通常会受到不利的能见度影响,并且总是严重影响户外计算机视觉任务的性能,例如目标跟踪[5],视频监控[37]和行人检测[31]。因此,从雨天图像中去除雨条纹是一项重要的预处理任务,近年来引起了许多研究关注[39,26]。在过去的几年里,已经提出了各种方法来处理单图像的雨水去除任务。许多研究人员†通讯作者*同等贡献((图1. (a)雨卷积字典(RCD)模型的雨层。(b)建立了优化模型和相应的迭代求解算法。(c)所提出的RCDNet的直观图示一一对应于算法(b)。着重探讨雨层的物理性质,(3104背景层,并引入了各种先验结构来规范和分离它们。沿着这条研究路线,代表性的方法包括高斯混合模型(GMM)[28],判别稀疏编码(DSC)[51]以及联合卷积分析和合成稀疏表示(JCAS)[13]。特别是,受雨条纹重复出现在具有类似局部模式(如形状,厚度和方向)的下雨图像上的不同位置的事实的启发,最近研究人员通过卷积字典学习模型表示了这种雨层配置[15,16]。这种表示精细地提供了这种先验知识,通过在稀疏雨图上施加雨核(传达重复的局部模式),如图中直观地描绘的。第1(a)段。因此,当背景也可 以 很 好 地 表 示 时 , 这 些 方 法 实 现 了 最 先 进 的(SOTA)性能,例如,低秩先验在监控视频序列中的应用[25]。虽然在某些应用中是有效的,但这些技术的合理性取决于对待恢复的未知背景和雨层施加的主观先验知识。然而,在实际场景中,这种学习机制并不总是能够适应从不同资源收集的具有复杂、多样和变体结构此外,这些方法通常需要耗时的迭代计算,在实际应用中经常存在在深度学习(DL)在低水平视觉中取得重大成功的推动下,近年来也见证了深度卷积神经网络(C-NN)在单图像雨去除方面的快速发展[8,52,53,40]。现有的基于DL的背景层提取算法主要集中在设计网络模块,然后根据丰富的雨天/干净图像对训练网络参数典型的去重网络结构包括深度细节网络(DDN)[9]、循环挤压和激励上下文聚合模块(RESCAN)[27]、渐进式 图 像 去 重 网 络 ( PReNet ) [35] 、 空 间 注 意 单 元(SPAN et)[41]等。然而,这些DL策略也具有明显的缺陷。最重要的一点是它们的弱可解释性。网络结构总是复杂多样的,这使得很难分析模块的作用和理解其机制的潜在见解。此外,大多数研究都将CNN看作是一个封闭的端到端映射模块,没有深入研究其合理性,也忽略了雨带的稀疏性和非局部相似性等内在先验知识。这使得这种方法很容易陷入过拟合到训练样本的问题。为了缓解上述问题,本文设计了一个可解释的深度网络,它充分考虑了雨带的特性,并试图结合传统模型驱动基于先验和当前数据驱动的基于DL的方法。具体而言,我们的贡献主要有三方面:首先,我们利用卷积字典学习机制对雨的形状进行编码,提出了一种简洁的单图像雨卷积字典(RCD)模型,并采用近似梯度技术[2]设计了求解该模型的优化算法。与包含复杂运算的RCD模型的传统求解器不同(例如,傅立叶变换),该算法只包含简单的计算(见图。1(b))易于由通用网络模块实现。这使得我们的算法能够轻松地展开到深度网络架构中。其次,通过对算法的展开,我们设计了一种新的深度网络结构RCD-Net.这种网络的特殊性在于它的模块与算法算子之间的精确的逐步对应关系,从而连续地具有其所有模块的可解释性作为算法中所有步骤的可解释性具体地说,如图如图1(b)和(c)所示,该算法的每一步都包含两个子步骤,分别更新雨图(由学习的雨核卷积)和背景层,RCDNet的每一级也包含两个子网络(M-net和B-net)。因此,网络中中间层的每个输出都有清晰的解释,这极大地促进了对训练期间网络内部发生的事情的更深入分析,以及对网络工作或不工作的原因的全面理解(如第二节中的分析)。5.2)。第三,综合实验结果证实了RCDNet优于SOTA传统的基于先验和当前基于DL的方法,无论是定量和可视化。特别是,由于其良好的可解释性,一般用户不仅可以通过可视化网络各层的改进过程(如逐渐校正的背景和雨图)直观地了解网络的内在合理性和洞察力,而且网络可以产生普遍有用的雨核,用于表达雨形和邻近操作。用于提供背景的先验知识和雨图的雨图像,促进他们的普遍适用性,能力更真实世界的雨图像。本文的结构如下。秒2.审查有关的雨水清除工作。秒 3.提出了RCD降雨模型及其求解算法。然后Sec。4介绍了深度网络的展开算法。第五节给出了实验结果,并对本文进行了总结.2. 相关工作在本节中,我们简要回顾了与图像雨水去除相关的最根据输入数据的不同,现有的算法可以分为两类3105组:基于视频和基于单个图像的组。2.1. 视频去重方法Garg和Nayar [10]首先尝试分析雨滴在成像系统上的视觉效果,并利用时空相关模型来捕获雨滴的动态,并利用基于物理的运动模糊模型来说明雨的光度学。为了更好的视觉质量,他们进一步提出增加曝光时间或减少相机的景深[12,11]。后来,考虑了雨的时间和色彩特性,然后通过利用不同的策略(如K-means聚类[55],卡尔曼滤波器[33]和GMM [3])从雨天视频中提取背景层。此外,文献[1]提出了一种基于时空频率的雨滴检测近年来,研究人员在这项任务中引入了更多雨天视频的内在特征,例如,雨条的相似性和重复性[4],多帧间的低秩性[20],雨条的稀疏性和平滑性-s [18]。为了处理大雨和动态场景,在[36]中提出了一种基于MA分解的视频去盲算法。之后,雨条纹被编码为基于补丁的GMM,以适应更广泛的降雨变化[45]。探索了下雨视频中雨条纹的更多特征,包括重复的局部模式和多尺度配置,并将其描述为多尺度卷积稀疏编码模型[25]。最近,有一些基于DL的方法提出了这项任务。Chen等人。 [19]提出了一种CNN架构,并利用超像素来处理具有不透明条纹遮挡的暴雨。 为了进一步提高视觉质量,Liu et al. [30]设计了一个联合循环雨去除和重建网络,该网络集成了雨退化分类、雨去除和背景细节重建。为了处理动态视频上下文,他们进一步开发了动态路由残差递归网络[29]。虽然这些方法对视频效果很好,但由于缺乏时间知识,它们不能直接在单个图像的情况下执行。2.2. 单图像去噪方法与一系列图像下的视频去噪任务相比,从单个图像中去除雨水更具挑战性。早期的尝试利用模型驱动的策略,将单个雨天图像分解为低频部分(LFP)和高频部分(HFP),然后基于各种处理(如引导滤波器[6,21]和非局部均值滤波[23])从HFP中专门提取雨水层后来,研究人员更加专注于探索下雨图像的雨和无雨层的先验知识,并设计适当的正则化器来提取和分离它们[22,38,51,28,42,56]。例如,在一个示例中,[13]考虑到无雨和有雨的特殊稀疏性,部分,并分别表示为联合分析和综合稀疏表示模型[15]使用类似的方式在图像上提供雨条纹的局部重复图案尽管这些基于先验的方法在某些场景下取得了良好的性能,但这些方法依赖于主观的先验假设,而对于从不同资源收集的实际雨图像中的实际复杂和高度多样化的雨形状,通常不能很好地工作。最近,通过构建不同的网络模块,提出了许多基于DL的单图像雨条纹去除方法[8,9,27,52,53]。 为了处理暴雨,Yang等人。 [49]开发了一种用于单个图像的多级联合雨检测和估计网络(JORDER E)。最近,Ren等人 [35]设计了一个PReNet,它反复展开几个Resblock和一个LSTM层。Wang等人 [41]提出了一种基于注意单元的SPAN,用于以局部到全局的方式去除雨水。这些方法通过使用大量的雨/净图像对训练深度模型,获得了良好的视觉质量和SOTA定量度量的确定结果。然而,这些方法大多只是利用现有深度学习工具包中的网络模块和一些现成的组件,以端到端的方式直接学习背景层,而在很大程度上忽略了雨纹内部固有的先验这使得它们在其网络架构中缺乏明显的可解释性,并且仍有进一步增强性能的空间。目前,有一种新型的单图像去噪器,试图结合先验和DL方法。例如,Mu等人。 [32]利用CNN隐式学习背景和雨条纹的先验知识,并将其公式化为传统的双层优化迭代。Wei等人。 [44]提供了一种半监督雨水去除方法(SIRR),该方法将雨水层先验描述为一般的GM, M和联合训练的骨干DDN。虽然取得了初步的成功,但他们仍然使用CNN架构作为其主要模块来构建网络,因此仍然缺乏足够的可解释性。3. 单图像去噪3.1. 模型配方对于观测到的彩色雨图像,记为O ∈RH×W×3,其中H和W是图像,它可以合理地分离为:O=B+R,(1)其中B和R分别表示图像的背景层和雨层然后,大多数基于DL的去盲方法的目的是估计从O到B(或R)的映射函数(由深度网络表示)3106ΣnnN¨¨¨Cn∈Rk×k ×3是Ccs的张量形式,卷积n¨O−B−n=1Cn<$Mn¨其中,hB(s−1)=¨<$M(s)+B(s−1)− O,以及R=ππn,c=1,2,3,(2).nn,c我们没有尝试性地构建复杂的深度网络架构,而是首先在传统的基于先验的方法下通过利用先验知识来表示雨纹[13,15,25]来考虑这个问题。具体地说,如图1(a),通过采用RCD机制,雨层可以模拟为:NcC cMnn=1其中Rc 表示cth color channel ofR, 和{Cc}Rk×k是一组雨核,它描述了解决问题(4)的关键是建立一个算法- M,它只包含简单的计算,易于转换为网络模块。传统的基于RCD模型的求解器通常包含某些复杂的操作,例如,傅立叶变换和傅立叶逆变换[16,46,25],它们很难完成从算法到网络结构的精确变换。因此,我们倾向于建立一个新的算法来解决用近似梯度法交替更新M和B的方法解决问题[2]。在这种情况下,只有简单的COM-可能会涉及到推测。具体情况如下:更新M:降雨图M可以通过求解更新。将问题(4)的二次近似[2]设为:雨带的重复性局部模式,以及{Mn}n。.Σ¨RH×W表示相应的雨图表示-min1?M−M(s−1)−ηf M(s−1)2+αηg(M),¨搜索局部模式反复出现的位置。M21¨1 1F(五)N是核的数量,并且n是2维的(2D)卷积运算 为了简洁,我们重写N其中M(s-1)是最后一个迭代的更新结果其中,η1是步长参数,并且f. M(s−1)=(2)R=n=1Cn<$Mn,其中n(s−1)N(s−1)F在Cn和矩阵Mn之间执行一个通道,一般正则化项[7],方程的解。(5)是:一个频道。然后,我们可以将模型(1)重写为:NM(s)=近端αη1.M(s−1)−η1<$f。M(s−1)(六)O= B +<$C n<$Mn。(三)此外,通过替代.Σn=1.ΣΣN应该注意的是,雨核实际上可以是M(s−1)=CTn=1Cn<$M(s−1)+B(s−1)−O、(7)查看了一组卷积字典[16],用于表示雨条纹下的重复和相似的局部模式,少量的雨核可以精细地表示雨的形状发送范围广泛1. 它们是常识--其中C ∈Rk×k ×N ×3是由Cns堆叠的四维张量,并且表示转置卷积2,我们可以得到M的更新公式为3:(s)表示所有雨M=的不同雨类型的边缘。图像,并因此可以从一个丰富的训练神经网络学习ΣΣ(八)数据凭借端到端的强大学习能力prox αη1 M(s−1)−η1CTn=1Cn<$M(s−1)+B(s−1)−O,深度学习的结束训练方式(更多详情请参见秒4).与雨核不同,雨图必须随输入的雨图像而变化,因为雨条纹的位置是完全随机的。因此,要从测试输入的雨天图像中预测出干净的图像,关键问题是输出Mns和B从O与雨核Cns固定,相应的优化问题是:其中,proxαn1( ·)是依赖于关于M的正则化项g1(·)的邻近算子。而不是在模型中选择一个固定的正则化器,可以从训练数据中自动学习邻近算子。更多细节将在下一节中介绍。更新B:类似地,问题(4)关于B的二次近似为:¨Σ¨1英寸。(s−1).(s-1)长度2最小O−B−M、 Bn=1CnMn+αg1(M)+βg2(B), ( 四)最小 B− BB2.−η2hBΣΣn+βη2g2(B)。(九)Fn其中M∈RH×W×N是Mns的张量形式。α和β是权衡参数。g1(·)和g2(·)表示re gulariz-很容易推断出B的最终更新规则是3:B(s)=分别传递Mn和B的先前结构。..ΣΣΣN(十22.对应于FNn=1 C3107)3.2. 优化算法prox βη2 (1−η2)B(s−1)+η2O−n=1Cn M(s).既然我们想建立一个可能完美的逐步-2F或一个n阶张量A∈RH×W×3,我们可以计算出步骤对应深度展开网络架构,CTA由3c=1 C{:,:,n,c}表示A{:,:,c}。[1]对于所有实验,我们简单地设置N= 32[3]在η1和η2足够小的情况下,可以推导出方程: (8)和Eq。(10)都可以导致目标函数(4)的约化[2]。3108MBmbs=11 2^(残余(图2. (a)建议的网络具有S阶段。该网络以下雨的图像O作为输入,并输出学习的雨核C,雨图M和干净的背景图像B。(b)第s阶段的网络结构说明每个阶段由M网和B网组成,分别完成雨图M和背景层B这些图像最好在屏幕上放大。其中proxβn2(·)是与关于B的正则化项g2(·)相关的邻近算子。基于这种迭代算法,我们可以构造刚果民盟网络第S阶段的程序<$R^(s)=O−B(s−1),中国(S)(s−1)我们深入展开的网络如下。R=n=1Cn. Mn,M-net:ΔE(s)=η1C ΔTR(s)−R^(s)、.Σ(十一)4. Rain卷积字典网络灵感来自最近提出的深度展开技术M(s)=proxNet(s)θm中文(简体)M(s−1)− E(s),(s)在各种任务中,例如解卷积[54],压缩R=n=1Cn⊗Mn 、感测[50]和去雾[48],我们通过将上述算法的每个迭代步骤展开为相应的,B网:B^(s)=O− R(s),.B(s)=proxNet(s)θbΣ(1−η2)B(s−1)+η2B^(s) 、(十二)响应网络模块。 我们特别注重使其中,ResNetθ(s)(·)和ResNetθ(s)(·)是两个ResNetMb所有网络模块一一对应于算法,由多个Resblock组成,参数为θ(s),rithm实现操作符,以获得更好的可解释性。如图2(a)中,所提出的网络由S个阶段组成,对应于求解(4)的算法的S次每个阶段通过M-net和B-net实现M和B的顺序更新。如图所示2(b),精确地对应于算法的每次迭代,在网络的每一级,M-net将观察到的雨天图像O和先前的输出B(s-1)和M(s-1)作为输入,并输出更新的M(s),然后B-net取θ(s)在第s阶段。然后,我们可以设计网络架构,如图所示。2、通过逐步变换(11)和(12)中的算子。所有涉及的参数都可以以端到端的方式从训练数据中自动学习,包括{θ(s),θ(s)}S,雨核C,η和η。应当指出的是,两个子网是非常容易理解的。如图2(b)所示,M网O和M(s)作为输入,并输出更新的B(s).完成对以下的残差信息E(s)的提取:(s)雨图具体地,R1是用以下公式估计的雨层:4.1. 网络设计背景B(s−1)R(s)是雨打湿的,这里展开算法的关键问题是如何表示(8)和(9)中涉及的两个邻近算子。而其他操作可以在正常网络中利用通常使用的运营商自然地执行[34]。在这项工作中,我们简单地选择一个ResNet [14]来构建两个近似运算符,就像许多其他工作一样[47,48]。然后,我们可以将M的更新规则分解为:通过生成模型(2)实现,M(s−1)。然后,M网计算这两种方法得到的两个雨层之间的残差信息,并利用雨核的转置卷积提取雨图的残差信息E(s),更新雨图。然后,B网络恢复用当前雨核和雨图M(s)估计的背景B(s),并融合将(8)和B作为(10)分解为子步骤,并实现如下估计的B^(s)与先前估计的B(s-1)通过3109SS^加权参数η2和(1-η2)以得到更新的背景B(s)。 这里,我们将M(0)设置为0,并通过O4上的卷积运算符初始化B(0)。表1.级数S对RCDNet性能的影响阶段号S=0S=2S=5S=8S=11S=14S=17S=20PSNR35.9338.4639.3539.6039.8139.9040.0039.91SSIM0.9689 0.9813 0.9842 0.9850 0.9855 0.9858 0.9860 0.9858备注:来自Fig. 2,BSNet(s)的输入张量(·)θb具有与待估计B相同的大小H×W×3。实际上,这对于学习B是没有益处的,因为大多数先前的更新信息将由于以下原因而被压缩:几个频道。为了更好地保持和提供图像特征,我们只需在实验中扩展第三模式下的输入张量以获得更多通道(请参阅补充文件中的更多内容)。4.2. 网络训练训练损失。为了简单起见,我们采用每个阶段的学习背景和降雨层的均方误差(MSE)[21]作为训练目标函数:阶段126.54 /0.834726.52 /0.8302级627.69 /0.844627.36 /0.843825.85 /0.8203级1130.92 /0.885131.38 /0.9158/级1635.78 /0.955335.37 /0.970825.84 /0.8165级1738.79 /0.984438.71 /0.9838Σ¨ ¨2Σ ¨¨2FF图3. 将接收背景B(s)、B(s)可视化为L= s=0 λs<$B(s)−B <$+s=1 γs<$O−B−R(s)<$、(十三)在Eq. (12),以及不同阶段的雨层R(s)。阶段数S为17。PSNR/SSIM供参考。的图像最好在屏幕上放大。其中B(s)和R(s)分别表示推导结果并且在第s阶段(s=0,1,···,S)提取如(12)中所表示的雨层λs和γs是折衷参数5。实施细节。 我们实施基于网络的NVIDIA GeForce GTX 1080Ti GPU我们采用Adam 优 化 器 [24] , 批 量 大 小 为 16 , 补 丁 大 小 为64×64。初始学习率为1×10−3,每25个epoch除以5。总epoch为100。5. 实验结果我们首先进行烧蚀研究和模型可视化,以验证所提出的网络的底层机制,然后在合成的基准数据集和真实数据集上进行实验,以评估性能。5.1. 消融研究数据集和性能指标。在本节中,我们使用Rain100L进行所有消融研究。合成数据集由200个用于训练的雨天/干净图像对和100个用于测试的图像对组成[49]。采用两个性能指标,包括峰值信噪比(PSNR)[17]和结构相似性(SSIM)[43]。请注意,由于人类视觉系统对YCbCr空间中彩色图像的Y通道敏感,因此我们基于此亮度通道计算PSNR和表1报告了级数S对我们的网络性能的影响这里,S=0意味着初始化B(0)被直接重新分级为恢复结果。4更多的网络设计细节在补充文件中描述。5在所有实验中,我们简单地设置λS=γS= 1,使最后一级的输出起主导作用,其他参数设为0.1,以帮助在每一级找到正确的参数更多参数设置在补充资料中讨论。图4. 在最后一级s = 17,提取的雨层,雨核Cn,和雨地图Mn的输入O在图。3 .第三章。左下角是从Rain100L学习到的rain内核C。 这些图像最好在屏幕上放大。以S=0为基线,可以看出,只有2个阶段,我们的方法实现了显着的雨水去除性能,这验证了所提出的M-net和B-net的重要作用我们还观察到,当S=20时,其去同步性能略低于S=17,因为较大的S将使梯度传播更加困难。基于这样的观察,我们在所有的实验中很容易地将S设置为17更多的消融结果和讨论在补充材料中列出。5.2. 模型验证然后,我们展示了如何解释这个RCDNet方便了一个简单的分析工作机制在侧的网络模块。图3呈现了提取的背景层B(s)(第一行)、表示M-网在帮助恢复干净背景中的作用的B(s)(第二行)以及在不同阶段的雨层R(s)(第三随着s的增加,R(s)覆盖更多的雨条,减少图像细节,B^(s)和B(s)也逐渐改善。这些应该3110输入/地面实况27.37 /0.8154DSC29.34 /0.8479GMM32.38 /0.9306JCAS31.45 /0.9151Clear31.59 /0.9380DDN37.31 /0.9704RESCAN41.26 /0.9887PReNet37.27 /0.9793斯潘et35.67 /0.9700JORDER_E41.11 /0.9894SIRR36.99 /0.9692RCDNet42.15 /0.9912图5.第一列:输入雨天图像(上)和地面实况(下). 第2-12 栏:11种竞争方法的测定结果(上)和降水层提取(下).PSNR/SSIM供参考。粗体表示第一名.这主要归功于RCD对雨带的事前正确引导以及M-net和B-net的相互促进,使RCDNet向正确的方向演进。图4给出了学习的雨核和雨图对于图3中的输入O。显然,RCDNet精确地提取了基于RCD模型的适当雨层,El.这不仅验证了本文方法的合理性,也体现了本文方案的独特性。一方面,我们利用M-网来学习稀疏雨图,而不是直接学习雨条纹,使学习过程更容易。另一方面,我们利用训练数据来自动学习表示具有不同形状的雨的一般重复局部模式的雨核。这有助于他们的一般可用性,以更真实的世界下雨的图像。表2.四个基准数据集的PSNR和SSIM比较S.粗体和粗斜体分别表示排名前一和第二数据集Rain100LRain100H中国人1400雨12度量PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM输入26.90 0.8384 13.56 0.3709 25.24 0.80970.8555DSC[51]27.34 0.8494 13.77 0.3199 27.88 0.83940.8664GMM[28]0.871715.23 0.4498 27.78 0.8585 32.14 0.9145JCAS[13]0.852414.62 0.4510 26.20 0.8471 33.10 0.9305透明[8]30.24 0.9344 15.33 0.74210.895131.24 0.9353DDN[9]32.38 0.9258 22.85 0.7250 28.45 0.88880.9330RESCAN[27]0.981229.62 0.8720 32.03 0.93140.9519PReNet[35]0.979030.110.9053 32.55 0.94590.9610Spanet[41]35.33 0.9694 25.11 0.8332 29.85 0.91480.9572[49]第四十九话0.98340.89670.93470.9621SIRR[44]0.925822.47 0.7164 28.44 0.8893 34.02 0.9347RCDNet40.00 0.9860 31.28 0.90930.947237.71 0.96495.3. 合成数据比较方法和数据集。然后,我们将我们的网络与当前的SOTA单图像derain进行比较,[28][29][35 ]第35话:[36],[37],[38],[39],[3R [44]6基于四个基准数据集,包括Rain100L,Rain100H[49],Rain1400 [9]和Rain12 [28]。图5说明了所有计算方法在Rain100L的雨天图像结果表明,RCDNet的去噪效果优于其他方法,能充分去除雨纹,较好地恢复图像纹理。此外,与其他竞争方法相比,RCDNet的降雨层包含更少的意外背景细节。我们的R-因此,CNet实现了最佳的PSNR和SSIM。表2报告了所有竞争方法的定量结果。可以看出,我们的RCDNet在每个数据集上的所有方法中获得了最佳的derain性能。这证实了我们的方法的灵活性和通用性,在不同的雨类型包含在这些数据集。5.4. 真实数据然后,我们在[41]的两个真实数据集上分析了所有方法的性能:第一个数据集(称为SPA-Data)包含638492个用于训练的雨天/干净图像对和1000个测试图像对,第二个数据集(称为Internet-Data)包含147个没有地面实况的雨天图像。表3和图6、对各竞争方法在SPA数据上的计算结果进行很容易看出,即使对于如此复杂的雨型,建议的RCDNet仍然实现了明显的优越性能。6补充材料中列出了这些比较方法的代码/项目链接。3111GroundTruth输入DSCGMM工作成本明确DDN/29.42 /0.896030.73 /0.908130.87 /0.915531.24 /0.926432.79 /0.942131.84 /0.9217RESCAN36.12 /0.9656PReNet37.42 /0.9835SPAN et38.34 /0.9837JORDERS_E 38.88/0.9833SIRR31.34 /0.9153RCDNet40.96 /0.9879图6.SPA-Data中雨天图像的雨水去除性能比较这些图像最好在屏幕上放大输入DSC GMM JCAS清除DDNRESCAN PReNet SPAN et JORDER_E SIRR RCDNet图7.来自互联网数据的两个样本的不同雨型的结果这些图像最好在屏幕上放大表3.SPA-Data上的PSNR和SSIM比较[41]。方法输入DSCGMM工作成本明确DDNPSNR34.1534.9534.3034.9534.3936.16SSIM0.92690.94160.94280.94530.95090.9463方法重新扫描 PReNet SPAN et JORDER E SirrRCDNetPSNR38.1140.1640.2440.7835.3141.47SSIM0.97070.98160.98110.98110.94110.9834与其他方法相比。特别是,类似于它的优越性在合成实验中,也观察到,我们的方法更好地去除雨条纹和恢复图像的细节比其他竞争的。此外,我们选择了两个具有不同雨密度的真实硬样本来评估al-l竞争的方法。从图7中,我们可以发现,基于transmartemodel的方法往往会留下明显的雨纹。虽然基于DL的比较方法去除了明显的雨条纹,但它们仍然会留下明显的雨痕或模糊一些图像纹理。相比之下,我们的RCDNet更好地保留了背景细节,并删除了更多的雨条纹。这表明它对未知的复杂雨型具有良好的泛化能力。6. 结论本文探讨了雨纹的内在先验结构,并将其明确表示为卷积字典学习模型,提出了一种新的可解释的单图像去雨网络结构。网络中的每个模块都可以一一对应于为求解模型而设计的算法的实现算子,因此网络几乎是“白盒”,其所有模块元素都通过对人工合成图像和实际降雨图像的综合实验,验证了这种互译性给网络带来了良好的效果,特别是便于分析这种互译性在网络中是如何发生的,以及在测试预测过程中为什么会起作用。通过网络的端到端学习提取的元素,如雨核,也可能对雨天图像的相关任务有用。谢 谢 。 本 研 究 得 到 了 国 家 自 然 科 学 基 金 项 目11690011、61721002、U1811461和教育部-中国移动通信集团与编号为MCM201907013112引用[1] Peter C Barnum、Srinivasa Narasimhan和Takeo Kanade。雨雪天气的频率空间分析。国际计算机视觉杂志,86(2-3):256,2010。3[2] Amir Beck和Marc Teboulle。线性反问题的一种快速迭代收缩阈值算法。SIAM journal on imaging sciences,2(1):183-202,2009。二、四[3] 我是博苏,尼古拉斯·豪我是,让-菲利普·塔雷尔。通过使用条纹方向直方图的图像序列中的雨或雪检测。International Journal of Computer Vision,93(3):348-367,2011。3[4] 陈毅磊,邱廷旭。时空相关雨带的一个广义低秩S.在IEEE计算机视觉国际会议论文集,第1968-1975页,2013。3[5] Dorin Comaniciu,Visvanathan Ramesh和Peter Meer。基于 内 核 的 对 象 跟 踪 。 IEEE Transactions on PatternAnalysis and Machine Intelligence,25(5):564-575,2003。1[6] Xinghao Ding , Liqin Chen , Xianhui Zheng , HuangYue,and Delu Zeng.通过引导式l0平滑滤波器去除单图像雨雪。Multimedia Tools and Applications,75(5):2697-2712,2016。3[7] 大 卫 ·L· 多 诺 霍 软 阈 值 去 噪 。 IEEE transactions oninformation theory,41(3):613-627,1995. 4[8] Xueyang Fu , Jiabin Huang , Xinghao Ding , YinghaoLiao,and John Paisley.清除天空:一种用于单图像雨消除 的 深 层 网 络 架 构 。 IEEE Transactions on ImageProcessing,26(6):2944-2956,2017。二、三、七[9] Xueyang Fu,Jiabin Huang,Delu Zeng,Huang Yue,Xinghao Ding,and John Paisley.通过深度细节网络从单个图像中去除雨水。在IEEE计算机视觉和模式识别会议论文集,第3855-3863页二、三、七[10] Kshitiz Garg 和 S.K. 纳 亚 尔 从 视 频 中 检 测 和 去 除 在Proceedings of the IEEE Computer Society Conference onComputer Vision and Pattern Recognition,第1卷,第I-I页,2004年。3[11] Kshitiz Garg和Shree K Nayar。相机什么时候能看到雨?第十届IEEE计算机视觉国际会议,第2卷,第1067-1074页,2005年。3[12] Kshitiz Garg 和Shree K Nayar 。 视觉 与雨 InternationalJournal of Computer Vision,75(1):3-27,2007. 3[13] 古书航、蒙德玉、左王梦、张磊。用于单个图像层分离的联合卷积分析和合成稀疏在IEEE计算机视觉国际会议论文集,第1708-1716页,2017年。二、三、四、七[14] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition,第770-778页,2016中。5[15] Zhang He和Vishal M.帕特尔基于卷积稀疏和低秩编码的雨纹消除。在IEEE Winter计算机视觉应用会议上,第1259-1267页,2017年。二、三、四[16] Furong Huang and Animashree Anandkumar.通过张量分解的卷积字典学习。计算机科学,第1-30页,2015年。二、四[17] Q. Huynh-Thu和M.甘巴里图像/视频质量评估中p-检验的有效范围。Electronics Letters,44(13):800-801,2008. 6[18] 泰祥江、汀竹黄、喜乐赵、亮剑邓、药王。一种新的基于张量的视频雨条纹去除方法,通过利用歧视性的内在先验。在IEEE计算机视觉和模式识别会议论文集,第4057-4066页,2017年。3[19] 陈杰,陈厚丹,侯俊辉,李沛洲,李贺。cnn框架中用于雨去除的鲁棒视频内容对准和补偿。在IEEE计算机视觉和模式识别会议集,第6286-6295页,2018年。3[20] 金镇焕,沈在英,金昌洙。使用时间相关和低秩矩阵完成 的 视 频 去 噪 和 去 噪 。 IEEE Transactions on ImageProcessing,24(9):2658-2670,2015。3[21] 徐静,赵伟,刘鹏,唐祥龙。利用引导滤波器实现单幅图像中雨雪的去除。IEEEInternational Conference onComputer Science and Automation Engineering,第2卷,第304三、六[22] L. W.康角,澳-地W. Lin和Y. H. Fu.通过图像分解自动去除基于单个图像的雨条纹。IEEE Transactions onImage Processing,21(4):1742-1755,2012。3[23] Jin Hwan Kim,Chul Lee,Jae Young Sim,and ChangSu Kim.使用自适应非局部均值滤波器的单图像去噪。IEEEInternational Conference on Image Processing , 第914-917页,2014年。3[24] 迪德里克·金马和吉米·巴。Adam:一种随机优化方法。计算机科学,2014年。6[25] 李明翰、谢七、赵千、薇薇、古书航、景涛、梦德玉。用多尺度卷积稀疏编码去除视频雨纹。在IEEE计算机视觉和模式识别会议集,第6644-6653页,2018年。二、三、四[26] Siyuan Li,Iago Breno Araujo,Wenqi Ren,ZhangyangWang,Eric K Tokuda,Roberto Hirata Junior,RobertoCesar- Junior,Jiawan Zhang,Xiaojie Guo,and XiaoxunCao.单个图像去重:全面的基准分析。在IEEE计算机视觉和模式识别会议论文集,第3838-3847页1[27] Xia Li,Jianlong Wu,Zhouchen Lin,Hong Liu,andHongbin Zha.循环压缩激励上下文聚合网络用于单图像去噪。在欧洲计算机视觉会议集,第254二、三、七[28] 余丽。使用层先验去除雨痕。在Proceedings of the IEEEconference on computer vision and pattern recognition
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 基于单片机的瓦斯监控系统硬件设计.doc
- 基于单片机的流量检测系统的设计_机电一体化毕业设计.doc
- 基于单片机的继电器设计.doc
- 基于单片机的湿度计设计.doc
- 基于单片机的流量控制系统设计.doc
- 基于单片机的火灾自动报警系统毕业设计.docx
- 基于单片机的铁路道口报警系统设计毕业设计.doc
- 基于单片机的铁路道口报警研究与设计.doc
- 基于单片机的流水灯设计.doc
- 基于单片机的时钟系统设计.doc
- 基于单片机的录音器的设计.doc
- 基于单片机的万能铣床设计设计.doc
- 基于单片机的简易安防声光报警器设计.doc
- 基于单片机的脉搏测量器设计.doc
- 基于单片机的家用防盗报警系统设计.doc
- 基于单片机的简易电子钟设计.doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功