没有合适的资源?快使用搜索试试~ 我知道了~
循环挤压激励上下文聚合网络在单幅图像去重中的应用李霞123 [0000- 0003 - 2284 - 1700]、吴建龙23 [0000- 0003 - 0247 - 5221]、林周晨23[0000 - 0003 - 1493 - 7569]、刘宏1[0000 - 0002 - 7498 - 6541]、查宏斌23[0000 - 0001 -5860 - 4673]1北京大学深圳研究生院机器感知重点实验室2北京大学EECS学院机器感知重点实验室3上海交通大学合作媒体网创新{ethanlee,jlwu1992,zlin,hongliu}@ pku.edu.cn,zha@cis.pku.edu.cn抽象。雨痕会严重降低能见度,这导致许多当前的计算机视觉算法无法工作。因此,有必要从图像中去除雨水。我们提出了一种基于深度卷积和递归神经网络的新型深度网络架构,用于单幅图像去噪。由于背景信息对雨水去除非常重要,我们首先采用扩张卷积神经网络来获得大的感受野。为了更好地适应除雨任务,我们还修改了网络。在暴雨中,雨痕的方向和形状是多种多样的,可以看作是多个雨痕层的叠加我们分配不同的阿尔法值,根据强度和透明度,通过纳入挤压和激励块的各种雨由于雨纹层彼此重叠所以我们进一步将雨水去除分解成多个阶段。回归神经网络的加入,以保留有用的信息,在前几个阶段,有利于在后期的雨水去除。我们在合成和真实世界的数据集上进行了广泛的实验。我们提出的方法优于国家的最先进的方法下的所有评估指标。代码和 补 充 材 料 可 在 我 们 的 项 目 网 页 上 获 得 :https://xialipku.github.io/RESCAN。关键词:递归神经网络,挤压激励块,图像去噪1介绍雨是现实生活中很常见的天气。但是,它会影响可见性。特别是在暴雨天气下,来自各个方向的雨条纹会积累起来,使背景场景变得模糊,严重影响了准确性许多计算机视觉系统,包括视频监控,目标检测平等捐款2Xia Li,Jianlong Wu,et al.以及自动驾驶中的跟踪等。因此,从雨区图像中去除雨区并恢复背景是一项重要的任务。在过去的十年里,形象出轨引起了人们的广泛关注。已经提出了许多方法来解决这个问题。现有的方法可以分为两类,包括基于视频的方法和基于单个图像的方法。由于基于视频的方法可以利用帧之间的关系,因此从视频中去除雨水相对容易[1,2,3,4]。然而,单图像去噪更具挑战性,我们在本文中专注于这项任务。对于单个图像去盲,传统的方法,如判别式稀疏编码[5],低秩表示[6]和高斯混合模型[7],已经应用于这项任务,并且它们工作得很好。最近,基于深度学习的去盲方法[8,9]由于其强大的特征表示能力而受到广泛关注所有这些相关的方法取得了良好的性能,但仍有很大的空间,以改善。现有方法主要有两个局限性一方面,根据[10,11,12],空间上下文信息对于去盲非常有用然而,目前的许多方法去除雨条纹的基础上的图像块,忽略了上下文信息在大区域。另一方面,由于大雨中的雨排有各种方向和形状,它们以不同的方式模糊了场景。将整个除雨问题分解为多个阶段是一种常见的方法[9,13],这样我们就可以迭代地去除雨痕由于这些不同的阶段一起工作,以消除雨条纹,在前面的阶段中的脱轨信息是有用的,以指导和有利于在后面的阶段中的雨消除。然而,现有的方法对待这些雨条纹去除阶段独立,不考虑它们的相关性。出于解决上述两个问题的动机,我们提出了一种新的用于单图像去盲的深度网络我们提出的网络的管道如图所示二、我们一步一步地清除雨痕在每个阶段,我们使用具有多个全卷积层的上下文聚合网络来去除雨纹。由于雨带有不同的方向和形状,我们的网络中的每个通道对应于一种雨带。挤压和激励(SE)块用于根据各个通道在每个卷积层中的相互依赖性将不同的alpha值分配给各个通道得益于指数增长的卷积膨胀,我们的网络具有大的接收场和低深度,这可以帮助我们获得更多的上下文信息。为了更好地利用有用的信息,在前几个阶段的雨水去除,我们进一步将递归神经网络(RNN)架构与三种递归单元,以指导在后期阶段的deraining。我们将所提出的深度网络命名为RESCAN(REcurrent SE Context Aggregation Net本文的主要贡献如下:1. 我们提出了一种新的统一的深度网络,用于单个图像的去噪,通过它我们逐步去除雨具体来说,在每个阶段,我们使用上下文扩张网络来移除雨。SE块用于根据其属性为各种雨纹层分配不同的α值。重新扫描32. 据我们所知,这是第一篇考虑不同阶段的降雨去除之间的相关性的论文。通过将RNN结构与三种递归单元相结合,可以将前一阶段中用于雨水去除的有用信息结合起来,以指导后一阶段的去除雨我们的网络是适合恢复雨图像与复杂的雨条纹,特别是在大雨。3. 与各种数据集上的最先进方法相比,我们的深度网络实现了卓越的性能。2相关作品在过去的十年中,人们提出了许多方法来分离雨条纹和背景场景从雨图像。我们简要回顾这些相关的方法如下。基于视频的方法由于基于视频的方法可以通过分析相邻帧之间的差异来利用时间信息,因此从视频中去除雨水相对容易[14,3]。Garg和Nayar [15,16,2]提出了一种基于光度特性和时间动力学的外观模型来描述雨条纹。与此同时,Zhang等人[1]利用视频中雨的时间和Bossu等人[17]根据雨条纹的方向直方图检测雨。在[4]中,Tripathi et al.综述了近年来提出的基于视频的去盲方法。与视频去水印相比,单帧图像去水印具有更大的挑战性,因为图像中没有时间信息。对于这个任务,传统的方法,包括字典学习[18],高斯混合模型(GARCH)[19]和低秩表示[20],已被广泛应用。基于字典学习,Kang et al.[21]将雨图像的高频部分分解为雨分量和非雨分量。Wang等人[22]定义3层分层方案。Luo等人[5]提出了一种基于图像块的判别式稀疏编码框架Gu等人[23]集成分析稀疏表示(ASR)和合成稀疏表示(SSR)来解决各种图像分解问题。在文献[7]中,GMM作为先验将雨图像分解为背景层和雨条纹层。Chang等人[6]利用雨纹的低秩属性来分离两层。Zhu等人。[24]结合了三种不同类型的图像先验。最近,几种基于深度学习的去水印方法取得了令人满意的性能。Fu等人。[25,8]首先将深度学习方法引入去雨问题。与[21]类似,他们还将雨图像分解为低频和高频部分,然后使用深度残差网络将高频部分映射到雨条纹Yang等人[26,9]设计一个深度循环扩张网络,以共同检测和消除雨纹。Zhang等人[27]使用生成对抗网络(GAN)来防止背景退化4Xia Li,Jianlong Wu,et al.图像,并利用感知损失,以进一步确保更好的视觉质量。Li等人[13]设计一个新的多级卷积神经网络,它由几个并行的子网络组成,每个子网络都知道不同尺度的雨纹。3雨模型将观测到的雨图像O分解为无雨背景场景B和雨条纹层R的线性组合是常用的雨模型O = B+ R。(一)通过从观察图像O中去除雨条纹层R,我们可以获得无雨场景B。基于Eq.(1),许多雨去除算法假设雨条应该是稀疏的并且在下落方向和形状上具有相似的特征然而,在现实中,空气中的雨滴具有各种各样的外观,并且发生在距离相机不同的距离处,这导致雨条纹的分布不规则。在这种情况下,单个雨条纹层R不足以很好地模拟这种复杂的情况。为了减少复杂性,我们把形状或深度相似的雨条纹然后,我们可以将捕获的雨场景分为几个雨条纹层和一个未污染的背景的组合。基于此,雨模型可以重新表述如下:ΣnO = B +i=1R1,(2)其中Ri表示由一种雨纹组成的第i个雨纹层,并且η是不同雨纹层的总数。根据[28],实际情况可能更糟,特别是在大雨的情况下。空气中多条雨带的累积可能导致紫外线和紫外线,其结果是雨带亮度的降低对于相机或眼睛可视化,散射导致雾或青蛙效果。这进一步污染了观察图像O。对于相机成像,由于像素数量的限制,远处的雨条纹不能占据全部像素。当与其他东西混合时,图像会变得模糊。为了解决上述问题,我们进一步考虑到全球大气光,并分配不同的α值,根据其强度的透明度不同的雨条纹层。我们进一步将雨模型推广为:.O=1− Σni=0时Σαi B+α0 A+Σni=1αi R i,s.t.αi≥0,Σni=0时αi≤1,(3)其中A是全局大气光,α0是场景透射,αi(i=1,· · ·,η)表示雨纹层或雾层的亮度。重新扫描5F图1:SE上下文聚合网络(SCAN)的架构。4取消方法代替使用具有人工先验的分解方法来解决方程中的问题。在等式(3)中,我们打算学习将观察到的雨图像O直接映射到雨条纹层R的函数f然后我们可以从O中减去R,得到无雨场景B。上面的函数f可以表示为深度神经网络,并通过优化损失函数f(O)-Rf2来学习。基 于 上 述 动 机 , 我 们 提 出 了 RECurrent SE 上 下 文 聚 合 网 络(RESCAN)的图像去盲。我们的网络框架如图所示.二、我们一步一步地清除雨痕。在每个阶段,我们使用的上下文聚合网络与SE块,以消除雨条纹。我们的网络可以处理各种方向和形状的雨条纹在我们的网络中使用的扩张卷积可以帮助我们有一个大的接收场,并获得更多的上下文信息。通过使用SE块,我们可以根据它们在每个卷积层中的相互依赖性将不同的α值分配给各种特征图。当我们在多个阶段中去除雨水时,在前一阶段中用于去除雨水的有用信息可以指导后面阶段的学习。因此,我们将RNN架构与记忆单元结合起来,以充分利用前几个阶段的有用信息。在下文中,我们首先描述基线模型,并且然后定义记录条纹,其中通过以不同的方式分解具有不同特性的雨条纹来实现模型的能力4.1SE上下文聚合网络RESCAN的基本模型是一个无递归的前向网络我们通过用挤压和激励(SE)块[29]扩展上下文聚合网(CAN)[11,12]来实现它,并将其命名为SE上下文聚合网(SCAN)。6Xia Li,Jianlong Wu,et al.表1:SCAN的详细架构d是网络的深度层0 1 2...d−3d− 2d− 1卷积3× 3 3× 3 3× 3...3× 3 3×3 1 × 1扩张112...2d−411非线性是的是的是的是的是的是的没有SE块感受野是的3 ×3是的5 ×5是的9 ×9是的是Σ2...2d−2 + 1.是Σ22d−2 + 3.无Σ22d−2 + 3在这里,我们提供了一个说明和进一步专业化的扫描。我们在图中示意性地说明了扫描1,这是一个全卷积网络。在图1中,我们设置深度d= 6。由于一个大的感受野是非常有帮助的获取更多的上下文信息,膨胀在我们的网络中采用。对于L1~L3层,膨胀系数从1到4呈指数增长,导致每个单元的感受野指数增长由于我们将第一层视为编码器以将图像转换为特征图,并且将最后两层视为解码器以进行反向映射,因此我们不对层L0、L4和L5应用膨胀。此外,我们对L5之前的所有层使用3× 3卷积。为了恢复彩色图像的RGB通道或灰度图像的灰度通道,我们对最后一层L5采用1×1卷积。除了最后一个卷积运算之外,每个卷积运算后面都跟着一个非线性运算。SCAN的详细架构总结在表1中。通常,对于具有深度d的SCAN,接收信号的接收频率为d。输出图像中的元素字段等于.2d−2Σ2+ 3 .第三章。对于特征图,我们将它们的每个通道视为雨纹层Ri的嵌入。在Eq.(3)对不同的雨排层Ri赋予不同的α值αi。我们不是为每个雨层设置固定的α值αi,而是更新每个网络层中雨条纹层嵌入的α值虽然卷积运算隐式地引入了每个通道的权重,但这些隐式权重并不是针对每个图像而专门化的。为了显式地为每个图像在每个网络层上导入权重,我们使用挤压和激励(SE)块[29]扩展了每个基本卷积层,该块计算每个项目的每个通道的归一化alpha值通过乘以由SE块学习的α值,通过卷积计算的特征图被显式地重新加权。SCAN和以前的模型[8,27]之间的一个明显区别是SCAN没有批量归一化(BN)[30]层。BN被广泛用于训练深度神经网络,因为它可以减少特征映射的内部协变量移位。通过应用BN,每个标量特征被归一化并且具有零均值和单位方差。这些特征相互独立,分布相同。在Eq。(2)不同层次的雨带在方向、颜色和形状上有不同的分布,不同层次的雨带各标量特征也有不同的分布因此,BN与我们提出的雨模型的特征相矛盾。因此,我们从模型中删除BN实验结果重新扫描7SSS在第5节中的结果表明,这种简单的修改可以大大提高性能。此外,由于BN层在GPU中保持特征图的归一化副本,因此移除它可以大大降低对GPU内存的需求。对于SCAN,我们可以在没有BN的情况下节省大约40%的内存使用。因此,我们可以构建具有更大容量的更大模型,或者增加minibatch大小以稳定训练过程。4.2递归SE上下文聚合网络由于有许多不同的雨纹层,并且它们彼此重叠,因此不容易在一个阶段中去除所有雨纹。因此,我们将经常性的结构分解成多个阶段的雨水去除。该过程可以被公式化为:〇1 =〇,⑷Rs =fCNN(Os),1 ≤s≤S,(5)Os+1 =Os− Rs, 1≤s≤S,(6)ΣSR =s=1Rs,(7)其中S是级数,Rs是第s级的输出,Os+1是第s级的输出。是在第s阶段之后的中间无雨图像。上述用于去控制的模型已在[9,13]中使用。然而,在他们的方法[9,13]中使用的递归结构只能被视为同一网络的简单它们只是将前一级的输出图像作为当前级的输入,而没有考虑这些级之间的特征连接。由于这些不同阶段一起工作以去除雨,因此不同阶段{01,02,...,05}的输入图像可以被视为雨条纹干扰水平降低的雨图像的时间序列研究不同阶段特征之间的循环联系比仅仅使用循环结构更有意义。因此,我们将递归神经网络(RNN)[31]与记忆单元结合起来,以更好地利用前一阶段的信息,并指导后期的特征学习。在我们的框架中,Eq.(5)可以进一步重新表述为:ΣnRs=αiR¯i=fCNN+RNN(Os,xs−1),1≤s≤S,(8)i=1WheereRi是第s个阶段的第i个雨纹层的分解,xs−1是第(s-1)级的隐藏状态。与Eq中的雨模型一致。 (3),Rs是由一个具有不同特征值的R¯i来计算的。对于deraining任务,我们进一步探索了三种不同的循环单元变量,包括ConvRNN,ConvGRU [32]和ConvLSTM [33]。由于空间限制,我们仅在下文中呈现ConvGRU [32]的细节至于其他两类经常性单位,请参阅本署网页的补充资料。8Xia Li,Jianlong Wu,et al.S图2:RESCAN的展开架构K是卷积核大小,DF表示膨胀因子,S表示级数。ConvGRU门控递归单元(GRU)[32]是一个非常流行的递归序列模型中的单元其卷积版本ConvGRU在我们的模型表示xj作为第s级中的第j层的特征图,以及它可以根据xj(同一图层中的要素图j−1s−1前一阶段)和xs(同一阶段的前一层中的特征图):zj=σ .Wj<$xj−1+Uj<$xjΣ+bj、(9)s zs.z s−1zΣrj=σ Wj<$xj−1+Uj<$xj+bj、(10)S RS.r s−1r .Σ Σnj= tanhWj<$xj−1+Uj<$rj⊙xj+bj、(11)s nsJ.jΣjn s s−1nJ Jxs= 1−zs⊙xs−1+zs⊙ns,(12)重新扫描9其中σ是sigmoid函数σ(x)= 1/(1 + exp(−x)),⊙表示元素乘法。W是扩张卷积核,并且U是普通卷积核。10Xia Li,Jianlong Wu,et al.¨¨¨¨大小为3× 3或1× 1的内核与卷积单元相比,ConvRNN、ConvGRU和ConvLSTM单元将分别具有两倍、三倍和四倍的参数。4.3经常性框架我们进一步研究两个框架来推断最终输出。它们都使用O和以前的状态作为第s阶段的输入,但它们输出不同的图像。在下文中,我们详细描述了加性预测和完全预测,以及它们对应的损失函数。加性预测在图像处理中有着广泛的应用。在每个阶段,网络只预测先前预测与地面实况之间的残差。它将先前的特征图和预测作为输入,其可以被公式化为:Rs=f(Os,xs−1),( 13)ΣsOs+1 =O−j=1Rj= Os−Rs,(14)其中xs-1表示如等式中的先前状态。(十二)、对于该框架,损失函数选择如下:ΣSL(Θ)=¨s¨¨¨¨¨Rj−R¨,(15)s=1¨j =1¨Fwhereereere0reepresestestthethenetwork的参数。完全预测完全预测意味着在每个阶段,我们预测整个雨带R。这种方法可以表述为:Rs=f .ΣOs,xs−1、(十六)Os+1=O−Rs,(17)当Rr eth ep rdictdfulrethe等于B加上剩余的雨带。相应的损失函数为:ΣSL(Θ)=¨R¨2-R¨、(十八)Fs=15实验在本节中,我们提出了用于评估拟议的SCAN和RESCAN模型的实验设置和质量措施的细节我们比较了我们提出的方法与最先进的2重新扫描11方法在合成和现实世界的数据集的性能10Xia Li,Jianlong Wu,et al.5.1实验设置合成数据集由于很难从真实世界的数据中获得干净/下雨图像对的大数据集,我们首先使用合成的下雨数据集来训练网络。Zhang等人[27]从随机选择的室外图像中合成800幅雨图像(Rain800),并将它们分成100幅图像的测试集和700幅图像的训练集Yang等人[9]收集并合成3个数据集,Rain12,Rain100L和Rain100H。我们选择最困难的一个,Rain100H,来测试我们的模型。它是由五个条纹方向的组合合成的,这使得很难有效地去除所有的雨纹。Rain100H中有1,800个合成图像对,选择100对作为测试集。真实世界数据集Zhang et al.[27]和Yang et al.[9]还提供了许多真实世界的雨图像。这些图像在内容以及雨条纹的强度和方向方面是多样的我们使用这些数据集进行客观评估。在训练过程中,我们从每个训练图像对中随机生成100个大小为64×64的整个网络在基于Pytorch的Nvidia 1080Ti GPU上进行训练。我们使用64的批量大小,并将SCAN的深度设置为d= 7,感受野大小为35×35。 对于非线性运算,我们使用泄漏ReLU [34],α = 0。2. 为了优化,采用ADAM算法[35],起始学习率为5× 10- 3。在训练过程中,学习率在15,000和17,500次迭代时除以10。为了评估合成图像对的性能,我们采用了两个常用的指标,包括峰值信噪比(PSNR)[36]和结构相似性指数(SSIM)[37]。由于不存在用于真实世界图像的地面实况无雨图像,因此只能在视觉上评估真实世界数据集上的性能我们将我们提出的方法与五种最先进的方法进行了比较,包括图像分解(ID)[21],判别稀疏编码(DSC)[5],层先验(LP)[7],DetailsNet [8]和联合雨检测和去除(JORDER)[9]。5.2合成数据表2显示了不同方法在Rain800和Rain100H数据集上的结果。我们可以看到,我们的RESCAN在这两个数据集上的PSNR和SSIM方面都大大优于其他方法。值得注意的是,我们的非循环网络SCAN甚至可以超过JORDER和DetailsNet,并且略优于JORDER的循环版本JORDER-R。这显示了SCAN浅层结构背后的高容量此外,通过使用RNN逐渐恢复完整的雨纹层R,RESCAN进一步提高了性能。重新扫描11O7.71/0.2334ID[21]7.96/0.2568DSC[5]8.28/0.2316澳门银河[7]8.60/0.2448详细信息网[8]20.23/0.5566JORDERS[9]19.40/0.5535JORDER-R [9]20.19/0.6108扫描21.32/0.6271重新扫描23.47/0.7035BINF/1O9.73/0.1149ID[21]10.42/0.2635DSC[5]11.87/0.1238[7]11.26/0.1762详细信息网[8]23.62/0.5223JORDERS[9]23.87/0.5489JORDER-R[9]26.25/0.7972扫描26.24/0.6831重新扫描30.78/0.8807BINF/1图3:各种方法对合成图像的结果最好在屏幕上看为了直观地展示所提出的方法获得的改进,我们在图中呈现了几个困难的样本图像上的结果。3.第三章。请注意,我们选择了困难的样本图像,以表明我们的方法可以胜过其他方法,特别是在困难的条件下,因为我们设计它来处理复杂的条件。根据图3、这些现有的方法不能去除所有的雨片,可能会使图像模糊,而我们的方法可以去除大部分的雨片,并保持背景场景的细节。5.3真实世界数据集为了测试的实用性deraining方法,我们还评估了现实世界的雨天测试图像的性能。所有相关方法对四个真实世界样本雨图像的预测如图所示。4.第一章如所观察到的,LP [7]不能有效地去除雨串,并且DetailsNet [8]倾向于在去除的输出上添加伪影。实验结果表明,该方法能有效去除大部分雨纹,并能较好地保持背景图像的纹理特征为了10Xia Li,Jianlong Wu,et al.进一步验证12Xia Li,Jianlong Wu,et al.表2:在两个合成数据集上评估的定量实验。最好的结果用粗体标记,第二好的结果用下划线标记。数据集Rain800 Rain100H测量PSNRSSIM PSNRSSIMID [21]18.88 0.5832 14.02 0.5239DSC [5]18.56 0.5996 15.66 0.4225LP [7]20.46 0.7297 14.26 0.5444详细信息网[8]21.16 0.7320 22.26 0.6928Jorder [9]22.24 0.7763 22.15 0.6736JORDER-R [9] 22.29 0.7922 23.45 0.7490扫描23.45 0.8112 23.56 0.7456RESCAN 24.09 0.8410表3:SCAN和基础模型候选者之间的定量比较。数据集米苏尔纯ResNet EncDecCAN+BN CAN 扫描+BN扫描Rain800PSNR22.1022.1022.1422.2722.4523.1123.45SSIM0.7816 0.7856 0.78090.78710.79600.76570.8112Rain100HPSNR21.4621.5121.2822.6322.9323.0923.56SSIM0.6921 0.6940 0.68860.72560.73330.73890.7456在真实世界数据集上的性能,我们也做了一个用户研究。详情请参阅补充资料。5.4SCAN分析为了表明SCAN是作为去训练任务的基础模型的最佳选择,我们在两个数据集上进行实验以比较SCAN及其相关网络架构的性能,包括Plain(对于所有卷积,膨胀=1),DetailsNet[8]中使用的ResNet和ID-CGAN [27]中使用的编码器-解码器对于所有网络,我们设置相同的深度d= 7和宽度(24个通道),因此我们可以将它们的参数和计算数量保持在相同的量级。更具体地说,我们保持层L0,Ld−5和Ld−6具有相同的结构,所以它们只在层L1到L4中不同。结果示于表3中。SCAN和CAN在两种数据集上都取得了最好的性能,这可以归因于这两种方法的感受野随着深度的增加呈指数增长,而其他方法的感受野仅与深度呈线性关系。此外,SCAN和CAN的结果之间的比较表明,SE块对基础模型贡献很大,因为它可以显式地学习每个独立雨纹层的α值我们还研究了SCAN模型重新扫描13O ID [21] DSC [5] LP [7][9]第八届中国国际汽车工业展览会O ID [21] DSC [5] LP [7][9]第八届中国国际汽车工业展览会图4:各种方法在真实世界图像上的结果。最好在屏幕上查看关于BN结果清楚地验证了去除BN是去抑制任务中的良好选择,因为雨排层彼此独立。5.5RESCAN分析正如我们在第4.2节中列出的三个递归单元和两个递归框架,我们进行实验来比较这些不同的设置,包括{ConvRNN,ConvLSTM,ConvGRU}× { Additive Prediction(Add),Full Prediction(Full)}。为了与[9,13]中的递归框架进行比较,我们还实现了等式中的设置。(5)(Iter),其中先前的状态不保留。在表4中,我们报告了结果。14Xia Li,Jianlong Wu,et al.表4:RESCAN不同设置之间的定量比较。Iter表示省略前面阶段的状态的框架[9,13]。Add和Full分别表示加法预测框架和完全预测框架数据集Rain800 Rain100H测量PSNRSSIM PSNR SSIM扫描23.45 0.8112 23.56 0.7456Iter+Add23.36 0.8169 22.81 0.7630ConvRNN+添加24.09 0.8410 23.34 0.7765ConvRNN+完整23.52 0.8269 23.44 0.7643ConvGRU+添加23.310.844424.00 0.7993ConvGRU+完整24.180.8394 26.45 0.8458ConvLSTM+添加22.93 0.83850.8211ConvLSTM+Full 24.37 0.838425.640.8334很明显,Iter无法与所有RNN结构竞争,并且并不比SCAN更好,因为 它 忽 略 了 先 前 阶 段 的 信息 。 此外 , ConvGRU和 ConvLSTM优 于ConvRNN,因为它们维护更多的参数并需要更多的计算。然而,很难在ConvLSTM和ConvGRU之间选择最佳单元,因为它们在实验中表现相似。对于循环框架,结果表明完全预测更好。6结论本文提出了一种基于RESCAN的单幅图像去噪方法。我们将雨水清除分为多个阶段。在每一阶段,采用上下文聚合网络消除雨纹。我们还修改CAN以更好地匹配除雨任务,包括BN层的指数增加的膨胀和去除为了更好地表征不同雨纹层的强度,我们采用了挤压和激发块来分配不同的α值,根据其属性。此外,RNN被纳入,以更好地利用有用的信息,在前几个阶段的雨水去除和指导学习在后面的阶段。并对不同的网络结构和回流单元进行了性能测试.在合成数据集和真实数据集上的实验表明,RESCAN在所有评估指标下都优于最先进的方法谢谢。国家基础研究计划(973计划)(批准号:2000000000)资助的课题。2015CB352502)、中国国家自然科学基金(NSF)(批准号:61625301和61731018)、Qualcomm和Microsoft Research Asia。 国家自然科学基金项目(批准号:U1613209和61673030)。北京市自然科学基金(批准号:2000000000000)资助。4152006)。重新扫描15引用1. 张,X.,Li,H.,齐,Y.,Leow,W.K.,Ng,T.K.:视频中的雨去除,通过组合电子部件和时钟处理。 In:IEEEICME. (2006)4612. Garg,K.,Nayar,S.K.:视觉与雨International Journal of Computer Vision75(1)(2007)33. Santhaseelan,V.,Asari,V.K.:利用局部相位信息去除视频中的雨水。InternalJour nalofComuterVison112(1)(2015)714. Tripathi,A.K.,Mukhopadhyay,S.:从视频中删除雨水:审查. Signal,ImageandVideoProcessing8(8)(2014)14215. Luo,Y.,(1996年),美国,徐,Y.,Ji,H.:基于判别式空间编码的单幅图像去雨方法。 In:IEEEICCV. (2015)33976. Chang,Y.,延湖,加-地Zhong,S.:用于线图案噪声去除的变换低秩模型。 In:IEEEICCV. (2017)17267. 李,Y.,Tan R.T.郭,X.,卢,J,Brown,M.S.:使用层膜去除雨痕。In:IEEECVPR. (2016)27368. Fu X黄,J.,Zeng,D.,黄,Y.,丁某,佩斯利,J.:从图像中移除雨水是一项非常重要的工作。 In:IEEECVPR. (2017)17159. 杨伟,Tan R.T.冯杰,刘杰,郭志,Yan,S.: 深度联合雨检测和来自图像的恢复。 In:IEEECVPR. (2017)135710. 黄地方检察官Kang,L.W.,Yang,M.C.,Lin,C.W.,王玉芳:上下文感知的消息是一种消息传递。 In:IEEEICME. (2012)16411. 余,F.,Koltun,V.:通过扩张卷积的多尺度上下文聚合arXiv预印本arXiv:1511.07122(2015)12. 陈昆,徐,J,Koltun,V.:使用全卷积网络进行快速图像处理。 In:IEEEICCV. (2017)251613. Li,R.,Cheong,L.F.,Tan,R.T.:基于尺度感知的多级递归网络的单幅图像去噪。arXiv预印本arXiv:1712.06830(2017)14. Barnum,P.C.Narasimhan,S.,Kanade,T.:雨雪天气的频率空间分析国际计算机视觉杂志86(2-3)(2010)25615. Garg,K.,Nayar,S.K.:从视频中检测和去除雨水。In:IEEE CVPR. 第1卷。(2004)52816. Garg,K.,Nayar,S.K.:相机什么时候能看到雨?In:IEEE ICCV.第2卷(2005)106717. Bossu,J. 你好,N 你好J P. 通过使用条纹取向的直方图,在图像方程中重新定义。International Journal ofComputerVision93(3)(2011)348-36718. Mairal,J.,巴赫,F.,Ponce,J.,Sapiro,G.:用于稀疏编码的在线词典学习。 In:ICML. (2009)68919. 雷诺兹地检Quatieri,T.F.,Dunn,R.B.:使用自适应高斯混合模型的说话人验证。数字签名程序10(1-3)(200 0)1920. Liu,G.,林芝,Yan,S.,孙,J.,Yu,Y.,Ma,Y.:基于低秩表示的子 空 间 结 构 鲁 棒 恢 复 IEEE Transactions on Pattern Analysis andMac hineIntel i ge nce35(1)(2013)17121. Kang,L.W.,Lin,C.W.,Fu,Y.H.:通过图像分解自动基于单图像的雨条纹去除。IEEE Transactions on Image Processing 21(4)(2012)174222. 王玉,Liu,S.,陈春,Zeng,B.:一种单色图像中雨雪去除的分层方法。IEEE Transactions on Image Processing 26(8)(2017)393616Xia Li,Jianlong Wu,et al.23. Gu,S.,Meng,D.,左,W.,Zhang,L.:用于单图像层分离的联合卷积分析和合成稀疏表示。In:IEEE ICCV.(2017)171724. Zhu,L.,中国科学院,Fu,C.W.,Lischinski,D.,Heng,P.A.:针对单个图像区域的联合双层优化。 In:IEEECVPR. (2017)25 2625. Fu X黄,J.,丁某,Liao,Y.,佩斯利,J.:Clearing the skies:A deepnetwork architecture for single-image rain removal.IEEE Transactions on ImageProcessing26(6)(2017)294426. 杨伟,Tan R.T.冯杰,刘杰,郭志,Yan,S.:通过迭代区域相关多任务学习的联合雨检测和去除CoRR,abs/1609.07769(2016)27. 张洪,Sindagi,V.,帕特尔,V.M.:使用条件生成对抗网络的图像去雨arXiv预印本arXiv:1701.05957(2017)28. Kaushal , H. , Jain , V. Kar , S. : 自 由 空 间 光 信 道 模 型 。 In :FreeSpaceOpticalCommunicaton. 2017年第41- 89期29. 胡 , J , Shen , L. , Sun , G. : 压 缩 - 激 励 网 络 。 arXiv 预 印 本 arXiv :1709.01507(2017)30. Ioffe,S.,Szegedy,C.:批次标准化:通过降低计算复杂度来加速深度网络训练。 In:ICML. (2015)44831. Mandic,D.P.,钱伯斯J.A.等:用于预测的递归神经网络:学习算法、架构和稳定性。02 The Dog of the Dog(2001)32. C ho,K., VanMerrr riénboer,B., Gulceh re,C., Bahdanau,D. ,Bougare s,F., S chenk,H.,Bengio,Y.:使用rnn编码器-解码器学习短语表示用于统计机器翻译。ArXiv预印本arXiv:1406.1078(2014)33. Zaremba,W.,萨茨克弗岛Vinyals,O.:递归神经网络正则化。arXiv预印本arXiv:1409.2329(2014)34. Maas,A.L.,Hannun,A.Y.,Ng,A.Y.:整流器的非线性改善了神经网络声学模型。在:ICML。第30卷。(2013年)335. 金玛,D.P.,Ba,J.:Adam:随机最佳化的方法arXiv预印本arXiv:1412.6980(2014)36. Huynh-Thu,Q.,Ghanbari,M.:图像/视频质量评估中psnr的有效范围。IETELECTRONICSLETTERS44(13)(2008)80037. 王志,Bovik,A.C.,Sheikh,H. R.,Simoncelli,E.P.:图像质量评估:从错误可见性到结构相似性。IEEE Transactions on Image Process-13(4)(2004)600
下载后可阅读完整内容,剩余1页未读,立即下载
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)