渐进式图像导出网络：更好更简单的基线

3937渐进式图像导出网络：更好更简单的基线任东伟1，左旺猛2，胡清华1，朱鹏飞1，孟德宇31天津大学计算与智能学院2哈尔滨工业大学计算机科学与技术学院，中国哈尔滨3西安摘要随着深度网络脱链性能的提高，其结构和学习变得越来越复杂和多样化，使得在开发新的脱链网络时，很难分析各个网络模块的贡献。针对这一问题，本文从网络结构、输入输出和损失函数等方面考虑，提出了一种更好、更简单的基线降维网络具体地说，通过反复展开一个浅层ResNet，渐进ResNet（PRN）提出利用递归计算。进一步引入了一个递归层，以利用跨阶段的深度特征的依赖性，形成我们的渐进递归网络（ PReNet ） 。 此 外 ， 可 以 在 PRN 和 PReNet 中 采 用ResNet的级内递归计算，以显著地减少网络参数，而不显著地降低性能。对于网络输入和输出，我们将逐阶段结果和原始降雨图像作为每个ResNet的输入，最终输出残差图像的预测。对于损失函数，单MSE或负SSIM损失足以训练PRN和PReNet。实验表明，PRN和PReNet在合成和真实降雨图像上都表现良好。考虑到它的简单性、效率和有效性，我们的模型有望成为未来 研 究 的 一 个 合 适 的 基 线 。 源 代 码 可 在https://github.com/csdwren/PReNet获得。1. 介绍降雨是一种常见的天气条件，不仅对人类视觉感知，而且对各种高级视觉任务（如图像分类、目标检测和视频监视）的性能都有严重的不利影响[7，14]。单一图像去重旨在恢复干净*通讯作者[20]第二十话t= 1t = 2t= 4t = 6图1.分别在阶段t= 1、2、4、6处通过RESCAN [20]和PReNet（T= 6背景图像从下雨的图像，并已引起相当多的最近的研究关注。例如，已经提出了几种传统的基于优化的方法[1，9，21，22]，用于从背景干净图像中建模和分离雨条纹。然而，由于雨和背景层的复杂组成，图像去雨仍然是一个具有挑战性的不适定问题。在深度学习在低层次视觉中取得空前成功的推动下[3，15，18，28，34]，近年来也见证了深度卷积神经网络（CNN）在图像去噪方面的快速进展。在[5]中，Fuet al. 显示3938(a) 伪随机网络及其T级递归(b) PreNet和带有T阶段递归的图2.渐进式网络的架构，其中f in是具有ReLU的卷积层，f res是ResBlocks，f out是卷积层，frecurrent是卷积LSTM，并且frec是concat层。可以将fres实现为如图1B所示的常规ResBlocks或递归ResBlocks。3 .第三章。很难训练CNN从雨天图像直接预测背景图像，并且利用3层CNN从高通细节层而不是输入图像去除雨条纹。随后，还介绍了其他公式，例如用于预测雨带层的残差学习[20]，雨带的联合检测和去除[30]，以及联合雨密度估计和derailing [32]。另一方面，许多模块被建议构成不同的去盲网络，包括残差块[6，10]，扩张卷积[30，31]，密集块- s [32]，挤压和激励[20]和递归层- s[20，25]。多流[32]和多级[20]网络也被部署来捕获多尺度特征-#21453;，并消除大雨。此外，设计了几种模型，通过在级联方案[4]或拉普拉斯金字塔框架[7]中使用轻量级网络来提高计算效率，但代价是性能明显下降。综上所述，尽管深度网络的性能在不断提高，但其结构却变得越来越复杂和多样。因此，很难分析各种模块及其组合的贡献，也很难通过将模块引入现有的更深层次的模型来开发新的模型。复杂的反追踪网络在本文中，我们的目标是提出一个新的基线网络，用于单图像去噪，以证明：（i）通过仅组合几个模块，可以构建更好、更简单的基线网络，并在最先进的更深、更复杂的去训练网络上实现显著的性能增益，（ii）与[5]不同，去训练网络的改进可以减轻训练CNN的难度从雨天图像中直接恢复干净图像。此外，基线网络的简单性使得通过引入其他网络模块或修改现有网络模块来开发新的去盲模型为此，我们考虑了网络结构、输入输出和损失函数，以形成更好和更简单的基线网络。在网络架构方面，我们从具有五个残余块（ResBlocks）的基本浅残余网络（ResNet）开始。然后，通过递归地将ResNet展开为多个阶段而不增加模型参数来引入渐进式ResNet（PRN）（见图2）。第2（a）段）。此外，引入了一个递归层[11，27]，以利用递归阶段之间的深度特征的依赖性来形成图1中的PReNet。第2段（b）分段。从图1中可以看出，6级PReNet可以在第一级去除大部分雨纹，然后可以逐步去除剩余的雨纹，从而在最后一级实现有希望的去毛刺质量。此外，PRNr和PReNetr通过采用仅一个ResBlock的级内递归展开来呈现，这仅以不显著的性能下降为代价来减少网络参数。利用PRN和PReNet，我们进一步研究了网络输入/输出和损失函数的影响。在网络输入方面，我们将分阶段的结果和原始雨天图像作为每个ResNet的输入，并通过实证发现原始图像的引入确实有利于降权性能。在网络输出方面，我们采用了预测雨纹层的残差学习公式，并发现直接学习PRN或PReNet模型来预测雨天图像的干净背景也是可行的最后，而不是混合损失与谨慎的超-3939参数调整[4，6]，单个负SSIM [29]或MSE损失可以很容易地训练PRN和PReNet，具有良好的去抑制性能。对我们的基准网络PRN和PReNet进行了全面的实验评估.在四个合成数据集上，我们的PReNet和PRN是计算上非常有效的，并且与最先进的方法相比，实现了更好的定量特别是，在大雨数据集Rain100H [30]上，我们的PRN和PReNet的性能提升仍然很显著。在实际降雨图像上的去噪结果也验证了训练后的PReNet和PRN模型的泛化能力。这项工作的贡献有四个方面：• 基线去同步网络，即，PRN和PReNet，通过它们，更好和更简单的网络可以很好地消除雨条纹，并提供了一个更好的网络，为今后的图像去噪研究提供了合适的基础。• 通过利用级内递归计算，PRNr和PReNetr也被建议在保持最新技术水平的使性能下降。• 使用PRN和PReNet，可以通过采取阶段式重传和分段式重传来进一步提高去同步性能。结果和原始的下雨图像作为每个ResNet的输入，我们的渐进式网络可以很容易地用单个负SSIM或MSE损失进行训练。• 大量的实验表明，我们的基线网络在计算上非常有效，并且在合成和合成的最新技术上表现出色。真实的雨天画面2. 相关工作在这一节中，我们简要回顾了两种代表性的去重方法，传统的基于优化的和基于深度网络的。2.1. 基于优化的降秩方法通常，下雨图像可以形成为干净背景图像层和雨层的组成。一方面，通常采用线性求和作为合成模型[1，21，35]。然后，通过对背景图像和雨层引入适当的正则化算子，对图像进行去噪，并采用特定的优化算 法 进 行 求 解 。 在 这 些 方 法 中 ， 高 斯 混 合 模 型（GMM）[21]、稀疏表示[35]和低秩表示[1]已被用于对背景图像或雨层进行建模。基于线性求和模型，基于优化的方法也被扩展用于视频去噪[8，12，13，16，19]。另一方面，假设屏幕混合模型[22，26]对于雨天图像的合成更真实，基于在此基础上，Luoet al. [22]通过强制两层共享最少的字典原子，使用判别字典学习来分离雨条纹然而，真实的组成通常更复杂，并且正则化器在表征背景和雨层方面仍然不足，使得基于优化的方法在降低性能方面仍然有限。2.2. 基于深度网络的Deraining方法当将深度网络应用于单个图像去噪时，一个自然的解决方案是学习直接映射以从多雨图像y预测干净的背景图像x。然而，在[5，6]中提出，普通的全卷积网络（ FCN ） 在 学 习 直 接 映 射 时 是 无 效 的 相 反 ， Fuetal.[5，6]应用低通滤波器以将y分解成基本层ybase和细节层ydetail。通过假设y基为x基，然后部署FCN来预测x细节y细节相反，Liet al.”[20]《礼记》云：人工学习公式预测降雨层y−x从y. 更复杂的学习公式，例如join-试验检测和去除雨条纹[30]，以及联合雨密度估计和去线性化[32]也被提出。并且还引入了对抗性损失以增强去盲结果的纹理细节[25，33]。在这项工作中，我们表明，改进的deraining网络实际上减轻了学习的难度，它也是可行的训练PRN和PReNet学习直接或残差映射。对于去重网络的体系结构，Fuet al.首先采用浅CNN[5]，然后采用更深的ResNet [6]。在[30]中，设计了一种多任务CNN架构，用于联合检测和去除雨条纹，其中采用上下文化的扩张卷积和递归结构随后，Zhanget al. [32]提出了一种密度感知的多流密集连接CNN，用于联合估计雨密度和去除雨条纹。文献[25]提出了一种用于单图像雨滴去除的注意递归网络。最近，Liet al. [20]反复使用扩张CNN和挤压和激励块来消除大雨条纹。与这些更深更复杂的网络相比，我们的工作结合了ResNet，递归层和多级递归，构成了一个更好，更简单，更高效的去盲网络。此外，几种轻量级网络，级联格式[4]和拉普拉斯金字塔框架[7]也被开发来提高计算效率，但代价是明显的性能下降。对于PRN和PReNet，我们进一步引入了级内递归计算，以减少网络参数，同时保持最先进的去重性能，从而得到我们的PRNr和PReNetr模型。3940在3. 渐进式图像去重网络在本节中，渐进式图像去盲网络是PReNet和PRN是包含递归状态st，xt−0。5=f（xt−1，y），通过考虑网络架构、输入和输出和损失函数。为此，我们首先描述st=f复发性 （st−1，xt−0.5），（二）渐进网络的总体框架以及-xt=fout（fres（st）），put/output，然后实现网络模块，最后讨论了渐进网络的学习目标。其中递归层ft−1复发性都取xt−0。5和作为阶段t-1的输入的递归状态s。 f经常性可以是3.1. 进步网络一个简单的深度网络通常不能成功地从下雨的图像中去除雨条纹[5，6]。我们建议在多个阶段中解决去同步问题，而不是设计更深更复杂的网络，一个自然的多阶段解决方案是堆叠几个子网络，这不可避免地导致网络参数的增加和过拟合的可能性。相比之下，我们通过要求多个级共享相同的网络参数来利用级间递归计算[15，20，28此外，我们可以结合仅1 个ResBlock的阶段内递归展开，以显著降低网络参数，同时适度降低性能。3.1.1渐进残差网络我们首先提出一个渐进残差网络（PRN），如图所示。第2段（a）分段。特别地，我们采用具有三个部分的基本ResNet：（i）卷积层fin接收网络输入，（ii）若干 残差块 （ResBlocks ）fres提取 深度表 示，以 及（iii）卷积层fout输出去卷积结果。阶段t处的PRN的推断可以公式化为使用卷积长短期内存（LSTM）[11，27]或卷积门控递归单元（GRU）[2]。在PReNet中，我们选择LSTM是因为它在图像去重方面的经验优势。PReNet的架构如图所示第2段（b）分段。通过T个递归阶段展开PReNet，利用递归状态传播有利于去除雨痕的深层表示。在图1中的中间阶段处的去控制结果。结果表明，暴雨条纹累积可以分期逐步消除。3.2. 网络架构我们在此提出PRN和PReNet的网络架构所有的过滤器是与大小3×3和填充1×1。一般来说，fin是具有ReLU非线性的1层卷积[23]，fres包括5个ResBlocks，fout是al。所以是单层卷积。由于3通道RGBy和3通道RGBxt−1的级联，fin中的卷积分别有6个和32个通道用于输入和输出。fout将具有32个通道的fres（或frecurrent）的输出作为输入，并输出用于PRN（或PReNet）的3通道RGB图像。在f递归中，L- STM中的所有卷积都有32个输入通道和32个输出通道. Fres是提取用于雨纹去除的深度表示的关键组件，并且我们提供了两种实现，即，xt−0。5=f （xt−1，y），如图所示的常规ResBlock3（a）和递归xt=f出来（fres（xt−0. （5））、（1）ResBlocks如图所示。3（b）款。其中fin、fres和fout是阶段不变的，即，网络参数在不同的阶段被重用。我们注意到fin将当前估计xt−1和雨天图像y的级联作为输入。与[20]中仅xt−1相比，包含y可以进一步提高去抑制性能。网络输出既可以是雨层的预报，也可以是干净背景图像的预报.我们的实证研究表明，虽然预测降雨层的性能略好，但也可以学习渐进网络预测背景图像。3.1.2渐进递归网络我们进一步引入了一个递归层到PRN，通过它可以传播跨阶段的特征依赖关系，以促进雨纹去除，从而形成我们的渐进递归网络（PReNet）。之间的唯一区别(a) 常规ResBlocks（b）递归ResBlocks图3.实现自由：（a）传统ResBlocks和(b) 递归ResBlocks，其中一个ResBlock递归展开五次。常 规 ResBlocks ： 如 图 3 （ a ） ， 我 们 首 先 用 5 个ResBlocks 实 现 fres 作 为 其 常 规 for- m ， 即 ， 每 个ResBlock包括2个卷积层，然后是ReLU [23]。所有卷积层都接收32通道特征，而无需下采样或上采样操作。在PRN和PReNet中采用常规ResBlock。递归ResBlocks：受[15，28]的启发，我们还通过递归展开一个ResBlock 5次来实现fres，在3941t−1如图3（b）款。由于网络参数主要来自ResBlocks，因此阶段内递归计算导致模型大小小得多，从而产生PRNr和PReNetr。我们已经评估了在第二节中递归ResBlocks的性能。4.2，表明其优雅的模型大小和deraining性能之间的权衡。3.3. 学习目标最 近 ， 混 合 损 失 函 数 ， MSE+SSIM [4] 、MSE1+SSIM [7]甚至对抗性损失[33]已被广泛用于训练去训练网络，但越来越多地增加了超参数调整的负担。相反，受益于渐进式网络结构，我们经验性地发现，MSE损失或负SSIM损失[29]，足以训练PRN4.1. 消融研究所有消融研究都是在大雨数据集[30]上进行的，其中有1，800张用于训练的雨天图像和100张用于测试的雨天图像（Rain100H）然而，我们发现从1,800个训练样本中有546个雨天图像与测试图像具有相同的背景内容。因此，我们从训练集中排除了这546张图像，并在剩余的1，254张训练图像上训练4.1.1损失函数以PReNet（T=6）为例，讨论了损失函数对去同步性能的影响，包括MSE损失、负SSIM损失和递归监督损失。负SSIM与MSE。我们训练两个PReNet模型的PreNet。1通过最小化MSE损失（PReNet-MSE）和负S-对于一个有T个阶段的模型，我们有T个输出，即，x，x2，…xT.通过只对最终输出进行监督xT，MSE损失为L=xT−xgt<$2，（3）负SSIM损耗为SIM损耗（PReNet-SSIM），表1列出了它们在Rain100 H上的PSNR和SSIM值。毫不奇怪，PReNet-SSIM在 SSIM 方 面 优 于 PReNet-MSE 。 我 们 还 注 意 到 ，PReNet-SSIM甚至实现了更高的PSNR，部分归因于PReNet-MSE可能倾向于陷入差解。如图第四，德雷恩--L=−SSIM.XT ，xgt、（四）PReNet-SSIM的结果在视觉上也比PReNet-MSE更合理。因此，负SSIM损失其中Xgt是对应的地面实况干净图像。它值得注意的是，我们的实证研究表明，负SSIM损失优于MSE损失的PSNR和SSIM。此外，可以对每个中间结果施加递归监督在下面的实验中采用作为默认值。表1.具有不同损失函数的PReNet（T= 6）的比较。ΣTL=−t=1λtSSIM.xt，xgt 、（五）表2.不同T阶段的PReNet模型的比较。其中λt是阶段t的折衷参数。实验结果（秒）4.1.1表明递归监督在t=T时不能实现任何性能增益，但可以在早期阶段被采用以生成视觉上令人满意的结果4. 实验结果在本节中，我们首先进行消融研究以验证我们方法的主要组成部分，然后定量和定性地评估渐进网络，最后在真实的雨天图像和视频上评估PReNet。所有源代 码 、 预 训 练 模 型 和 结 果 都 可 以 在https://github.com/csdwren/PReNet上找到。我们的渐进式网络是使用Py实现的torch [24]，并在配备两个N-VIDIA GTX 1080Ti GPU的PC上进行训练。在我们的实验中，所有渐进式网络共享相同的训练设置。贴片大小为100×100，批次大小为18。采用ADAM [17]算法以1 ×10−3的初始学习率训练模型，并在100个epoch后结束。当达到30、50和80个时期时，学习率通过乘以0而衰减。二、表3.消融研究的PReNet变体比较。PReNetx、PReNet-LSTM和PReNet-GRU学习用于预测背景图像的直接映射。特别地，PReNetx仅将当前的去抑制结果xt-1作为输入，PReNet-LSTM和PReNet-GRU中的递归层使用LST来实现。M和GRU分别。PReNet是采用残差学习和LSTM递归层，并将y和x作为输入的最终模型。模型PReNetxPReNet-LSTMPReNet-GRUPReNetPSNR28.9129.3229.0829.46SSIM0.8950.8980.8960.899表 4. 递 归 ResBlocks 的 效 果 。 PRN 和 PReNet 包 含 5 个ResBlock。PRNr和PReNetr展开1 ResBlock 5次。模型PRNPReNetPRNrPReNetrPSNR28.0729.4627.4328.98SSIM0.8840.8990.8740.892#. 参数95,107168,96321,12394,979单一vs.递归监督。负SSIM损失只能施加在最后一级（PReNet-SSIM），损失PReNet-MSEPReNet-SSIMPReNet-RecSSIMPSNR29.0829.3229.12SSIM0.8800.8980.895模型PReNet2PReNet3PReNet4PReNet5PReNet6PReNet7PSNR27.2728.0128.6028.9229.3229.24SSIM0.8820.8850.8900.8950.8980.8983942降雨图像地面实况PReNet-MSEPReNet-SSIMPReNet-RecSSIM图4.通过不同损失函数训练的PReNet模型的视觉质量比较，包括单MSE损失（PReNet-MSE），单负SSIM损失（PReNet-SSIM）和递归负SSIM监督（PReNet-RecSSIM）。图5.PReNet-SSIM（T= 6）和PReNet-RecSSIM（T= 6）在阶段t= 1、2、3、4、5、6的平均PSNR和SSIM。等式（4）或递归地在Eqn中的每个阶段（PreNet-RecSSIM）上。（五）、对于PReNet-RecSSIM，我们设置λt=0。5（t=1，2，...，5）且λ6=1。5，其中最后一级的折衷参数大于其他级。从表1中可以看出，PReNet-RecSSIM的性能略劣于PReNet-SSIM。如图4、PReNet-SSIM和PReNet-RecSSIM的去劣化结果在视觉上是不可区分的。结果表明，末级单次损失足以训练渐进式网络。此外图图5示出了PReNet-SSIM（T =6）和PReNet-RecSSIM（T = 6）在每个阶段的中间PSNR和SSIM结果。可以看出，PReNet-RecSSIM可以实现比PReNet-SSIM好得多的中间结果，使得PReNet-RecSSIM（T= 6）通过在任何阶段t停止推理而在计算资源受限环境中非常有前途。4.1.2网络架构在本小节中，我们评估了渐进式网络的几个关键模块的效果，包括递归层、多级递归和级内递归。递归层。使用PReNet（T=6），我们测试了两种类型的 递 归 层 ， 即 ， LSTM （ PReNet-LSTM ） 和 GRU（PReNet-GRU）。从表3中可以看出，L-STM在定量指标方面的表现略好于GRU，因此在我们的实验中被采用作为递归层我们进一步比较了有和没有递归层的渐进网络，PReNet和PRN，并且显然递归层的引入确实有益于在PSNR和SSIM方面的去噪性能。级内递归。 根据表4，分期内复发-锡永，即，递归ResBlocks的引入，大大减少了渐进网络的参数数量，从而产生PRNr和PReNetr。至于降低PSNR，可以合理地看出，PRN和PReNet恢复实现了比PRNr和PReNetr更高的平均PSNR和SSIM值。但在视觉质量方面，PRNr和PReNetr与PRN和PReNet相当，如补充材料所示。递归级数T。表2列出了具有阶段T=2、3、4、5、6、7的四个PReNet模型的PSNR和SSIM值。可以看出，具有更多阶段（从2个阶段到6个阶段）的PReNet通常导致更高的平均PSNR和SSIM值。然而，较大的T也使得PReNet更难以训练。当T=7时，PReNet7的性能略低于PReNet6。因此，我们在以下实验中设置T=64.1.3网络输入/输出的影响网络输入。我们还测试了PReNet的一个变体，在每个阶段只取xt-1作为fin的输入（即，PReNetx），其中这种策略已在[20，30]中采用。从表3中可以看出，PReNetx在PSNR和SSIM方面明显劣于PReNet，这表明在每个阶段接收y的好处网络输出。我们考虑两种类型的网络输出，通过合并剩余学习公式（即，表3中的PReNet）或不（即，表3中的PReNet-LSTM）。从表3中可以看出，剩余学习可以进一步提高性能。值得注意的是，得益于渐进式网络，学习PReNet直接从雨天图像中预测干净背景是可行的，甚至PReNet-LSTM也可以实现令人满意的去噪性能。4.2. 合成数据集的评价我们的渐进网络在三个综合数据集上进行了评估，1000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000考虑了五种竞争方法，包括一种传统的基于优化的方法（GM- M [21]）和三种最先进的基于深度CNN的模型，即，[2019 -03 - 16]轻量级网络（RGN [4]）。对于大雨图像（Rain 100H）和小雨图像（Rain 100 L），模型-3943表5.合成数据集Rain100H [30]、Rain100L [30]和Rain12 [21]上的平均PSNR和SSIM比较。红色、蓝色和青色分别用于指示前1、2和3这意味着这些指标是从[4]复制的。○意味着基于作者提供的去限制图像直接计算度量[30]。则使用它们的默认设置重新训练该方法（即，Rain100H的所有1800个训练样本）。方法GMM [21]DDN [6]RGN [4]Jorder [30]○RESCAN [20]PRNPReNetPRNrPReNetrRain100H 15.05/0.425 21.92/0.764 25.25/0.84126.54/0.83528.88/0.86628.07/0.884 29.46/0.899 27.43/0.874 28.98/0.892Rain100L 28.66/0.865 32.16/0.936 33.16/0.96336.61/0.974--36.99/0.977 37.48/0.979 36.11/0.973 37.10/0.977雨1232.02/0.855 31.78/0.900 29.45/0.93833.92/0.953--36.62/0.952 36.66/0.961 36.16/0.961 36.69/0.962[20]第二十一届中国国际汽车工业展览会[30]第30话图6.Rain100H图像的视觉质量比较[30]。[6]第六届中国国际纺织品展览会图7.Rain1400图像的视觉质量比较[6]。s分别进行训练，并将小雨模型直接应用于Rain12。由于RGN的源代码不可用，我们采用[4]中报道的数值结果。对于JORDER算法，我们根据作者提供的结果直接 计 算 平 均 PSNR 和 SSIM 我 们 使 用 默 认 设 置 为Rain100H重新训练RESCAN [20]。此外，我们还尝试了对小雨图像进行RESCAN训练，但结果远不如其他方法。因此，在Rain100L和Rain12上的结果在我们的实验中没有报道。我们的PReNet实现了显着的PSNR和SSIM增益- s在所有竞争的方法。我们还注意到，表6.Rain1400的定量比较[6]。方法DDN [6]PRNPReNetPRNrPReNetrPSNR29.9131.6932.6031.3132.44SSIM0.9100.9410.9460.9370.944表7.运行时间比较（s）图像尺寸DDN [6]Jorder [30]RESCAN [20]PRNPReNet500× 5000.4070.1790.4480.0880.1561024 ×10240.7540.8151.8080.2960.551Rain100H，RESCAN [20]在完整的1，800张雨天图像上重新训练，性能增益由我们的PReNet训练3944[30]第六届中国国际纺织品展览会图8.两幅真实雨天图像的视觉质量比较在严格的1,254张下雨的照片上仍然值得注意。在1,800个样本上训练的PReNet达到了PSNR 30.04dB和SSIM0.905。此外，即使是PReNet r也可以比所有竞争方法表现得更好。从图6中，通过其他方法的结果仍然可以观察到可见的暗噪声和长雨方向相比之下，PRN和PReNet的结果在视觉上更令人满意。我们在另一个数据集[6]上进一步评估了渐进网络，其中包括12，600张用于训练的雨天图像和1，400张用于测试的雨天图像（Rain1400）。从表6中可以看出，渐进网络的四个版本在PSNR和SSIM方面都优于DDN.如图7、我们的方法对图像的视觉质量也有明显的改善，而DDN方法的结果仍然含有可见的雨条纹。表7列出了基于配备NVIDIA GTX 1080Ti G- PU的计算机的不同方法的运行时间我们只给出DDN的运行时间[6]，JORDER[30]和RESCAN [20]，由于其他计算方法的代码不可用。我们注意到DDN [6]的运行时间考虑了细节层的分离。毫不奇怪，PRN和PReNet由于其简单的网络架构而更加高效。4.3. 真实雨区图像的评价使 用 图 中 的 两 个 真 实 的 雨 天 图 像 。 8 ， 我 们 将PReNet与两种最先进的深度方法相结合，即，[30]和DDN [6]。可以看出，PReNet和JORDER在去除雨纹方面的表现优于DDN。对于第一幅图像，雨条纹在DDN的结果中仍然可见，而PReNet和JORDER可以生成-评价令人满意的结果。对于第二幅图像，DDN和JORDER的结果中有或多或少的雨条纹，而PReNet的结果更清晰。5. 结论本文提出了一种更好、更简单的基线网络，用于单幅图像的去噪。我们发现，ResNet和多级递归的简单组合，即，PRN，可以产生有利的性能。此外，通过包含重流层可以进一步提高去重化性能，并且还将逐阶段结果作为每个ResNet的输入，从而产生我们的PReNet模型。此外，通过级间和级内递归计算（PRNr和PReNetr）的并行化，可以减少网络参数我们的渐进式去训练网络可以很容易地用单个负SSIM或MSE损失来训练大量的实验验证了我们的PReNet和PReNetr在合成和真实降雨图像上的优越性。考虑到它们的简单性、有效性和效率，在开发新的去冗余网络时，利用我们的模型作为基线6. 确认这 项 工 作 得 到 了 国 家 自 然 科 学 基 金 的 资 助 。61801326、61671182、61876127、61661166011），自然科学天津市资助基金17JCZDJC 30800和天津市青年科学家资助项目。3945引用[1] Y.-- L. Chen和C. T. Hsu.时空相关雨带的广义低秩出现模 式 。 在 IEEE International Conference on ComputerVision的Proceedings中，第1968-1975页，2013年。第1、3条[2] K. 乔湾，巴西-地 VanMerr ieenboer，C. Gulcehre，D. 巴赫达瑙F.布加雷斯Schwenk和Y.本吉奥。使用rnn编码器-解码器学习 短语表示用于 统计机器翻 译。arXiv预印本arXiv：1406.1078，2014。4[3] C.东角，澳-地C. Loy，K.他，还有X。唐使用深度卷积网络实现图像超分辨率。IEEE Transactions on PatternAnalysis and Machine Intelligence，38（2）：295-307，2016。1[4] Z.范，H. Wu，X.傅，Y。Hunag和X.丁基于残差引导特征融合网络的单幅图像去噪。ACM Multimedia，2018年。二三五六七[5] X. Fu，J. Huang，X.丁氏Y. Liao和J.佩斯利清除天空：用于单图像雨去除的深度网络架构。IEEE Transactionson Image Processing ，26（6 ）：2944-2956，2017。一、二、三、四[6] X. Fu，J.Huang，黄氏拟谷盗D.Zeng，Y.Huang，X.丁宁和J.佩斯利通过深度细节网络从单个图像中去除雨水在IEEE计算机视觉和模式识别会议论文集，第1715-1723页二三四六七八[7] X.富湾，澳-地Liang，Y. Huang，X.丁宁和J.佩斯利轻量级金字塔网络的图像脱链。arXiv预印本arXiv：1805.06173，2018。一、二、三、五[8] K. Garg和S.K. 纳亚尔从视频中检测和去除雨水IEEE计算机视觉与模式识别会议论文集，2004年。3[9] S. Gu，D.孟，W. zuo和L.张某用于单图像层分离的联合卷积分析和合成稀疏表示在IEEE计算机视觉国际会议论文集，第1717-1725页，2017年。1[10] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残 差 学 习 。 在 Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，第770-778页2[11] S. Hochreiter和J.施密特胡博长短期记忆。神经计算，9（8）：1735-1780，1997。二、四[12] T. 姜氏T.Huang，X.赵湖，加-地Deng和Y.王. 一种新的基于张量的视频雨条纹去除方法，通过利用歧视性的内在先验。在IEEE计算机视觉和模式识别会议集，2017年。3[13] T.姜氏T. Huang，X.赵湖，加-地Deng和Y.王.快速-减速：一种新的基于方向梯度先验的视频雨纹去除方法。arXiv预印本arXiv：1803.07487，2018。3[14] L- W.康角，澳-地W.林和Y H. Fu.通过图像分解自动去除基于单个图像的雨条纹。IEEE Transactions on ImageProcessing，21（4）：1742，2012。1[15] J. 金，J.Kwon Lee和K.李慕用于图像超分辨率的深度递归进行中-IEEE计算机视觉和模式识别会议，第1637-1645页，2016年。1、4[16] J. - H.金，J. - Y. Sim和C.- S. Kim. 使用时间相关性和低秩匹配完成的视频去噪IEEE Transactions on ImageProcessing，24（9）：2658-2670，2015。3[17] D. P. Kingma和J. BA. Adam：随机最佳化的方法。2015年，在国际学习代表。5[18] C. 莱迪格湖Theis，F.Husza'r，J.Caballero，A.坎宁安A.阿科斯塔A. P. Aitken，A. Tejani，J. Totz，Z. wang等人使用生成对抗网络的照片级逼真的单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，2017年。1[19] M. 李角谢峰Zhao，W.Wei，S.Gu，J.Tao和D.孟多尺度卷积稀疏编码消除视频雨痕在IEEE计算机视觉和模式识别会议论文集，第6644-6653页3[20] X. Li，J.Wu，Z.Lin，H.Liu和H.扎。用于单幅图像去训练的循环在欧洲计算机视觉会议上，第262-277页一二三四六七八[21] Y. 利河，巴西-地T. Tan，X.Guo，J.Lu和M.S. 布朗使用层先验去除雨在Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，第2736-2744页一、三、六、七[22] Y. Luo，Y.Xu和H.纪通过鉴别稀疏编码从单幅图像中去除 雨 水 IEEE International Conference on ComputerVision，第3397- 3405页，2015年第1、3条[23] V. Nair和G. E.辛顿校正线性单元改进了受限玻尔兹曼机。国际机器学习会议论文集，第807-814页，2010年。4[24] A. Paszke，S.格罗斯，S。钦塔拉湾Chanan、E.杨，Z.De Vito，Z. Lin，L.德迈松湖Antiga和A. Lerer pytorch中的自动微分在NIPS Autodiff研讨会：基于自动化的机器学习软件和技术的未来，2017年。5[25] R.钱河，巴西-地T.谭，W。Yang，J. Su，and J.刘某注意生成对抗网络用于雨滴去除一个单一的形象。 InProceedings of the IEEE Conference计算机视觉和模式识别，第2482- 2491页，2018年。二、三[26] D.任，W。Zuo，L.张丽Zhang，M. H.杨图像复原的同时 保 真 和 正 则 化 学 习 。 arXiv 预 印 本 arXiv ：1804.04522，2018。3[27] X.施，Z. Chen，H.王维，D.- Y.杨维K. Wong和W. C. 哇哦。卷积lstm网络：降水临近预报的机器学习方法神经信息处理系统的进展，第802-810页，2015年二、四[28] Y. Tai，J.Yang和X.刘某通过深度递归残差网络实现图像超分辨率在IEEE计算机视觉和模式识别会议论文集，第1卷，第5页，2017年。1、43946[29] Z. Wang，中国山核桃A. C. Bovik，H. R. Sheikh和E.西蒙塞利。图像质量评估：从错误可见性到结构相似性。IEEE Transactions on Image Processing，13（4）：600-612，2004. 三、五[30] W.扬河，巴西-地T. Tan，J. Feng，J. Liu，Z. Guo和S.燕.从