暴雨图像去伪处理方法及效果分析

43211633暴雨图片修复：整合物理模型与条件对抗学习Ruoteng Li1，Loong-Fah Cheong1，and RobbyT.Tan1，21新加坡国立大学2耶鲁-新加坡国立大学学院摘要大部分的去伪作品都是以去除雨痕为主，但对于大雨图像的去伪处理却显得力不从心。在大雨中，条纹是强烈可见的，密集的雨积累或雨幕效应显著地冲刷图像，另外的场景相对更模糊，等等。在本文中，我们提出了一种新的方法来解决这些问题。我们提出了一个2阶段的网络：一个基于物理的骨干，其次是深度引导的GAN细化。第一阶段估计雨条纹，传输和大气光由基础物理。为了更可靠地梳理出这些分量，使用引导滤波框架将图像分解为低频分量和高频分量。该过滤由无雨残留图像引导-其内容用于以空间变化的方式设置两个通道的通带，使得背景细节不会与雨条纹混淆对于第二阶段，即细化阶段，我们提出了一种深度引导的GAN来恢复第一阶段未能检索到的背景细节，以及校正该阶段引入的伪影。我们已经根据最先进的方法对我们的方法进行了评估。大量的实验表明，我们的方法优于他们的真实雨图像数据，恢复视觉干净的图像与良好的细节。1. 介绍作为最常见的动态天气现象之一，降雨会对许多计算机视觉算法造成重大不利影响[30]。已经提出了一系列除雨方法来解决这个问题（例如，[16、14、41、7、38、22、36、43、23、6、29、21]）。主要是这项工作得到了DIRP Grant R-263-000-C46-232的支持。室温Tan(a) 输入图像（b）我们的结果(c)非本地[2]+RESCAN[21]（d）非本地[2]+DIDMDN[40]图1：我们的算法与组合的最先进的去雾/去雾[2]和去雾[21][40]的比较。（放大以查看详细信息。）这些方法依赖于以下模式：ΣnI=J+Si，（1）我其中I是观察到的输入图像。J是没有下雨的背景场景。Si为雨层，n为雨带层总数。在Eq. (1)被广泛使用，它粗略地代表了现实。在真正的雨，特别是在相对大雨，除了雨条纹，也有一个强大的43211634遮蔽效应，这是视线中雨带累积的结果。这种重要的雨幕效应（也称为雨水累积）在模型中被忽略。因此，大多数现有的方法不执行时，密集的雨水积累存在（图所示）。①的人。从图中可以看出，现有技术的雨纹去除方法[21]与现有技术的去雾/除雾方法[2]相结合，仍然在输出中保留了一些雨纹和遮盖效果。请注意，放大图像将显示条纹和面纱效果。雨的密度，包括雨带和累积，是一个谱。因此，小雨和大雨之间没有明确的分界线。在本文中，我们将暴雨与其视觉退化的严重性联系起来，即当雨条纹强烈可见时，面纱效应显著地冲洗了图像，远处的背景场景略微模糊（由于多通量散射），并且雨条纹和雨积累的物理存在使用“大雨”一词的目的为了实现我们的目标，恢复大雨退化的图像，我们需要解决一些相关的问题。首先，我们不能再使用广泛使用的模型（方程。（1）由于它不容纳雨水积累。我们需要一个既能表示雨带又能表示雨水累积的模型，就像[38]介绍的模型：ΣnI=T<$（J+Si）+（1−T）<$A，（2）我其中T是由微小水颗粒的散射过程引入的透射图，A是场景的全局大气光。1是一个1的矩阵，而1表示元素乘法。其次，除了模型之外，现有方法在处理大雨时往往失败，因为当存在密集降雨累积（密集面纱效应）时，雨条纹的外观与示例方法的训练数据不同[7，40，38]。在现实世界中，雨痕和雨积会相互纠缠，这是难以用简单的物理模型来渲染的。因此，[22，38]中建议的顺序处理（例如，去除雨痕，然后去除雨积累）不能正确解决问题。此外，与雾图像不同，由于雨条纹的强烈存在，估计雨图像中的大气光A更加复杂。注意，大气光的正确估计是关键的，因为它显著地影响恢复输出。第三，特别是在大雨中，背景场景的视觉信息可能会受到严重破坏。这是由于两个雨条纹和雨水积累所描述由方程式（二）、不幸的是，模型无法代表某些损坏。其中之一是多通量散射效应，其形式为场景的模糊，特别是进一步的场景[26]。换句话说，模型不能完全代表现实世界中发生的事情。这就产生了性能问题，特别是对于依赖于模型的方法，就像大多数方法一样。为了解决这些由大雨导致的现有问题，我们引入了一种新的CNN方法来去除雨条纹以及雨积累，同时具有以下贡献：1. 我们引入一个集成的两阶段神经网络：一个基于物理的子网络和一个无模型的细化子网络，以解决基于物理的雨模型（方程2）之间的差距。（2）真正的雨。第一阶段估计S、A、T，并产生严格受雨模型控制的重建图像J第二阶段包含一个条件GAN（cGAN）[25]，它受到第一阶段输出的强烈影响。2. 我们提出了一种新的条纹感知分解，自适应地将图像分离为包含雨条纹的高频分量和包含雨积累的低频分量。这解决了雨条与雨水积累相互纠缠的问题.此外，由于我们可以具有低频分量，我们可以利用它来解决估计大气光A的问题。3. 我们提供了一种新的合成数据生成管道，以与场景深度一致的方式合成面纱效果。为了更真实，我们还在透射图和背景上添加高斯模糊，以模拟大雨场景中的散射效果。使用这些想法，我们的实验结果表明，我们的方法相比，先进的方法定性和定量的优越性。2. 相关作品现有的去噪方法大多不是针对暴雨场景设计的，这是我们工作的主要区别。 这适用于所有基于图像的[16，24，14，22，38，7，40，21]和基于视频的作品[41，8，1，3，23，17，6，19、31、5、32、33、39]。在下文中，我们将重点介绍基于图像的作品。Kang等人' S [16]介绍了第一种单图像去噪方法，该方法使用双边滤波器将输入图像分解成其低频分量和高频分量。与我们的分解方法的主要区别在于它的高频层既包含雨条又包含高频背景43211635高通发生器干净图像鉴别器残基分解一JT/F雨图像我跳过连接范数（-log（T））损失低通深度指导不SJ =（I（1 T）*A）/T S基于物理的舞台无模型舞台图2：拟议网络的整体架构。残差分解模块的细节如图所示。3.图像J根据Eq. (3)在训练期间。细节-其使用字典的基于稀疏编码的方法不能将真实的对象细节与雨条纹区分开。Li等人' s [22]通过利用高斯混合模型（GARCH）作为背景和雨条纹层的先验，将雨图像分解为无雨背景层和雨条纹层。本文还试图解决雨水积累使用预处理dehaz，图2，第一阶段，基于物理学的网络，将单个雨图像作为输入，并提取雨的物理参数，包括雨条纹强度S、大气光A和透射率T。该第一阶段的输出是通过以下等式计算的干净背景图像J（2））：执行步骤[4]。然而，去雾步骤进一步增强了清晰的雨条，导致雨条因此，在本发明中，I−（1−T）AT−我S岛（三）随后的雨带去除方法不能有效地去除增强的雨带。Fu等人。[7]提出了一种基于类似于[16]的图像分解步骤的深度卷积网络解决方案，并且细节层再次包含雨条纹和背景细节，这阻碍了雨条纹的学习。Yang等人’s[38]使用去雾方法[4]作为他的递归框架中的迭代步骤来消除雨水累积。然而在暴雨场景中，去雾方法会增强隐藏在大气幕中的大量噪声，这是Yang等人的雨条去除模块无法处理的如果不像我们的方法那样以整体的方式处理雨水积累问题，它只能对小雨产生的遮蔽效应有效，而不能对本文所讨论的大雨[40]和[21]是深度学习方法，试图处理大雨场景中雨层的复杂叠加（分别通过密度感知和递归网络），但它们不处理雨水积累，并且在我们的实验中也未能干净地去除雨条纹。3. 网络设计在描述所提出的2级网络之前，我们首先讨论网络的总体输入和输出，以及第一级的中间输出参照第二阶段中的cGAN细化估计的J以产生干净的背景图像C作为我们的最终输出。提出两级网络的原因如下。物理模型（Eq. (2))是真实雨场景的近似表示，因此可以为我们的网络提供约束，例如雨条纹（S）、大气光（A）和传输（T）。然而，单独使用物理模型来设计网络有一个明显的缺点，因为该模型只是真实世界的粗略近似因此，使用纯粹基于模型的网络不会使我们的方法稳健，特别是对于大雨。如引言所述，模型不能完全表达雨条和雨致损失（方程2）。（2）译注。出于这个原因，我们添加了另一个网络，无模型网络，它不假设任何模型。因此，与第一个网络不同，这个网络具有更少的约束，并且更适应数据。然而，我们也不能单独使用这个网络，因为没有适当的网络指导把一张雨的图像转换成干净的图像。3.1. 第一阶段：物理修复我们基于物理的网络的概要如下。首先，它将输入图像分解为高频和低频分量，其中网络从高频分量估计雨纹图S，从低频分量估计大气。Conv 1x1Conv 1x1Conv 1x1Conv+IN+ReLUConv+ReLUConv+ReLU残余块Conv+IN+ReLUReLU残余块ReLU残余块FCDeconv+ReLUDeconv+ReLUReLU上采样Conv+ReLUConv+ReLUConcatConv+ReLUConv+ReLUConv+ReLUFC=nJ43211636内核族{IH}K= 1，2，残余图像转移n=#{K}{IL}输入图像I条纹估计参考图像P引导过滤层n=#{K}Conv1x1大气光估计透射率估计(a) 雨图像（b）输入引导IL（c）输入引导IH图3：有色残留图像引导分解模块结构示意图.球面光，A，和透射图，T，如图所示。2.这些过程的细节将在后续章节中讨论。残差通道引导分解在雨图像中，尤其是在暴雨图像中，雨痕和雨积的视觉表现是相互纠缠的。这种纠缠导致了估计雨参数的复杂性：S，A，和T。直接从输入图像估计A和T将是复杂的，因为雨条纹的强烈类似地，从原始输入图像估计S是棘手的，这是由于密集的雨水积累的强烈存在。为此，我们提出了一种将输入图像分解为高频和低频分量的过程，以降低估计的复杂性，从而提高鲁棒性。我们的分解是从[37]中采用的，在那里我们创造了。（d）剩余通道（e）剩余引导IL（f）剩余引导IH图4：使用（a）输入图像本身和（d）其残差通道（内核大小k=64×64）作为指导图像的输入雨图像分解。可以观察到更多的背景细节留在低频通道中。参考图像，以在上述低通平滑处理期间引导滤波。这种引导滤波允许我们具有空间变化的低频通带，其选择性地保留低频通道中的高频因此，高频通道只包含雨条纹，而不受高频背景细节的影响，这极大地促进了雨条纹的学习。残差图像在[20]中定义如下：Ires（x）= maxIc（x）−minId（x），（6）选择一个分解CNN层，该层在c∈r，g，bd∈r，g，b培训（详情见图3）。具体地说，我们首先对输入图像I进行图像平滑.平滑的图像被认为是低频分量IL，而减法IH=I-IL提供高频分量。在每个组件中，Eq. (2)be-comes：IH=（ 1− TH）（ JH+ SH）+ THAH，IL=（1−TL）（JL+SL）+TLAL，（4）其中（·）H、（·）L分别表示高频分量假设大气光A在整个图像中是恒定的，我们可以假设AH=0。此外，我们还假设雨条SL的低频分量可以忽略，即，SL=0。也就是说，低频率的雨条主要表现为雨幕（雨积累），并由AL。因此，Eq. (4)减少到：IH=（ 1− TH）（ JH+ SH），IL=（1−TL）（JL）+TLAL。（五）我们的频率分解中最重要的区别在于使用残差图像[20]作为参考。其中Ic、Id是I的颜色通道。这种残留通道被证明是不变的雨条纹，即，它没有雨条纹，只包含背景细节的变换版本（见图11）。4（d））。因此，它可以提供信息来引导和改变低频平滑中的通带，使得背景细节不被平滑掉。在实践中，我们使用有色残基图像[20]，如图所示。3.第三章。为了处理我们的雨图像中存在的雨条纹大小的大变化，分解使用了一组的平滑核K，其大小由k=2i，i=0，1给出。这些图像并将它们发送到1×1卷积核，其表现为通道式特征选择器。从高频分量IH，我们使用包含12个残差块的完全卷积网络从地面实况条纹图学习雨条纹S[11]：LS=LMSE（S， Sgt），（7）其中LS表示学习雨纹的损失，sgt是雨带地图的基本事实。43211637（大气光子网络学习仅从低频分量{IL}k预测全局大气光A。这是因为低频分量不包含雨条纹，其中它的镜面反射可以显著地改变输入图像的亮度并且不利地影响A的估计。这个子网络由5个Conv+ReLU块组成，并附加了2个全连接层。然后将输出向量A上采样到输入图像的大小，以用于等式（1）中的J的估计。（三）、学习A的损失函数定义为：LA=LMSE（A，Agt），（8）生成网络的目标是生成一个精致的干净版本C，它看起来很真实，没有前一阶段产生的雨水效果这个发生器的输入是I和J。由于J对大气光A中的估计误差相当敏感，所以发生器可能无法有效地学习。为了改进训练，我们将估计的大气光A注入到发生器中，如图2所示。2.特别地，我们首先使用两个卷积将A嵌入到更高维的空间中，然后将结果与生成网络的编码器输出连接起来。这是在编码器的最高层完成的，其中表示更多的全局特征，因为A本身是场景的全局属性。其中Agt是大气光的地面实况。我们还添加了MSE和感知损失[15]用于生成网络的训练。它们是由学习传输我们使用具有跳过连接的自动编码器来学习传输映射T。我们在前两个卷积层中采用实例归一化[34]而不是批量归一化，因为在我们的实验中，当测试数据与训练数据有显著的域间隙时，后者表现不佳学习T的损失函数定义为：LT=LMSE（T，Tgt），（9）其中Tgt是指地面实况传输图。基于前述，基于物理的网络预测物理参数Θ的总损失函数为：LΘ=λSLS+λALA+λTLT，（10）其中λS、λA和λT是每种损失的加权因子在我们的实验中，它们都被设置为1，因为它们都是具有相同规模的MSE损失。3.2. 第二阶段：模型自由优化无模型细化阶段包含一个条件生成对抗网络。生成网络将估计图像J和雨图像I作为输入，并产生要由判别网络评估的干净图像CcGAN的总损失函数为：minmaxV（D，G） 为ECp（C，I）[logD（C|（11）G D+EJpJ，I）[lo g（1-D（G（J|（一））]其中D表示判别网络，G表示生成网络。生成网络生成网络是一个自动编码器，包含13个Conv-ReLU块，并添加了跳过连接以保留更多低级图像细节。以下损失函数中的第一项和第二项LC= LMSE（C，Cgt）+λpLMSE（VGG（C），VGG（Cgt）），在我们的实验中λp=8，感知损失基于在ImageNet数据集上预训练的VGG16。总的来说，生成网络的损失函数是：LG=LC+λGANLGAN（C），（12）其中LGAN（C）=log（1-D（C）），加权参数λGAN设置为0.01。判别网络判别网络接受生成网络的输出，并检查它是否看起来像一个现实清晰的场景。由于通常是远处的场景遭受信息丢失，因此我们希望确保GAN专注于场景的这些遥远部分。我们首先利用从基于物理的网络产生的传输图T，并根据以下关系将其转换为相对T（x）=exp−βd（x），（13）其中d表示场景深度，β表示雨幕或雨水累积的强度（在我们的实验中，β是从[3，4.2]中的均匀分布中随机采样的）。 然后，我们从第六个Conv-ReLU层，并计算这些特征与归一化为[0，1]的深度图-log（T）之间的MSE损失：Ldepth（C，T）= LMSE（Conv（D（C）6），Norm（−logT）），（十四）其中，D（C）m表示第m层我们使用学习的深度图来加权前一层的特征，方法是将它们以元素方式相乘：D（C）7=d <$D（C）6。（十五）43211638算法1室外雨水渲染算法1：输入：清洁图像C及其深度图D表1：在测试1数据上的三种不同架构中估计的S、A、T和J的性能的比较。2：C模糊 （x）=im高斯滤波器（C（x），σC（x））。 顺利k的值随深度而变化：σC（x）=1。5D（x）。3：生成2D噪波贴图N，其中µ−U（0，0. 2）-0。8、σ<$U（0，0. 3）+0。74：雨条纹图S=immotionfilt（N，l，θ），参数lU（0，40）+20，θU（80，100）5：获得雨图像IS=S+C模糊6：获得透射率T = exp−βD，β<$U（3，4. （二）7：获得T模糊= imgaussfilt（T，σ T），σ T N（5，1. （五）。在每10个时期之后除以2直到第60个时期。为了训练无模型细化阶段，我们固定基于物理的网络的参数，并使用相同的优化器第八章： 获取全局大气光AU（0. 3，0。第八章）9：输出：雨图像I=T模糊IR+（1-T模糊）A由于远处的物体具有更高的深度值d，因此来自这些物体的误差将在训练期间反向传播到具有更大权重的生成网络。判别网络的整体损失函数可以表示为：LD=−log（D（Cgt））−log（1−D（C））+L深度（C，T）+L深度（Cgt，Tgt）。（十六）4. 执行4.1. 数据生成有几个大规模的合成数据集可用于训练deraining网络，但没有一个包含雨水累积效应。 因此，对于培训在基于物理的阶段，我们创建了一个名为NYU-Rain的新合成雨数据集，使用来自NYU-Depth- v2 [27]数据集的图像作为背景。我们根据所提供的深度信息渲染合成雨条纹和雨水累积效果这些效果包括由水粒子引起的面纱效果，以及图像模糊（有关雨渲染过程的详细信息，请参见算法1）。该数据集包含16，200个图像样本，其中13，500个图像用作训练集。对于无模型细化阶段的训练，我们在[28]中的一组室外干净图像上创建了另一个室外雨数据集，表示为Outdoor-Rain。为了渲染适当的雨条纹和雨水累积效果，我们使用最先进的单图像深度估计方法[9]来估计场景的深度。该数据集包含9000个训练样本和1,500个验证样本。4.2. 培训详细信息所提出的网络首先以逐阶段的方式进行训练，然后在端到端的基础上进行微调为了在NYU-Rain数据集上训练基于物理的阶段，我们使用和学习速率表。这个无模型网络在这个阶段被训练到第100个纪元。最后，我们解冻基于物理的网络中的参数，并对整个模型进行数千次迭代。整个网络在Pytorch框架中实现，并将公开提供。15. 实验结果在本节中，我们将使用一些基线方法对合成降雨数据和真实降雨数据进行评估。对于合成雨评估，我们使用算法1中相同的渲染技术基于[28]中的测试图像创建了测试数据集，表示为测试1。为了与基线进行公平的比较，我们将最先进的去雾方法[2]与一系列艺术雨纹去除方法：（a）深度详细网络（DDN）[7]，（b）DID-MDN方法[40]，（c）RESCAN[21]方法，和（d）JCAS [10]方法。此外，我们还比较了在Outdoor-Rain数据集上训练的Pix 2 Pix GAN [13]和CycleGAN [42]。5.1. 消融研究Derain + Dehaze还是Dehaze + Derain？第一个消融研究以不同的顺序评估了组合去雾和去雾方法的性能我们将 DeHaze First 表 示 为 DHF ， 将 DeRain First 表 示 为DRF。我们在测试1数据集上测试了这些方法，表2显示了这些基线方法在PSNR [12]和SSIM中的[35] 公制我们将把我们的方法与更好的管道进行比较。分解模块为了研究分解模块的有效性，我们比较了三种不同的网络架构：（a）在第一阶段中没有分解模块，表示为“无分解”。（b）.分解模块以输入图像为引导图像，简称“输入引导分解”。（c）。我们使用本文提出的架构，命名为“残差引导分解”。我们在测试数据集Test 1上运行这三种方法，并评估估计的S，T亚当[18]优化器，权重衰减10−4，只有su-方法度量引导图像JPSNRSPSNR不PSNR一误差No分解-10.8723.6514.950.212分解输入图像11.3023.4215.850.151分解残留通道13.8323.7019.480.150对“不分解”的改进27.23%0.21% 30.30% 百分之二十九点二五43211639渗透LΘ。 学习率初始设置为0.001，1https://github.com/liruoteng/HeavyRainRemoval43211640GT(a) 投入（b）DDN [7] + [2] (c)[40] + [2] (d)RESCAN+ [2](e)[13]第十三话(f)[42]第42话（一）图5：我们的算法与测试1数据集上执行的基线方法的比较表2：我们的算法与测试1数据集上执行的基线方法的比较。(a) 投入（b）J（c）C（d）d图6：重建图像J在远处物体上产生变暗的结果。细化网络根据归一化深度图d恢复细节。以及PSNR [12]度量中的重建图像J。对于大气光A，我们针对[12]和SSIM [35]指标。图5显示了我们的算法和其他基线方法产生的定性结果。在此，我们选择去雾+去雾和去雾+去雾两种方法去去除雨带，取得了较好的效果。[10][7][21][40].请注意，直接使用GAN方法（如[13][42]）不会为该图像增强问题产生适当的解决方案，因为这些生成模型有时会生成虚假结果，地面实况Σ：错误=i∈r，g，b|.|. 从如图5的第一个例子（顶部）所示表1中所示的定量结果操作显著地增加了传输估计的准确性，从而改善了重建图像J.由于由输入图像引导的分解不能完全分离雨纹和低频分量，因此估计的S没有获得优势。然而，使用无条纹残留通道作为引导图像，传输和大气光将受益于无条纹的低频分量，从而导致估计的进一步改善细化阶段的研究图6显示了重建图像J和我们的网络在真实世界雨图像上产生的最终输出C可以观察到在图像J上远处的树周围存在暗区域。结果变暗是除雾方法中常见的问题之一。我们的细化网络能够识别这些区域，并根据使用等式（1）从估计的透射图T转换的相对深度图d，以视觉上精细的颜色恢复远处树（13）。5.2. 人工降雨分析表2展示了我们的算法在PSNR方面与基线方法相比的定量性能5.3. 真实世界降雨分析定性结果图7显示了我们的方法与其他基线方法之间的定性比较。对于中雨场景下的基线方法，除霾分量通常会产生较暗的结果，而除雨分量不可避免地会破坏背景细节，导致图像模糊。(e.g.图中的树叶和灯杆。7第1、2行）。在大雨的情况下，这些基线方法不能有效地消除雨条纹，因为存在强大的雨水积累（图。7第5行）。此外，现有技术的雾度去除方法不能有效地去除遮蔽效应。在基线结果的远区仍然可以观察到模糊效应（图4的第4行）。（七）.多亏了深度引导的GAN，我们的方法能够识别偏远地区，并消除适量的面纱效应。应用为了提供证据证明我们的图像恢复方法将有利于室外计算机视觉应用，我们使用Google Vision API对象识别系统来评估我们的结果。图8显示了Google API生成的结果的屏幕截图。我们测试了20组真实的雨图像和我们的方法和基线方法的derained图像[7，21]。我们报告的分类方法测试1度量PSNR SSIMJCAS [10] +去雾DHFDRF14.95 0.59016.44 0.599DDN [7] +去雾DHFDRF13.36 0.58315.68 0.640DID-MDN [40]DHFDRF14.17 0.57712.58 0.471RESCAN [21] +去雾DHFDRF14.72 0.58715.91 0.615[13]第十三话19.09 0.710CycleGAN [42]17.62 0.656无分解+第220.82 0.832我们的-J20.05 0.779我们的-C21.56 0.85543211641Google API图像分类结果90.00%85.00%百分之八十百分之七十60.00%50.00%40.00%百分之三十百分之二十百分之十0.00%的百分比输入图像DetailsNet重新扫描我们百分之二十百分之十五5.00%前1错误率(a) 输入（b）我们的（c）CycleGAN [42]（d）[2]+DID-MDN [40]（e）RESCAN [21]+[2]（f）参考图7：我们的算法与真实世界雨场景的基线方法的比较。参考图像是刚在雨后拍摄的其他照片。从上到下，雨越来越大。（放大以查看详细信息）。图8：输入雨图像和我们的结果的对象识别结果。我们测试了20组我们的雨和derain图像和基线方法[21，7]。我们在右边的条形图中记录前1名的错误率。top-1错误率可以看出，我们的方法显著提高了识别结果，优于其他基线方法。6. 结论我们提出了一种新的2阶段CNN，能够同时去除雨条纹和雨积累。在基于物理的第一阶段，引入了一个新的条纹感知分解模块来分解纠缠雨条纹和雨水积累，以便更好地提取关节特征。同时对场景传输和大气光进行了估算，为第二阶段提供必要的深度和光照信息。我们提出了一个条件GAN在细化阶段，采取在重建图像从前一级，并产生最终的干净的图像。综合实验结果表明，该方法在人工降雨和真实降雨数据上的性能均优于基线。43211642引用[1] P. Barnum，T. Kanade和S.纳拉希姆汉时空频率分析用于从视频中去除雨和雪。在第一届计算机视觉光学分析国际研讨会论文集-PACV 2007，第8页。INRIA，2007年。[2] D. Berman，T. Treibitz和S.阿维丹非局部图像去雾。在IEEE计算机视觉和模式识别会议，2016年。[3] J. Bossu，N. 上埃，还有J. - P. 塔瑞尔利用条纹方向直方图检测序列图像中的雨或雪International Journal ofComputer Vision，93（3）：348[4] B. Cai，X. Xu，K.贾角，澳-地Qing和D.涛. Dehazenet：用于 去除 单一 图像 雾度 的端到 端系 统。 透射 图像Proc. ，25（11）：5187-5198，Nov. 2016年。[5] J.Chen和L.周一种高动态场景下的雨像素恢复算法。IEEE Transactions on Image Processing，23（3）：1097[6] J. Chen，C.- H. Tan，J. Hou，L.- P.Chau和H.李cnn框架中用于雨去除的鲁棒视频内容对准和补偿。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。[7] X. Fu，J.Huang，黄氏拟谷盗D.Zeng，Y.Huang，X.丁宁和J.佩斯利通过深度细节网络从单个图像中去除雨水在IEEE计算机视觉和模式识别会议（CVPR），2017年7月。[8] K. Garg和S. K.纳亚尔视觉与雨国际计算机Vision，75（1）：3-27，Oct. 2007年[9] C. 戈达尔湖，澳-地Mac Aodha和G.J. 布罗斯托具有左右一致性的无监督单目深度估计。在CVPR，2017年。[10] S. Gu，D.孟，W. zuo和L.张某用于单图像层分离的联合卷积分析和合成稀疏表示2017年10月在IEEE计算机视觉国际会议（ICCV）上发表[11] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。在2016年IEEE计算机视觉和模式识别会议，CVPR 2016，Las Ve-gas，NV，USA，2016年6月27-30日，第770-778页[12] Q. Huynh-Thu和M.甘巴里psnr在图像/视频质量评价中的有效范围。Electronics Letters，44（13）：800[13] P. Isola，J.Y. Zhu，T.Zhou和A.A. 埃夫罗斯使用条件对抗网络的图像到图像翻译。arxiv，2016.[14] T.- X. 江，T. Z. 黄X L. 赵湖J. Deng，以及Y.王.一种新的基于张量的视频雨纹去除方法，通过利用歧视性的内在pri- ors。在IEEE计算机视觉和模式识别会议（CVPR）上，2017年7月。[15] J. Johnson，A. Alahi和L.飞飞实时风格转换和超分辨率的感知损失。2016年欧洲计算机视觉会议[16] L. W.康角，澳-地W. Lin和Y. H. Fu.通过图像分解自动去除基于单个图像的雨条纹。IEEE Transactions on Image Processing，21（4）：1742-1755，2012年4月。[17] J. H.金，J. Y. Sim和C. S. Kim. 视频去同步以及使用时间相关性和低秩MAC-MAC-COMPLEMENT进行去噪IEEE Transactions on Image Processing，24（9）：2658[18] D. P. Kingma 和J. BA. Adam ：随机最佳化的方法。CoRR，abs/1412.6980，2014。[19] M. 李角谢峰Zhao，W.Wei，S.Gu，J.Tao和D.孟多尺度卷积稀疏编码消除视频雨痕在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。[20] R.利河，巴西-地T. Tan和L F.阿昌雨天场景中的鲁棒光流。在欧洲计算机视觉会议（ECCV），2018年9月。[21] X. Li，J.Wu，Z.Lin，H.Liu和H.扎。用于单幅图像去训练的循环在欧洲计算机视觉会议（ECCV），2018年9月。[22] Y.利河，巴西-地T. Tan，X. Guo，J. Lu，and M. S.布朗使用层先验去除雨痕。在IEEE计算机视觉和模式识别会议（CVPR）上，2016年6月。[23] J. Liu，W.Yang，S.Yang和Z.小郭。擦除还是填充？视频中的深在IEEE计算机视觉和模式识别会议上，2018年6月。[24] Y. Luo，Y.Xu和H.纪通过鉴别稀疏编码从单幅图像中去除雨水2015年IEEE国际计算机视觉会议（ICCV），第3397-3405页[25] M. Mirza 和 S. 奥 辛 德 罗 条 件 生 成 对 抗 网 。 CoRR ，abs/1411.1784，2014。[26] S. G. Narasimhan和S. K.纳亚尔天气预报。在2003年IEEE计算机学会计算机视觉和模式识别会议论文集，CVPR'03，第665-672页，华盛顿特区，美国，2003年。IEEE计算机协会。[27] P. K. Nathan Silberman、Derek Hoiem和R.费格斯。室内分割和支持从rgbd图像推断。ECCV，2012年。[28] R.钱河，巴西-地T.谭，W。Yang，J. Su，and J.刘某用于从单个图像中去除雨滴的注意生成对抗网络。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。[29] W. Ren，J. Tian，Z. Han，A. Chan和Y.唐基于矩阵分解的视频去噪与去噪。在IEEE计算机视觉和模式识别会议（CVPR），2017年7月。[30] S. R. Richter，Z. Hayder和V.科尔顿。为基准而战。在IEEE International Conference on Computer Vision ，ICCV 2017 ， Venice ， Italy ， October 22-29 ， 2017 ，pages 2232[31] 诉Santhaseelan和V.K. Asari 一种基于相空间方法的视频雨检 测与 去除 方法 。在智能 机器 人和 计算 机视 觉XXIX：算法和技术，第8301卷，第830114页，1月。2012年。43211643[32] 诉Santhaseelan和V.K. Asari 利用局部相位信息去除视频中的雨水。International Journal of Computer Vision，112（1）：71[33] A. K. Tripathi和S.Mukhopadhyay。视频后处理：用于雨的检测和去除的低延迟时空方法。IET图像处理，6（2）：181-196，2012年3月。[34] D. Ulyanov，A. Vedaldi和V. S. Lempitsky实例规范化：快 速 风 格 化 缺 少 的 成 分 。 CoRR， abs/1607.08022 ，2016。[35] Z. Wang，中国山核桃A. C. Bovik，H. R. Sheikh和E.西蒙切利图像质量评估：从错误可见性到结构相似性。IEEE Transactions on Image Processing，13（4）：600[36] W. 韦湖，澳-地伊角，印尼-地谢峰Zhao，中国粘蝇D.Meng和Z.徐我们应该将视频中的雨纹编码为确定性的还是随机的？2017年10月在IEEE计算机视觉国际会议（ICCV）上发表[37] H. Wu，S. Zheng，J. Zhang，and K.煌快速端到端可训练引导过滤器。在IEEE计算机视觉和模式识别会议，2018年6月。[38] W.扬河，巴西-地T. Tan，J. Feng，J. Liu，Z. Guo和S.燕.通过迭代区域相关多任务学习联合雨检测和去除。CoRR，abs/1609.07769，2016。[39] S. 你，R T. 坦河，巴西-地 Kawakami，Y. Mukaigawa，K.池内视频中附着雨滴的建模、检测与去除。IEEETransactionsonPatternAnalysisandMachineIntelligence，38（9）：1721[40] H. Zhang和V. M.帕特尔使用多流密集网络的密度感知单个图像去训练。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。[41] X. Zhang，H. Li，Y.齐，W. K. Leow和T. K. Ng. 通过结合时间和色彩特性在视频中去除雨水。在2006年IEEE多媒体和博览会国际会议上，第461-464页[42] J. - Y. Zhu，T.帕克山口Isola和A.A. 埃夫罗斯使用循环一致对抗网络的不成对在计算机视觉（ICCV），2017年IEEE国际会议上，2017年。[43] L.朱春W. Fu，D. Lischinski和P. - A.衡单图像雨纹去除的联合双层优化。2017年10月在IEEE计算机视觉国际会议（ICCV）上发表