细节恢复的雨水去除网络

14560基于上下文聚合网络的邓森1、2魏明强1、2王军1、2冯 一丹1、2梁鲁明3 谢浩然4王李福5王猛61南京航空航天2模式分析与机器智能3微软应用科学组4岭南大学5香港公开大学6合肥工业摘要本文着眼于这个有趣的问题：在去同步过程中丢失细节的单个图像是否可以恢复到无伪影状态？我们提出了一个端到端的细节恢复图像deraining网络（称为DRD-Net）来解决这个问题。与现有的图像去噪方法，试图同时去噪和保存细节在一个统一的框架，以满足冲突的目标，我们建议将雨水去除和细节恢复作为两个独立的任务，使每个部分可以专门化，而不是权衡。具体地说，我们引入了两个并行的子网络与综合损失函数，协同去欺骗和恢复失去的细节所造成的去欺骗为了完全去除雨，我们提出了一个雨剩余网络与挤压和激励（SE）操作，以消除雨条纹从下雨的图像。对于细节恢复，我们构造了一个由精心设计的结构细节上下文聚合块（SDCAB）组成的特殊细节修复网络，以鼓励丢失的细节返回，从而消除图像退化。此外，我们提出的细节修复框架的细节恢复分支是可分离的，可以并入现有的去水印方法，以提高其性能。DRD-Net已在几个著名的基准数据集上进行了验证，(a)真实值PSNR=Inf/SSIM=1(c)SPA-Net 19.10/0.8280（CVPR'19）(e)我们的不含细节修复净值24.02/0.9080(b)雨天图像9.56/0.4418(d)DAF-Net 21.67/0.8489（CVPR(f)我们的DRD-Net26.14/0.9320和细节精确度的问题。比较- s显示出清晰的视觉和数值改进，我们的方法超过国家的最先进的1。1. 介绍在雨天拍摄的图像不可避免地会受到视觉质量明显下降的影响。这种退化会对户外基于视觉的任务造成不利影响，*共同通讯作者（mqwei@nuaa.edu.cn/hrxie@ln.edu.hk）。1源代码：https://github.com/Dengsgithub/DRD-Net图1.在以下数据集中测试的图像去重结果雨200H。从（a）至（f）：（a）地面真实图像城堡，（b）下雨图像城堡和（c）SPA-Net [25]，（d）DAF-Net [10]，（e）我们的w/o Detail Repair Net和（f）我们的DRD-Net的去劣化结果。例如视频监控、自动驾驶和物体检测。因此，对雨天图像进行去雨处理是必不可少的，也就是图像去噪。图像去噪的最终目标是从其观测值O=B+R中恢复具有雨条纹R的地面实况图像B，这是一个不适定问题，因为14561雨天图像雨纹细节修复功能雨天图像Derained图像雨纹细节修复功能SE SE SESESESEConv 3x3PReluRRB1 RRB2RRB3RRB14RRB15RRB 16Conv3x3BNConv 3x316 RRBS雨残网Conv 3x3SDCAB1SDCAB2SDCAB3PReluSDCAB 14SDCAB 15SDCAB 16Conv3x3BNConv 3x316架详细维修网络Derained图像雨天图像细节修复功能雨纹图2.DRD-Net由两个子网络组成，即，雨水排除网和细部修复网。第一个子网络，它结合了挤压和激励（SE）操作与残留块，以充分利用空间上下文信息，旨在从雨天图像中去除雨条纹。第二子网络集成了结构细节上下文聚合块（SDCAB）以聚合大接收场的上下文特征信息，试图将丢失的细节恢复到被破坏的图像。无论是干净的图像还是雨带都是未知的。传统的图像去噪方法在中、大雨时效果不佳，而基于学习的去噪方法往往会导致图像细节丢失、光晕伪影和/或颜色失真等图像质量下降。基于视频的去冗余方法可以借用序列帧之间的冗余信息来进行质量雨去除[6，22]。相比之下，基于单个图像的去训练方法应该从先验中获得支持，例如高斯混合模型[17]，稀疏编码[19]和低秩表示[29，7]，或者由于缺乏序列信息，将大型数据集馈送到精心设计的深度网络[5，10，25]尽管图像去噪技术在处理小雨图像时取得了很好的效果，但在极端恶劣天气下的图像中，去噪技术在去除雨迹和有效地保留图像细节方面受到了很大的限制。这种现象发生在图。1.这是因为图像细节的大小与雨条相似甚至更小，而计算机中的雨图像缺乏单独描述它们的语义信息。因此，通常同时去除图像细节和雨条纹。没有最先进的方法可以作为各种应用程序的图像去除灵丹妙药：它们产生在雨水去除和图像细节保持之间进行折衷的去伪结果。与现有的图像去噪方法试图保持图像细节，缺乏细节恢复不同机制，我们看看这个有趣的问题：既然图像去重本质上导致图像细节模糊，那么在图像去重期间丢失细节的单个图像是否可以恢复到它们的无伪影状态？提出了一种基于上下文聚合网络的端到端细节恢复图像去冗余网络（DRD-Net），该网络简单地引入了一个分支，但能够清晰地恢复原始图像的细节这项工作的主要贡献可以总结如下：• 我们建立了一个双分支并行网络（DRD网络）组成的挤压和激励（SE）的雨残留网络和细节修复网络。SE在同一卷积层中聚集特征图，以充分利用空间上下文信息来完全去除雨水，并且额外的细节修复网络鼓励丢失的细节在通过雨水残差网络去噪后返回到图像• 我们提出了结构细节上下文聚合块（SDCAB），它具有更大的接收字段，并充分利用无雨图像补丁，并演示了SDCAB如何促进细节恢复的特定任务。• 我们提出的框架将雨水去除和细节恢复看作两个独立的任务，因此细节恢复分支实际上是可分离的，可以并入现有的去噪方法中以提高其性能。145622. 相关工作2.1. 视频去重方法由于视频中序列帧的冗余信息，雨条纹可以更容易地识别和去除[6，22，1]。[6]通过对相邻帧中对应像素的强度求平均值来替换雨天像素的强度[2]基于雨纹方向直方图检测雨纹[23]总结了近年来提出的基于视频的去盲方法。此外，来自基于视频的技术的去重结果可以用作单个图像去重的干净图像[25]。2.2. 单图像去重方法在没有时间信息的情况下，基于单个图像的方法比基于视频的方法更具挑战性。对于从单个图像中去除雨水，现有方法分为两类：传统方法和基于深度学习的方法。传统方法：已经提出了各种图像先验来从单个图像中去除雨水。他们假设雨条R是稀疏的，并且方向相似。在此假设下，他们将输入图像O分解为无雨背景场景B和雨条纹层R. [12]使用字典学习将雨条纹与高频分离[19]提出了一个判别稀疏用于基于图像块从背景图像中分离雨条纹的编码。在[17]中，提出了高斯混合模型（GMM）作为先验，将输入图像分解为雨条纹和背景层。[33]首先检测雨主导区域，然后将检测到的区域用作引导图像以帮助将雨条纹与背景层分离。[29]利用雨条纹的低秩属性来分离两个层。基于深度学习的方法：基于深度学习介绍了一种单图像去噪方法通过[5]的改进，显著提高了反跟踪性能。后来，[31]提出了一种条件生成对抗网络（GAN），并使用感知损失来改进结果。 [27]形成了一个深的复发性关节扩张t雨纹检测和去除网络，以去除雨纹。[16]提出了一种基于递归神经网络结构的多级网络来消除不同方向上的雨痕。[30]提出了一种密度感知的多流连接的网络去噪。通过保持负残差特征，[4]建立了一个残差引导网络，用于从单个图像中去除雨条纹与[27]将雨水累积消除视为单独的任务不同，[10]和[15]将物理公式合并到整个网络架构中。 为了处理真实世界的情况，[25]构造了一个真实世界的降雨数据集，并将空间注意力机制纳入网络设计，而[26]通过最小化其降雨残差的参数化分布之间的KL距离，将监督图像对和无监督真实降雨图像都考虑到网络训练中。在[24]中，基于编码器-解码器的网络被解释为条件生成器，并且通过对生成器的输入进行优化的残差学习分支来改善去抑制性能。现有的图像去噪方法试图通过使用适当的损失函数或从大型甚至真实世界数据集学习来保持图像细节。然而，由于诸多复杂的原因，图像细节在一定程度上仍会丢失.例如，大多数当前的网络架构不能处理饱和区域，其中雨非常大并且完全遮挡背景场景。这就是为什么一个详细的维修网络是必要的。因此，我们提出了一个细节恢复图像去盲网络，它包括两个子网络，具有综合损失函数，用于协同去盲和恢复因去盲而丢失的细节。3. DRD-Net由于雨纹和图像细节在本质上都是高频的，它们不可避免地具有相似的几何特性，因此图像去伪往往会导致细节模糊遗憾的是，现有的方法很少注意恢复图像细节，一旦他们在图像去重过程中丢失对于单个图像的雨水去除和细节恢复，我们提出了两个子网络，它们一起工作，如图所示。2.一方面，我们引入了一个雨残差网络来训练一个函数，该函数将雨图像映射到它们的雨条纹。因此，我们可以从雨图像中分离出雨条纹，得到初步的图像另一方面，不同于以往的方法将一幅雨图像分解为背景层和雨条纹层，本文提出了一种额外的细节修复网络，以恢复丢失的细节。在下文中，我们将分别介绍雨水剩余网络和详细的修复网络。3.1. 雨残网残差学习被证明是图像恢复任务的强大工具基于雨条纹R比无雨背景场景B稀疏的观察结果[16]，我们通过训练残差网络来学习函数，该残差网络将下雨图像O映射到雨条纹R。我们通过最小化损失函数来训练这样的网络，ΣLossr=||f（Oi）−Ri||第二条第一款i∈N（D）14563我输入输入输入输入输入Conv+BN+PreluConv+BN输出输出输出：SE：SE(a) 直接网络（b）残差块(c) 直接网络与SE输出(d) 具有SE（d）结构细节上下文聚合块的残差块图3.不同的卷积风格。从（a）-（d）：（a）直接网络，（b）残差块，（c）具有SE的直接网络[16]，（d）在我们的雨残差网络中使用的具有SE的雨残差块，以及（e）在我们的细节修复网络中使用的结构细节上下文聚合块其中f（·）是我们要学习的函数，Oi是一个3.2. 详细维修网络rain yimage和R是地面实况雨纹层，训练数据集D，其编号为N（D）。我们的降雨残差网络的结构如图的上半部分所示。2，它利用了挤压和激励（SE）[9]操作。考虑到跳跃连接可以提供长距离信息补偿并实现残差学习[14]，我们将SE操作与我们的雨残差网络中的残差块结合起来，这与图1不同。3（c）用于RES- CAN [16]。雨残差网络包括3个卷积层和16个雨残差块。第一层可以解释为编码器，用于将雨天图像转换为特征图，最后两层用于从特征图恢复RGB通道。在数学上，雨残差块可以用公式表示为：RRB=SE（Res（X0）），（2）其中，RRB是雨残差块的输出，SE（·）和Res（·）表示图1所示的SE操作和残差块。3（d），并且X0是输入信号。空间上下文信息已被证明是有效的，在单一的图像deraining [11，16]。然而，同一层中的不同特征通道是独立的，并且在先前的卷积操作期间具有很小的相关性与普通残差块的主要区别在于，我们将SE组合到网络中的残差块中。由于SE可以对不同特征通道之间的相关性进行建模，因此我们可以通过赋予更大的权重来强化具有更多上下文信息的特征通道。然而，具有较少空间上下文信息的特征通道将仅接收较小的权重。所有的现在，图像脱轨导致图像退化，自然，我们可以训练额外的细节恢复网络，使细节丢失的图像可以恢复到无伪影状态。基于通过从雨天图像O中减去雨条纹R而获得的初步去噪图像Ip，我们可以通过优化损失函数来训练函数以鼓励丢失的细节返回，如下所示：ΣLossd=||（Ip，i+g（Oi））−Ii||第二条、第三条i∈N（D）其中g（·）是我们试图学习的函数，Oi是一个下雨的图像。Ii是D中的地面实况无雨图像。受[27]中工作的启发，我们设计了我们的细节修复基于结构细节上下文聚合块（SDCAB）的网络。与[27]不同的是，我们在整个网络流中采用SDCAB，以充分利用多尺度特征，而[27]仅在第一层中使用多尺度膨胀块来提取图像特征。我们已经验证了这一修改有利于我们的细节恢复网络。具体来说，SDCAB由不同尺度的膨胀卷积和1 × 1卷积组成，如图3（d）所由于大的感受野非常有助于获得更多的上下文信息[16]，因此我们在SDCAB中提出了3个扩张卷积，其扩张尺度为1，3和5。然后，为了提取最重要的特征，我们将扩张卷积的输出连接起来，并利用1×1卷积来降低特征维数。为了降低训练的复杂度，在SDCAB中引入了残差网络。如图3（d）中，扩张卷积层（DCCL）可以表示为：在训练步骤期间，由雨残差网络自动学习不同信道的权重DCCL=Conv1×1（Cat[Conv3×3，d1（X），Conv3×3，d3（X），Conv3×3，d5（X）]），（四）K3D1K3D3K3D5K3D3K3D1Conv1x1K3D5：身份映射扩张卷积级联层输出BNDCCLBN+PRELUDCCLFC 2 +SigmodFC 1 +Relu全局平均池化ConvConvConvFC 2 +Sigmod全局平均池化FC 1 +ReluConv+BN+PreluConv+BN14564(a) 天气预报（0）：0.2440(b) DRRNX的结果23.71/0.9024(c) 最终结果Y25.79/0.9302(d) 地面实况图像Inf/1(e) 图像Y-X图4.在Rain200L数据集中测试的图像去噪结果。从（a）至（e）：（a）输入的雨图像，（b）仅使用雨残差网络的结果X（即，没有细节修复网络），（c）DRD-Net的结果Y，（d）地面实况图像，以及（e）Y-X的图像（注意：为了更好的可视化，我们已经反转了图像Y-X其中Convx×x，dy表示核大小为x×x的扩张卷积，扩张尺度为y。Cat（·）是一个连接操作，X是输入特征。在数学上，SDCAB可以公式化为：SDCAB=Add[Xinput，BN（DC CL2）]，（5）4. 实验与讨论三个合成数据集和一个真实世界的数据集被用来验证我们的DRD-Net。合成数据集：由于获取雨/净图像对数据集的困难，我们使用了同步-其中DCCL2被描述为训练我们的网络。[31]提供了一个名为Rain800的综合数据集，其中包含700个训练DCCL2=PRelu（BN（DCCL1（X输入），（6）大的感受野在获得更多信息方面起着重要作用有了更大的感受野，我们可以获得更多的上下文信息，这有助于找回丢失的细节。我们可以从图中观察到。4，DRD-Net已经找到了通过过滤雨天图像以获得X而丢失的细节。我们在三个合成数据集上提供了更多的实验结果，以比较表1中使用和不使用附加细节修复网络（DRN）的图像去噪性能如表1所示，我们的DRD-Net优于其他网络体系结构，这要归功于它能够找回丢失的细节。3.3.综合损失函数如上所述，我们采用最简单的L2损失作为目标函数。我们的两个子网络的综合损失函数可以用公式表示为ΣLosstotal=λ1||f（Oi）−Ri||2i∈N（D）图像和100个测试图像。[28]收集并合成两个数据集，包括Rain200L和Rain200H。Rain200L和Rain200H都包含1800张训练图像和200张测试图像。真实世界数据集：[25]、[28]和[31]提供了一些真实的雨天图像来验证去噪方法的鲁棒性。我们使用这些图像进行客观评估。培训详情：我们将epoch的总数设置为120，每个epoch包括1000次迭代。在训练过程中，我们将网络的深度设置为35，并使用非线性激活PRElu [8]。为了优化我们的网络，Adam [13]采用最小批量大小为4的方法来训练网络。我们将学习率初始化为0.01，每15个epoch除以2所有的实验都是在Nvidia 2080Ti GPU上完成的。4.1. 消融研究不同组件的消融研究：为了探索我们的DRD-Net的有效性，有必要将其完整方案分解为不同的部分，甚至取代Σ+λ2||（一i∈N（D）（七）p，i+g（Oi））−Ii||二、消融研究的网络架构。• BL：基线（BL）表示残差网络，其中，Oi表示第i个输入雨天图像，Ip，i表示第i个输入雨天图像，由Oi减去雨纹Ri得到的初步去噪图像，Ri和Rii分别为雨纹图像和无雨图像，λ1和λ2为t-两个参数来平衡两个子损失函数，在我们的实验中，子损失函数被固定为0。1和1. 0分别。14565SE操作，它学习一个函数，雨的图像到雨的条纹。• BL+SE：将SE操作添加到基线。• BL+SE+DB：采用两个子网进行图像去重。一个是雨水残留网-14566表1.我们的DRD-Net和其他网络架构之间的定量比较数据集指标BLBL+SEBL+SE+DBBL+SE+RBDRD-Net（我们的）Rain200L峰值信噪比35.5736.1736.8937.0437.15SSIM0.97590.97780.97920.98600.9873Rain200H峰值信噪比26.2026.4927.1627.0128.16SSIM0.82450.84730.91580.90610.9201Rain800峰值信噪比25.8326.0426.0926.1226.32SSIM0.80930.81810.89030.89660.9018工作（BL+SE），另一种是基于直接块的细节修复3（a））。• BL+SE+RB：在细节修复网络中，DB被替换为剩余块（RB）。• BL+SE+SDCAB：我们的DRD-Net，它包括雨残留网络（BL+SE）和详细的修复网络的基础上提出的结构细节上下文聚合块（SDCAB）。表2.在合成数据集Rain200H上对我们方法的不同设置进行消融研究。M表示我们网络中特征图的数量，D是我们网络的总深度。度量M = 16M = 32M = 64D = 8+3PSNR26.3626.7726.97SSIM0.90850.91170.9135D = 12+3PSNR26.5226.8927.31SSIM0.90920.91290.9152PSNR26.9327.6128.16D = 16+3SSIM0.91270.91830.9201SE和SDCAB分析：为了验证图1所示结构的必要性。3（d），我们从网络中删除SE操作，并在表1中显示结果。结果表明，在不加SE操作的情况下，系统的脱轨性能这从另一个侧面证明了SE操作的必要性。为了评估SDCAB的有效性，我们将我们的网络与其他连接类型的块进行了比较，包括直接块（DB），DDN中使用的剩余块（RB）[5]。为了公平比较，我们分别用DB和RB代替SDCAB，如表1所示。BL+SE+SDCAB的完整方案在三个数据集上的性能优于其他结构，证明了SDCAB对细节恢复图像去噪的重要性。消融研究参数设置：DRD-Net不同参数设置下的结果见表2.我们已经 讨论了特征图 和SDCAB 或雨残差 块（RRB）的数量的影响。4.2. 与最新技术我们将我们的方法与几种最先进的去训练方法进行比较，包括2种基于先验的方法，即，G-MM [17]和DSC [20]，以及4种基于学习的方法，即，[10][11][12][13][14][15][16][17][18][19][19][25][21][22][23]所有这些方法都是在相同的训练和测试数据集中进行的，以便进行公平的比较。我们的DRD-Net可以有效地避免图像退化所造成的deraining如图所示。5（上行-每行）。虽然大多数方法都能有效地去除雨条纹，但去噪后会出现光晕伪影和颜色失真。此外，对于大多数方法来说，从大雨图像中保持/恢复细节是具有挑战性的，如图所示。5（中间和底部行）。斑马和自行车的白色条纹被比较的方法严重模糊，而他们被认为是图像的细节，并恢复了良好的DRD-Net。为了验证我们的DRD-Net的实用性，我们在一系列真实世界的降雨图像上直观地评估了它的性能。6.DRD-Net可以有效地从图像中去除真实世界的雨条纹，同时保留它们的细节，但其他方法有些倾向于过度平滑图像。此外，目视比较通常与数值评价一致，见表3.我们的DRD-Net在这三个数据集上获得了比其他方法更高的PSNR和SSIM值。4.3. 其他去重网络的细节恢复现有的基于深度学习的去重方法诉诸于精细的网络设计，以满足消除雨纹但保留类似属性的细节的挑战性目标。相比之下，我们的DRD-Net通过两个并行网络分支将此冲突任务分解为删除和修复，这两个分支共享相同的输入并协作以吐出高保真输出。显然，除雨部分的选择并不是唯一的，细节恢复分支可以很容易地附加到现有的去噪网络，以提高其性能。以DDN [5]为例，我们对DDN和我们的细节修复网络组成的并行网络进行了实验。为了公平比较，我们保留了原始DDN中的大多数参数。细节修复网络的深度和我们随机选取20个大小为64 × 64的图像块来训练网络，1456724.85/0.878735.62/0.981239.70/0.990936.67/0.978739.83/0.99.934.63/0.978640.11/0.9915INF/111.98/0.485922.77/0.877024.83/0.918323.49/0.899826.86/0.948819.38/0.834628.29/0.9528INF/1(a)雨天图像(b)DDN(c)重新扫描(d)DAF网络(e)PReNet(f)SPA-Net(g)我们(h)地面实况8.97/0.287721.92/0.784823.71/0.859921.67/0.826424.79/0.875718.59/0.760424.92/0.8891INF/1图5.在合成数据集中测试的图像去噪结果。从（a）至（h）：（a）下雨的图像，以及（b）DNN [5]，（c）RESCAN [16]，（d）DAF-Net [10]，（e）PReNet [21]，（f）SPA-Net [25]，（g）我们的DRD-Net的去中心化结果，以及（h）地面真相。(a) 雨天图像(b) GMM(c) DDN(d) 重新扫描(e) DAF网络(f) PReNet(g) SPA-Net(h) 我们图6.在真实数据集中测试的图像去噪结果从（a）-（h）：（a）下雨的图像，和（b）GMM [17]的deraining结果(c)[5]，（d）RESCAN [16]，（e）DAF-Net [10]，（f）PReNet [21]，（g）SPA-Net [25]和（h）我们的DRD-Net分别。类似于DDN。我们在数据集Rain800和Rain200H中评估网络，如表4所示。可以看出，DDN与细节修复网络相结合，由于细节恢复的并行结构，DDN的性能优于原始DDN，而效率牺牲可以忽略不计4.4. 运行时间我们在Rain200H数据集上比较了我们的方法与不同方法的运行时间，如表5所示。据观察，我们的方法不是最快的，但它的性能仍然是可以接受的。表4.定量评价DDN w DRN是指DDN与详细修复网络相结合。数据集DDN DDN w DRNRain200H峰值信噪比24.64 25.92时间0.03s 0.15sRain800峰值信噪比24.04 25.13时间0.05s 0.14s14568表3.在三个公认的合成数据集上进行定量实验。第一个和第二个最好的结果用黑体字和下划线表示。数据集Rain200L Rain200H Rain800PSNR SSIM PSNR SSIM PSNR SSIMGMM [17] 27.16 0.8982 13.04 0.4673 24.04 0.8675粤ICP备15044550号-1粤ICP备16016669号-1RESCAN [16]37.07 0.9867 26.600.8974 24.09 0.8410DAF-Net [10] 32.07 0.9641 24.65 0.8607 25.27 0.8895[25] 20.59 0.9652 23.04 0.8522 22.41 0.8382PReNet [21] 36.76 0.979628.08 0.887126.610.9015我们的37.15 0.9873 28.16 0.920126.320.9018(a)(b)（c）第（1）款图7.在Google Vision API上测试的结果。从（a）至（c）：（a）真实世界雨天图像中的对象识别结果，(b) （c）分别从DDN [5]、RESCAN [16]和我们的DRD-Net的30组真实雨图像和dererained图像中识别雨的平均置信度。注意：零置信度是指Google API从一张被破坏的图像中识别出雨的完全失败。表5. Rain200H数据集中不同方法的平均时间（秒）和性能。5. 结论度量 GMM DSC DDNRES可以DAF净PReNetSPA净我们我们已经提出了一个端到端的网络与两个子网络的图像deraining从单一的图像。一张网-PSNR13.04 13.17 24.64 26.60 24.65 28.08 23.04 28.16这项工作的目的是消除雨条纹从下雨Avg时间331.4s 92.9s 0.03s 0.25s 0.52s 0.20s 0.06秒0.54秒另一种方法是从被破坏的图像中发现细节。本文提出了一种新的结构细节上下文聚合块（SDCAB），它具有较大的接收域以获得更多的空间信息。此外，定性和定量实验表明，我们的4.5. 应用为了证明我们的DRD-Net可以使基于视觉的应用程序受益，我们使用Google Vision API来评估去中心化结果 。结果之 一显示在 图7 （a-b ）中 。据观察 ，Google API可以识别雨天图像中的雨天天气，但无法识别雨天图像中的雨天天气。此外，我们使用GoogleAPI测试了30组真实世界的雨天图像和我们的方法和两种基线方法的derained图像[16，5]，如图所示。7（c）.可以看出，在去噪之后，从图像中识别雨的置信度显著降低。方法优于国家的最先进的学习为基础的和传统的方法，在消除雨条纹和恢复图像的细节。确认本工作得到国家自然科学基金项目（No. 61502137号研究种子基金2019/20（编号：61772267）、190-009）、研究种子基金（编号：102367）、中央大学基础研究基金（第102367号）、香港岭南大学基础研究基金（第102367号）、香港岭南大学基础研究基金（ 第 102367 号 ） 。 江 苏 省 自 然 科 学 基 金（No.2016004）。BK 20190016）。14569引用[1] Peter C.斯里尼瓦萨？巴纳姆那拉辛汉和金田武夫雨雪天气的频率空间分析。国际计算机视觉杂志，86（2-3）：256-274，2010。[2] 我是博苏，尼古拉斯·豪我是，让-菲利普·塔雷尔。通过使用条纹方向直方图的图像序列中的雨或雪检测。International Journal of Computer Vision，93（3）：348[3] 邓良健，黄廷柱，赵喜乐，姜泰祥。一种用于单幅图像雨去除的方向性全局稀疏模型应用数学建模，59：662[4] 范志文，吴华锋，付学阳，黄跃，丁兴浩.用于单幅图像去噪的残差导频网络。在2018年ACM MultimediaConference on Multime-dia Conference ， 第 1751-1759页。ACM，2018。[5] 傅学洋，黄家斌，曾德禄，黄跃，丁兴浩，约翰.佩斯利通过深度细节网络从单个图像中去除雨水。在2017年IEEE计算机视觉和模式识别会议上，CVPR 2017，檀香山，HI，美国，2017年7月21日至26日，第1715- 1723页[6] Kshitiz Garg和Shree K.纳亚尔从视频中检测和去除雨水。在2004年IEEE计算机协会计算机视觉和模式识别会议（CVPR 2004）上，带有CD-ROM，2004年6月27日至7月2日，美国华盛顿特区，第528-535页[7] Xianglin Guo，Xingyu Xie，Guangcan Liu，MingqiangWei，and Jun Wang.有限混合噪声下的鲁棒低秩子空间分割模式识别，93：55[8] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun. 深入研究整流器：超越人类对imagenet分类的水平在2015年IEEE计算机视觉国际会议，ICCV 2015，智利圣地亚哥，2015年12月7日至13日，第1026-1034页[9] 杰虎，李申，孙刚。挤压-激发网络。在2018年IEEE计算机视觉和模式识别会议上，CVPR 2018，美国犹他州盐湖城，2018年6月18日至22日，第7132-7141页[10] Xiaowei Hu，Chi-Wing Fu，Lei Zhu，and Pheng-AnnHeng.用于单图像雨去除的深度注意特征。 在IEEE计算机视觉和模式识别会议（CVPR），2019年。[11] 黄德安，康立伟，杨敏春，林嘉文，王玉强。上下文感知的单图像雨去除。在2012年IEEE多媒体和博览会国际会议论文集，ICME 2012，澳大利亚墨尔本，2012年7月9-13日，第164- 169页[12] 康立伟，林嘉文，傅玉祥。通过图像分解自动去除基于单 图 像 的 雨 条 纹 。 IEEE Transactions on ImageProcessing，21（4）：1742[13] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[14] Guanbin Li，Xiang He，Wei Zhang，Huiyou Chang，LeDong，and Liang Lin.非局部增强编码器-解码器网络用于单 图像 去雨。arXiv预印 本arX- iv ：1808.01491，2018。[15] Ruoteng Li，Loong-Fah Cheong，and Robby T Tan.暴雨图像恢复：整合物理模型和条件对抗学习。在IEEE计算机视觉和模式识别会议论文集，第1633-1642页[16] Xia Li，Jianlong Wu，Zhouchen Lin，Hong Liu，andHongbin Zha.循环压缩激励上下文聚合网络用于单图像去噪。在计算机视觉-EC-CV 2018 -第15届欧洲会议，德国慕尼黑，2018年9月8日至14日，会议记录，第VII部分，第262- 277页[17] 放大图片作者：Yu Li，Robby T. Tan，Xiaojie Guo，Jiangbo Lu，and Michael S.布朗使用层先验去除雨痕。在2016年IEEE计算机视觉和模式识别会议上，CVPR2016，拉斯维加斯，NV，美国，2016年6月27-30日，第12卷，第2736-2744页[18] 刘星，菅沼正典，孙准，冈谷孝一.双残差网络利用图像恢复的成对操作的潜力。在IEEE计算机视觉和模式识别会议论文集，第7007-7016页[19] 羽落、雍虚、慧姬。通过鉴别稀疏编码从单幅图像中去除雨水。在2015年IEEE国际计算机视觉会议，ICCV2015，圣地亚哥，智利，2015年12月7-13日，第8卷，第3397- 3405页[20] 羽落、雍虚、慧姬。通过鉴别稀疏编码从单幅图像中去除雨水。在2015年IEEE计算机视觉国际会议上，ICCV2015，智利圣地亚哥，2015年12月7日至13日，第3397-3405页，2015年。[21] Dongwei Ren，Wangmeng Zuo，Qinghua Hu，PengfeiZhu，and Deyu Meng.渐进式图像去重网络：一个更好更简单的基线。在IEEE计算机视觉和模式识别会议论文集，第3937-3946页[22] Varun Santhaseelan和Vijayan K Asari。利用局部相位信息 从 视 频 中 去 除 雨 水 。 Internation-al Journal ofComputer Vision，112（1）：71[23] Abhishek Kumar Tripathi和Sudipta Mukhopadhyay。从录像 中 移 除 雨 ： 评 论 .Signal ， Image and VideoProcessing，8（8）：1421[24] Guoqing Wang ， Changming Sun ， and Arcot Sowmya.Erl-net：用于单个图像去训练的纠缠表示学习。在IEEE计算机视觉国际会议论文集，第5644-5652页[25] 王天宇，杨欣，徐克，陈少哲，张强，刘永红。高质量真实降雨数据集的空间关注单图像脱网。在IEEE计算机视觉和模式识别会议论文集，第12270-12279页，2019年[26] 魏巍、孟德宇、赵谦、徐宗本、吴英。基于半监督迁移学习的图像雨图重构14570移动。在IEEE计算机视觉和模式识别会议论文集，第3877-3886页[27] 放大图片作者：Robby T.谭，冯佳时，刘佳英，郭宗明，严水成.通过迭代区域相关多任务学习的联合雨检测和去除。CoRR，abs/1609.07769，2016。[28] 放大图片作者：Robby T.谭，冯佳时，刘佳英，郭宗明，严水成.从单个图像中检测和去除深度关节雨。在2017年IEEE计算机视觉和模式识别会议上，CVPR2017，檀香山，HI，美国，2017年7月21日至26日，第1685- 1694页[29] Zhang和Vishal M.帕特尔基于卷积稀疏和低秩编码的雨纹消除。在2017年IEEE计算机视觉应用冬季会议上，WACV 2017，美国加利福尼亚州圣罗莎，2017年3月24日至31日，第1259-1267页[30] He Zhang和Vishal M Patel.使用多流密集网络的密度感知单图像去噪。在IEEE计算机视觉和模式识别会议论文集中，第695-704页，2018年[31] He Zhang，Vishwanath Sindagi，and Vishal M.帕特尔使用 条 件 生 成 对 抗 网 络 的 图 像 去 训 练 CoRR ，abs/1701.05957，2017年。[32] Kai Zhang ， Wangmeng Zuo ， Yunjin Chen ， DeyuMeng ， and Lei Zhang.Beyond a Gaussian denoiser ：Residual learning of deep cnn for image denoising.IEEETransactions on Image Processing，26（7）：3142[33] Lei Zhu ， Chi-Wing Fu ， Dani Lischinski ， and Pheng-Ann Heng.单图像雨纹去除的联合双层优化。在IEEEInternational Conference on Computer Vision ， ICCV2017，意大利威尼斯，2017年10月22日至29日，第2545-2553页