单图像去雨的残差学习及其应用

5644ERL-Net：用于单图像去雨的王国庆1，2，孙长明2，1和Arcot Sowmya11澳大利亚新南威尔士大学，2澳大利亚CSIRO Data61{guoqing.wang，changming.sun}@ csiro.au，a. unsw.edu.au摘要尽管通过在图像到图像转换公式内训练编码器-解码器网络在图像去训练方面取得了重大进展，但具有缺失细节的模糊结果表明现有模型的不足通过将去训练编码器-解码器网络解释为条件生成器，其中解码器充当以编码器学习的嵌入为条件的生成器，不令人满意的输出可以归因于编码器学习的低质量嵌入 在本文中，我们假设存在从低质量嵌入到潜在最优嵌入的内在映射，生成器（解码器）可以产生更好的结果。为了显著改善现有模型的去雨结果，我们建议通过制定残差学习分支来学习此映射，该分支能够以表示纠缠的方式自适应地将残差添加到原始低质量嵌入中。使用以这种方式学习的嵌入，解码器能够生成更令人满意的去雨结果，具有更好的细节恢复和雨伪影去除，在四个基准数据集上提供新的最先进的结果，具有相当大的改进（即，在具有挑战性的Rain100H数据上，获得了PSNR上4.19dB的改善和SSIM上5%的改善）。这种纠缠可以很容易地应用到任何基于编码器-解码器的图像恢复网络中。此外，我们还提出了一系列的评价指标来研究所提出的纠缠表示学习机制的具体内容。代码可在https://github.com/ RobinCSIRO/ERL-Net-for-Single-Image-Deraining中找到。1. 介绍为了提高先进的户外计算机视觉系统的实用性，例如智能视频监控和自动驾驶汽车，它们必须被设计为应对具有挑战性的天气条件，包括雨，雪或雾霾[22，26，17，10]。最近，受益于卷积神经网络的发明，特别是pix2pix网络架构[15]和对抗训练策略[8]的设计，单个图像的性能除雨工作取得了重大进展。通过使用合成的雨条纹或雨滴数据集训练雨到干净的图像转换模型，可以很好地恢复雨天图像，去除伪影，尽管存在具有不同尺度、形状和密度的雨条纹或雨滴。然而，模糊的结果与丢失的细节（如图所示）。1）由现有网络公式[22，26，27]产生，为更好的公式或网络架构留下了可能的改进空间。图1：所提出的纠缠表示学习机制的图示。通过组合来自MEN和REN的嵌入，形成更好的条件嵌入，并由MDE使用以生成更好的去训练结果。“REN”、“MEN”和“MDE”分别表示残差编码器、主编码器和主解码器，如图1所示。二、考虑这个实验：给定一个下雨的数据集（例如，来自[22]的雨滴数据），以及图像到图像转换网络（例如，U-Net [24]），通过训练网络进行两个任务（rainy-to- clean translation和clean-to-clean translation）的比较实验，其中重建损失为1001当计算这两个任务的PSNR和 SSIM 时 ， 由 于 输 入 图 像 的 差 异 ， clean-to-cleantranslation 模 型 的 结 果 （ PSNR=49.51dB 和SSIM=0.9948 ） 毫 不 奇 怪 地 远 远 好 于 rainy-to-cleantranslation模型的结果通过将图像到图像转换模型解释为条件生成器，其中解码器充当以编码器学习的嵌入为条件的生成器，输入中的差异可以进一步解释为学习的嵌入中的差异。对于条件生成器（解码器），5645被训练以从学习的嵌入中产生恢复的输出，如果条件嵌入可以描述属性（例如，纹理和颜色）。对于将干净图像作为输入的编码器，可以隐式地学习具有这些属性的嵌入[3]。然而，对于将下雨图像作为输入的编码器，由于雨滴图像或雨条纹图像中的下雨像素的影响，不能很好地学习换句话说，由编码器将下雨图像作为输入来学习的条件嵌入将偏向于揭示雨不变性的属性， 同时丢失其 他基本属性 （例如 ，纹理 和颜色），因此不能很好地描绘期望的输出利用这样的嵌入，可以产生没有雨的影响的图像，但是由于缺乏其他属性，难以获得良好地恢复清晰细节的输出受此观察结果的启发，更好的除雨效果可以通过提高条件嵌入的质量来获得。大多数现有的去雨方法也可以隐含地解释为通过将雨密度标签与学习的嵌入融合来改进条件嵌入[27]，或者引入多雨区域检测图[26]或注意力图[22]作为辅助输入。然而，这些公式被设计为改善雨不变性的性质，这可以通过简单地设计更好的网络架构来保证或改善[19]。没有任何改进的嵌入描绘其他基本属性，所有现有的模型的结果可以进一步改善与更好的配方。为此，我们提出了一个纠缠表示学习模型（ERL-Net），该模型由两个分支编码器组成（如图所示2）的情况。具体来说，首先训练模型学习一个基本的嵌入（与主编码器和解码器）描绘了雨不变性的特性。我们假设在潜在嵌入空间中存在从基本嵌入到最优嵌入的平滑连接，并且我们实际上应该能够通过添加残差的映射函数来学习这样的连接，如图所示。1.这一论点得到了特征等价理论[18]的支持，该理论发现网络中深层的表示取决于输入图像的变换，并且这种变换可以通过映射函数从数据中学习，并且该函数可以随后用于操纵表示（基本嵌入）以实现期望的变换（从基本嵌入到最佳嵌入）。为了学习这样的映射函数，在第二阶段中设计并训练另一个编码器分支，用于将残差添加到基本嵌入，使得经校正的嵌入表示覆盖雨不变性和其他基本因素（例如，纹理和颜色）。在第三阶段，整体模型（两个编码器和一个解码器）进行微调，以在所有这三个模块之间达到更好的兼容性，并且因此获得新的现有技术的去训练结果。这项工作的贡献有四个方面：1. 通过将rainy-to-clean图像翻译模型分解为嵌入式学习网络（编码器）和条件生成器（解码器）的组合，提供了分析去雨网络的全新视角。在此基础上，提出了一种纠缠表示学习机制，并通过一个简单而有效的网络实现，以获得更好的单图像去雨效果。2. 提出的残差学习分支易于实现，可以集成到任何基于图像到图像消除的图像恢复框架中，以获得更好的性能。它不会改变嵌入的原始维度，因此可以在缝合到现有模型后进行端到端训练。3. 提出了一组评价指标，用于剖析ERL-Net如何通过引入纠缠表示学习机制来改善去训练结果。这种简单的度量可以潜在地与通用度量一起使用（例如，PSNR和SSIM），以便将来更好地分析其他图像去噪方案的效果。4. 在三个雨条纹数据集和一个雨滴数据集上进行了大量的实验，并与最近几种最先进的方法进行了比较，以显示使用所提出的公式的显着改善。例如，在具有挑战性的Rain100H数据集上，我们实现了34.57dB 的 PSNR ， 比 现 有 的 最 先 进 技 术 提 高 了4.19dB2. 相关工作2.1. 单幅图像去噪最近，受益于卷积神经网络（CNN）令人难以置信的学习能力，通过使用合成雨条纹或雨滴数据集训练雨到干净的图像转换模型，单个图像去雨任务的结果得到了显着Fu等人[6]首先提出合成一个大规模的雨条纹数据集，并使用它来学习一个端到端的负残差映射网络，以消除雨条纹。为了改善更具挑战性的情况下的除雨结果，Yanget al.[26]构建了一个更多样化的数据集，使用该数据集训练并演示了上下文化网络以获得更好的结果。我们认为，改进主要来自雨条纹检测图的引入，作为先验信息引导网络更多地关注雨条纹区域。另外两个类似的解决方案[22，27]，引入了雨区相关信息，以更好地去除：Zhang等人[27]趁着下雨5646密度标签，以指导学习的雨到清洁映射-平网络。与需要额外注释的雨密度标签相比，Qianet al.[22]提出了直接利用雨天图像和相应的干净图像之间的残差来生成雨天区域相关图，并将其作为地面真实值来训练用于生成注意力图的递归网络，以指导去雨网络的学习。尽管这些方法取得了改进[22，26，27，6]，但我们认为额外的信息（例如，密度标签和注意力图）只能帮助提高学习嵌入的雨不变性，而不需要使用额外的信息，可以通过构建更好的网络架构来获得换句话说，可以通过引入更好的潜在嵌入学习机制（例如所提出的纠缠表示学习网络）来改善现有公式的结果，并且这种网络的有效性以更好的去训练结果得到证明。2.2. 表征学习与图像翻译学习映射函数将高维输入图像变换为另一个高维输出图像对于CNN [15，30]来说是比学习从图像到低维决策 空间的变 换更具挑 战性的 任务（例如 ，类 标签）。由于对抗训练策略[8]和pix2pix翻译框架[15]的发明，图像到图像的翻译结果得到了大幅改善从那时起，已经建立了一系列基于pix2pix网络的框架，用于学习执行图像到图像的翻译任务，包括图像处理[25]，文本到图像的翻译[28]和图像恢复（例如，单图像雨条纹去除[19]和雨滴去除[22]）。然而，如[30，7]所示，尽管通过使用成对图像训练pix2pix网络获得了合理的输出，但结果通常与地面实况不同。受InforGAN [3]的论点启发，嵌入自然分解为一组语义上有意义的变化因素，如果我们将图像到图像翻译网络分解为潜在嵌入学习子网络（编码器）和条件生成器子网络（解码器）的组合，则可以将不满意的结果归因于低质量的语义嵌入。如果没有良好的嵌入（覆盖期望输出的不同变化对于图像去雨的情况，不满意结果的原因可以解释为学习的嵌入只能很好地表示雨不变性的因素，但不能包括大多数其他基本因素，如纹理或颜色，从而导致输出丢失细节，如图10所示。4.第一章3. 纠缠表示学习模型为了通过学习更完整的嵌入来生成令人满意的去训练结果，提出了一种简单而有效的方法，称为纠缠表示学习，并在本节中给出了公式和网络架构。3.1. 问题公式化特征等变性的概念促使我们法在[18]中，作者提出对学习的表示如何在输入图像的变换时发生变化进行建模，并且他们发现由输入图像的变换引起的这种表示变化是可预测的，并且可以根据经验从数据中学习。形式上，CNN可以被解释为将图像x∈ X映射到语义特征向量Φ（x）∈Rd的复杂非线性函数Φ。证明了函数Φ与输入的变换κ近似等变图像，如果这样的变换也可以转移到表示输出[18]。也就是说，当存在可以如下学习的固有映射Mκ：Rd→Rd时，可以保证与κ的<$x∈ X：Φ（κx）<$MκΦ（x），（1）同样，我们在这项研究中的目标是设计一个轻量级的解决方案，使学习嵌入的输入雨天图像，以保持更多的覆盖 率（包括雨不 变性和其他基 本因素的属性）。在这种情况下，函数Φ对应于编码器，并且利用Φ在雨天图像X上获得的嵌入是Φ（X）。具体地，让我们将雨天图像及其对应的干净图像分别表示为xr和xc。根据等式(1)，我们希望获得雨图像xr的变换嵌入通过映射函数Mκ，使得MκΦ（xr）<$Φ（xc）。为了便于将MκΦ（xr）并入到主编码器-解码器网络中，如图1B所示2，我们将其公式化为原始雨图像嵌入Φ（xr）与由残差函数R（xr）给出的残差的和：MκΦ（xr）= Φ（xr）+R（xr）<$Φ（xc），（2）通过这种简单的残差引导变换，得到了对输入雨天图像更好的嵌入。这样的嵌入应该能够覆盖雨不变性加上其他基本因素的属性，因为它可以被视为对与相应的干净图像的潜在嵌入的近似估计。对于为获得纠缠嵌入而设计的网络架构，如图1所示的两个简单操作。2（a）和图2（b）原则上可以考虑。除了所提出的残差和策略之外，另一种在特征级联方面的方法[24]也应该起作用，该方法通常用于基于解纠缠表示重组的图像到图像翻译任务[4，13]然而，不考虑这样的操作，因为据说它通过增加维数来改进嵌入5647图2：所提出的纠缠表示学习网络结构的概述。这无疑会破坏原有的分布，带来更多的不确定性。3.2. 网络架构为了处理不同尺度，形状和密度的雨条纹或雨滴，许多特定于任务的模块被设计用于构建有效的去雨模型，包括残差块[11]，多分支扩张卷积[26]，多流密集块[27]，甚至是递归层[22]。尽管通过这些模块获得了改进的性能，但是很难分析不同模块及其组合的具体我们的基本网络简单地将密集块[12]堆叠在U-Net结构[24]下，因为（1）我们认为所提出的纠缠表示学习机制应该适用于其他图像到图像的翻译问题，并且使用这种机制构建一个通用且简单的网络架构可以为其他问题提供一个易于使用的框架;（2）如[12]中所要求的，多尺度、更好的信息重用和更稳定的梯度反向传播的期望属性可以通过跨层连接的密集块来隐含地实现。特征融合层。提出FUS以解决由U-Net结构内的跳过连接引起的特征不兼容性问题[14][24]。由于跳跃连接是用编解码器网络提出的，为了更好地重用特征[14]，它已成为大多数图像到图像转换网络中的默认设置尽管在我们的模型中使用跳过连接（如第4.2节所示）可以大大提高性能，但我们认为，由于深层CNN中固有的特征层次结构1，不同表示级别的层之间的这样的固有问题导致对跳过连接的不充分利用，1特征层次意味着随着CNN中的层变得更深，语义属性变得更加抽象[1]。通过更好的跳过连接策略，可能存在性能改进的空间 。 为 此 ， 一 个 简 单 的 模 块 （ 如 图 所 示 ） 。 2（c）），其由特征图重新校准和残差引导层组合组成，并被合并为解码器中紧接在每个跳过连接层之后的后处理层。4.2节展示了特征融合层的更好结果表示纠缠的架构。为了简化Eq.（2）一个简洁的网络是con-结构如图所示。2.建立在一个编码器-解码器网络，一个额外的编码器分支介绍了剩余的学习。应该注意的是，只有当用于求和的对应维度保持一致时，剩余分支才可以被设计为任何网络结构在我们的实现中，为了简单起见，剩余分支被设计为与主分支具有相同的结构此外，由于跳跃连接的存在，本文还介绍了两种不同的特征纠缠实现方法具体来说，简单的一个（如图所示）。2（a））通过仅关注于改进连接编码器和解码器的最中间层中的表示来构造。另一种方法（如图所示）。2（b））是通过在编码器的中间层和每个跳接层中引入纠缠操作来实现的。这样的架构可以隐含地帮助以逐层的方式减少表示这两种方法的性能差异见第4.2节。损失函数。利用所提出的纠缠表示学习机制，应该同时考虑像素级和特征级 对于损失函数-与大多数现有的去雨网络[22，27]不同的是，大多数现有的去雨网络[22，27]既考虑反射损失又考虑其他高级损失（例如，在考虑感知损失和对抗损失（adversarialloss）的情况下，在我们的模型中仅考虑重建损失，因为：（1）当组合不同损失时，很难找到最佳配置5648减肥，以获得最有吸引力的结果[29];（2）感知损失的不同设置（例如，来自预训练CNN中不同层的因此，我们工作中采用的简单重建损失为：Lpre=IR−IDR1，（3）其中L预 表示像素级重构损失，输入的雨天图像，并且IDR是去雨结果。除了在Eq中的101个损失之外(3)，引入另一个特征级重建损失用于训练残差分支，并且使用预训练的干净到干净的图像平移网络来生成地面实况Φ（xc），利用其我们最小化以下损失：Lfre=<$Φ（xr）+R（xr;θR）−Φ（xc）<$1，其中Lfre指示特征级重构损失，并且它包括图1中的网络的一个项2（a）和多重图中的网络术语。第2段（b）分段。Φ（xr）是来自主编码器分支的层输出，R（xr;θR）是来自残差分支的层输出，并且θR表示该分支的参数，Φ（xc）是如上所述的地面真值。通过合并这两个重建损失，过度-所有网络都可以通过最小化以下损失项来进行端到端训练：LERL-Net=Lpre+λfreLfre（5）其中λfre根据经验设置为0.01。为了训练整体的纠缠表征学习网络-工作，这三个损失公式方程。（3）-（5）是根据不同的培训策略分阶段使用的，我们在下面的部分提供详细信息。3.3. ERL Net的训练通过以有效和灵活的方式实现表示纠缠机制，设计了两种不同的策略（如表1所总结的）用于训练具有剩余分支的ERL-Net，以找出最佳模型设置，并且在实验部分中将提供所有策略的综合结果模块组装（MA）。对于这种策略，涉及四种不同的方法，第一阶段一致地设计为：由主编码器（MEN）和主解码器（MDE）组成的去训练网络用L预训练损失，并且在以下阶段中还训练具有相同结构的干净到干净图像平移网络用于Lfre基于预训练的去训练网络，可以直接引入残差分支（REN），然后使用四种不同的设置进行训练：对于两阶段模型（MA A和MAB），采用LERL-净损失更新REN中的参数，而MA B也考虑了MDE的更新。在MA A的基础上，在第三阶段采用Lpre对MDE或REN与MDE的组合进行修正，得到两个三阶段模型MA C和MAD.表1：训练纠缠代表的不同策略站学习和去训练网络（REN、MEN和MDE分别表示残差编码器、主编码器和主解码器的分支，如图1所示。2）的情况。直接培训（DT）。给定没有预训练的普通编码器-解码器去训练网络并且整个网络可以用LERL-Net损失进行端到端训练。显然，如果没有显式的逐阶段表示纠缠机制，性能的改善将无法保证。4. 实验结果4.1. 设置数据集和指标。对于雨条纹去除实验，考虑了三个具有挑战性的基准合成数据集，包括Fu等人收集的DDN-Data。[6]，张等人合成的DID数据。[27][26]中提供的Rain100H数据集对于雨滴去除，使用相对较大规模的雨滴数据集（表示为AGAN- Data [22]）在[22，26，27，6]中描述的训练和测试数据集分割之后，我们的模型在所有这四个数据集上进行训练和定量评估，其中Y通道上的PSNR和SSIM度量（即，亮度）。此外，还对Rain100H和AGAN资料分别进行了雨条和雨滴去除分析的综合烧蚀研究对于使用真实数据的定性评估，通过视觉观察来比较性能，因为对于真实世界的图像没有无雨地面实况。培训详情。 在训练过程中，从每个下雨的图像中随机裁剪，并直接用于训练而不需要任何数据增强。我们使用批量大小为1，并在Tesla P100 GPU上对所有数据集训练了400个我们在TensorFlow中实现了这些模型并评估了所有实验，并采用了Adam优化器和默认设置进行参数更新。学习率初始化为0.0004，当损失达到平台时除以10。代码是公开可用的。4.2. 网络剖析基本模型在研究所提出的纠缠表征学习机制的效果之前，进行了一个简单的消融研究，以导出一个强大的基本模型，并验证关于去雨模型的模型训练分支分裂和采用的损失函数一阶段第二阶段III期马某甲分支损失(MEN、MDE）L前任LERL-Net--MA B分支损失(MEN、MDE）L前(REN、MDE）LERL-Net--MA C分支损失(MEN、MDE）L前任LERL-NetMDEL前MA D分支损失(MEN、MDE）任LERL-Net(REN、MDE）5649设计去除图中所示的残余分支。2.构造了一个简单的基线模型MEMD，在此基础上通过去除特征融合层（记为MEMD-）和去除跳过连接（记为MEMD-）实现了两个变体。在AGAN-Data去除雨滴和Rain 100 H去除雨带的数据上比较了这三种模式的性能差异，定性结果见表2。MEMDMEMD-MEMD跳过连接特征融合××√×√√AGAN数据PSNRSSIM30.47120.822631.43050.918632.21390.9301Rain100HPSNRSSIM24.07430.731529.37820.832731.63100.8668表2：基础模型上不同设置的定量结果通过对MEMD模型的跳跃连接改进以及进一步提出的特征融合模块，将MEMD模型设计为基本结构纠缠表征学习模型的研究有效ERL-Net设置确定。 如第3.3节所述，所提出的纠缠公式的灵活性使一系列具有不同训练策略的模型设置成为可能。此外，如图所示。在图2（a）和（b）中，提出了两种不同的纠缠方法，包括CLGD（连接层引导纠缠）和MLGD（多层引导纠缠），以确定最佳的纠缠形式。通过在基本模型MEMD中添加残差分支，通过训练不同的ERL-Net逐一研究这些策略和纠缠方法，并在AGAN-Data和Rain 100 H数据上列出了相应的结果。如表3中的结果所示，几乎所有的设置（除了用于Rain100H的MA和DT策略）都能够优于现有的最新技术水平，充分证明了所提出的配方和网络架构的有效性。在这些强大的模型中，MA D和MLGD的组合在两个数据集上都取得了最好的结果，因此被用作ERL-Net2进行以下分析和比较。另一方面，从表3中的结果可以得出另外两个一般性结论：（1）在不考虑纠缠方法（CLGD或MLGD）的情况下，DT策略在两个数据集上的结果都比MS差，证明了阶段式训练策略对于所提出的纠缠表示学习机制的重要性;（2）无论具体的训练策略如何，MLGD的不同设置在两个数据集上的结果总体上都优于CLGD，表明利用逐层特征校正方法的优势，2在下面的部分中，ERL-Net具体对应于具有结合MA D和MLGD的设置的模型。方式同时，也隐含地揭示了跳接的重要性.此外，通过比较表3中的值和表2中的MEMD的值，来自DT和MEMD的结果是相似的，并且都比来自MS的结果更差，这表明性能改善来自表示纠缠机制，而不是剩余编码器分支的参数增加4.3. ERL网如何改变降水结果？使用第4.2节中获得的最佳配置ERL-Net，我们详细分析了所有四个基准数据集上所提出的纠缠表示学习机制的好处。变更样本的统计分布。 对于第一组实验，我们建议分析所提出的ERL-Net的一般优越性，超过基本的rainy-to-通过计算ERL-Net而不是MEMD更好地恢复了多少样本，从而实现了清洁图像转换模型（MEMD）。对于特定的雨天数据集，我们首先在训练集上训练MEMD和ERL-Net，然后记录测试图像的PSNR。在获得每个测试图像的MEMD和ERL-Net的PSNR值之后，计算ERL-Net优于MEMD的结果的按照这一程序，这样的比例为四个不同的数据集获得图。3.第三章。图3：在四个基准数据集上，来自ERL-Net的改进样本在基本MEMD上的统计分布。左：改进样本在整个数据集中的比例;右：改进样本的比例，其中子集包含硬样本或简单样本。从图中的分布来看，3，每个数据集上超过一半的测试样本，正如预期的那样，用ERL-Net更好地恢复，表明所提出的公式能够处理不同数据集上的不同降雨条件。更具体地说，在第二个实验组中，我们研究了ERL-Net如何影响包含硬样本或易样本的对于一个特定的数据集，首先用MEMD模型得到平均PSNR，然后定义硬样本为PSNR低于平均值的图像。因此，简单样本对应于具有比平均值更高的PSNR的图像。在确定每个数据集的难样本和易样本的子集之后，在每个子集中进行与第一组相同的计算以获得另一个分布，如图2所示。3.这四个数据集的结果显示了相似的分布，硬样本的改进比简单样本的改进更多，证明了所提出的方法的特点，5650SOTA马某甲MA BMA CMA DDTAGAN数据31.5712/0.902330.9741/0.880331.0954/0.899232.5280/0.928532.8603/0.937132.6427/0.931032.9158/0.937432.7124/0.940732.9647/0.945832.2650/0.927932.1982/0.9298CLGDMLGDRain100H30.3821/0.893931.6521/0.868731.6804/0.869232.0452/0.908732.6870/0.924732.8027/0.922133.2041/0.936433.0145/0.929434.5724/0.938731.6214/0.863431.6287/0.8673CLGDMLGD表3：不同ERL-Net设置的去雨结果（PSNR/SSIM）（在PSNR和SSIM上优于现有最新技术水平（SOTA）的结果以粗体显示）。配方更好地处理了大雨条件。MEMD和ERL-Net产生的一些去雨结果对于每个图像的IIoR和IIoB，具有K个图像的特定雨天数据集的mIoR和mIoB可以计算为：在硬和容易的样品上显示在图中。4.第一章1ΣKmIoR=Kk=11K（IIoR）k，mIoB=Kk=1（IIoB）k（8）ERL-Net给出的特定mIoR和mIoB值表4中列出了不同数据集上的数据数据集AGAN数据Rain100HDID-数据DDN-DatamIoRmIoB0.470.280.620.190.430.300.510.27图4：结果显示ERL-Net在硬样品和易样品上均优于如图所示。5、ERL-Net在降雨区域和背景区域上都能获得较好的去雨效果，这促使我们分析所提出的纠缠表示学习机制是如何改善这两个区域的。受用于评估语义分割性能的mIoU（联合平均交集）定义的启发[2]，我们提出了mIoR（多雨区域平均交集）和mIoB（背景平均交集）两个度量来评估ERL-Net在这两个区域上的改进。在评估之前计算两个图：RIM（结果指示图）：给出一对下雨和干净的图像（我干净）和相应的去雨结果通过MEMD（IMEMD）和ERL-Net（IERL-Net），它们首先被变换到YCbCr空间，然后可以通过等式（1）计算IRIM。(6)在Y通道上：.表4：四个基准数据集的mIoR和mIoB结果如表4中的结果所证明的，所提出的纠缠表示机制被证明在多雨区域和背景区域两者中提高了去雨图像的质量，其中更多地关注多雨区域。这是因为雨滴或雨条纹的存在使得难以学习描绘雨后面的原始像素的属性的准确表示，而我们的纠缠表示学习机制通过施加另一个编码器分支来学习关于原始干净像素的分布的更多知识来减少这种困难。降雨后的像素（雨滴或雨条纹）。4.4. 与最新技术根据[19]中的设置设计了雨条纹去除的比较实验，并将所提出的ERL-Net与七种最先进的方法进行了比较，包括区分稀疏编码（DSC）[21]，层优先引导GMM [20]，深度细节网络（DDN）[6]、联合雨水探测和清除网络（JORDER ）[26]、密度感知去雨网络（DID）[27]、非本地增强去雨网络（NLEDN）[19]和进步-IRIM=0，|IERL-Net−I清洁|≥ |IMEMD− Iclean|1，否则、（6）主动去雨网络（PReNet）[23]。与雨带去除的流行不同，二进制映射：我们获得了两个雨天的二进制映射，区域（BMR）和背景区域（BMB），在[22]中提出的阈值策略，并且我们采用平均值而不是固定值（例如，[22]第22话，作为一个门槛。然后，在BMR/BMB中，属于雨天/背景区域的像素具有值1，而属于其他区域的像素对于Rain100H数据集[26]，我们直接使用作者提供的二进制映射进行评估。利用BMR和BMB的映射，尺寸为M×N的图像I的IoR（在多雨区域上的交集）和IoB（在背景区域上的交集）计算为：雨滴去除方法，包括三层网络提出的Eigen等。[5]以及最新的集中式降水网络（AGAN）[22]。此外，按照[22]中的设置，pix2pix网络[15]也被训练和评估用于雨滴去除任务。为了公平比较，所有用于比较的深度模型都在评估之前在特定的训练集上进行了微调。定量结果。对于雨条纹去除和雨滴去除任务，与PSNR和SSIM的结果比较分别在表5和表6中示出。值得注意的是，如表6所示，我们的ERL-Net实现了比最先进的技术效果好得多，ΣMΣN IBMRBMRRIMΣMΣNIBMBIRIM最好的[22]在PSNR上为1.39dB，在SSIM上为4.8%对IIoR=i，j i，j，IIoB=i、ji、j（七）i=1j=1BMRi、ji=1j=1BMBi、j另一方面，对于雨条去除的结果，其中，“与”表示逻辑运算符使用表5中的值，ERL-Net在以下方面实现了最佳的除雨效果：我我5651数据集DSC [21]GMM [20]DDN [6][26]第二十六话[第27话]NLEDN [19]PReNet [23]ERL-NetDDN-Data22.03/0.798525.64/0.836128.24/0.865428.72/0.874126.17/0.8409*29.79/*0.897632.60/0.945833.92/0.9502DID-数据20.89/0.732121.37/0.792327.33/0.897824.32/0.8622*27.95/*0.9087*33.16/*0.919233.48/0.922934.62/0.9403Rain100H17.55/0.537915.69/0.418116.02/0.3579*23.45/*0.749026.35/0.8287*30.38/*0.893929.46/0.893534.57/0.9387表5：合成雨纹数据集的平均PSNR/SSIM比较。红色和蓝色分别用于表示前一和第二等级.带 * 的结果表明该方法使用了额外的标签或采用了数据增强。所有三个具有挑战性的基准数据集，优于现有的最佳方法的PSNR分别为1.32db，1.14db和4.19db所提出的ERL-Net实现的显著性能增益充分证明了考虑用于去训练的网络设计，并显示了简单的网络架构的有效性。此外，与第4.3节中所示的观察结果类似，从表5中的性能增益也可以得出结论，数据集的挑战性越大，ERL-Net可以实现的改进越这是因为较强的降雨效应在传统公式学习的嵌入中引起更严重的信息损失[22，26，27，6]，并且所提出的ERL-Net能够通过简单的纠缠表示学习机制来减轻这种信息损失，从而产生能够处理更具挑战性的降雨情况的优越的去雨模型。本征[5]pix2pix [15][22]第二十二话ERL-NetPSNRSSIM28.590.672630.590.807531.570.902332.960.9458表6：雨滴去除的定量结果比较红色和蓝色分别用于表示前一和第二等级定性结果。从图1所示的雨滴去除结果5、雨丝去除结果如图所示。6、该模型能较好地去除不同图像中不均匀分布的雨条或雨滴，并能较好地恢复图像细节。相反，一些现有的方法无法处理的极端情况下，背景是密集的雨滴或雨条纹污染。具体地，如从图2中的第二行观察到的。5和图中的第二行。6、我们的网络可以很好地恢复建筑物墙壁的隐藏细节。图2第二行和第三行天空的除雨结果也证明了相对于比较方法的一致改进。6，我们的模型产生了更接近地面真相的恢复，而所有其他模型都未能彻底消除雨纹。我们的ERL-Net得到的更好的结果也可以在图1中的真实去雨结果7表明，大多数现有的方法产生under-deraining的结果。5. 结论从一个全新的观点出发，将rainy-to-clean图像翻译网络解释为嵌入学习网络（编码器）和条件生成器（解码器）的组合，我们将不满意的去雨结果归因于学习嵌入的不足，然后图5：雨滴去除结果与AGAN数据的视觉比较（放大以更好地查看差异）。图6：暴雨条纹去除结果与合成图像的视觉比较（放大以更好地查看差异）。图7：真实世界图像的视觉比较。比较模型和ERL-Net的结果被选为从三个不同的合成雨纹数据集上训练的模型中获得的最佳结果（放大以更好地查看差异）。提出一个纠缠表示学习公式，解决这样一个内在的问题。具体来说，鉴于解码器能够生成具有最佳嵌入的高质量干净图像（由干净到干净的图像翻译实验证明），我们通过执行由表示纠缠实现的等变映射来桥接从缺陷嵌入到最佳嵌入在DDN-Data、DID-Data和Rain 100 H三个雨带数据集和AGAN-Data一个雨滴数据集上的实验结果表明了该模型的优越性。此外，还建立了一组评价指标，对ERL-Net的效果进行了深入剖析。值得注意的是，所提出的残余分支诱导的纠缠表示学习公式也应该适用于其他图像分解问题（例如，图像去雾和图像去噪），这是正在进行的工作。此外，我们相信所提出的评估指标可以与其他指标（例如，PSNR和SSIM），以更好地分析更多的图像去雨建议。致谢。G.他获得了新南威尔士大学和CSIRO Data61奖学金的支持。5652引用[1] Mathieu Aubry和Bryan C Russell。用计算机生成的图像理解深层特征。在ICCV，2015年。[2] Vijay Badrinarayanan Alex Kendall 和 Roberto CipollaSegNet：用于图像分割的深度卷积编码器-解码器架构。TPAMI，39（12）：2481[3] Xi Chen，Yan Duan，Rein Houthooft，John Schulman，Ilya Sutskever，and Pieter Abbeel. InfoGAN：通过信息最大化生成对抗网络进行可解释的表示学习。在NIPS，2016年。[4] Yunjey Choi，Minje Choi，Munyoung Kim，Jung WooHa，Sunghun Kim，and Jaegul Choo. StarGAN：用于多域图像到图像翻译的统一生成对抗网络。在CVPR，2018年。[5] David Eigen、Dilip Krishnan和Rob Fergus。恢复通过被灰尘或雨水覆盖的窗户拍摄的图像。InICCV，2013.[6] Xueyang Fu，Jiabin Huang，Delu Zeng，Yue Huang，Xinghao Ding，and John Paisley.通过深度细节网络从单个图像中去除雨水。在CVPR，2017年。[7] Abel Gonzalez Garcia，Joost Van De Weijer，and YoonneBengio.跨域解缠的图像到图像转换。在NIPS，2018年。[8] Ian Goodfellow ， Jean Pouget Abadie ， Mehdi Mirza ，Bing Xu ， David Warde Farley ， Sherjil Ozair ， AaronCourville ， and Yoonne Bengio. 生 成 性 对 抗 网 。 在NIPS，2014。[9] Ishaan Gulrajani 、 Faruk Ahmed 、 Martin Arjovsky 、Vincent Dumoulin和Aaron C Courville。改进WassersteinGAN的训练。在NIPS，2017年。[10] 何开明，孙建，唐晓鸥。使用暗通道前去除单个图像雾度TPAMI，33（12）：2341[11] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习在CVPR，2016年。[12] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，andKilian Q Weinberger.密集连接的卷积网络。在CVPR，2017年。[13] Xun Huang，Mingyu Liu，Serge Belongie，and Jan Kautz.多模态无监督图像到图像翻译。在ECCV，2018。[14] Nabil Ibtehaz和M Sohel Rahman。MultiResUNet：重新思考用于多模态生物医学图像分割的U-Net架构。在arXiv预印本arXiv：1902.04049，2019。[15] Phillip Isola，Junyan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在CVPR，2017年。[16] 约翰逊·贾斯汀、阿拉希·亚历山大和李菲菲。实时风格转换和超分辨率的感知损失。在ECCV，2016年。[17] Jin Hwan Kim，Jae Young Sim，and Chang Su Kim.基于时间相关和低秩矩阵完成的视频去噪TIP，24（9）：2658[18] Karel Lenc和Andrea Vedaldi。通过测量它们的等方差和等价性来理解图像CVPR，2015。[19] Guanbin Li，Xiang He，Wei Zhang，Huiyou Chang，LeDong，and Liang Lin.非局部增强编码器-解码器网络用于单图像去雨。ACM Multimedia，2018年。[20] Yu Li ， Ro