神经元重组提高图像去雨能力

4987利用神经元重组提高去雨泛化能力夏杰o†，周满†，徐鄂阳付*，刘爱平，查正军中国科学技术大学，中国{ustchbxj，manman} @ mail.ustc.edu.cn，{xyfu，aipingl，zhazj} @ustc.edu.cn摘要大多数现有的图像去雨网络只能在单个合成数据集上学习成对的雨/干净图像之间的固定映射规则，然后终生保持静态。然而，由于单个合成数据集仅提供了雨纹分布的部分视图，因此在单个合成数据集上训练良好的深度模型这导致这些方法不能很好地推广到复杂多变的真实雨天场景，从而限制了它们的实际应用。 在本文中，我们首次尝试在单个网络参数集上积累来自多个合成数据集的去训练知识，以提高深度网络的去训练泛化能力。 为了实现这一目标，我们将探索新的...在训练阶段之后，我们使用了一种新的方法，即通过一个简单的重组（NR）来允许去训练网络保持微妙的稳定性-可塑性权衡，而不是天真的稳定性。具体来说，我们设计我们的NR算法借用突触巩固机制在生物大脑和知识蒸馏。配备了我们的NR算法，深度模型可以通过克服灾难性遗忘，在一系列合成的下雨数据集上进行训练，使其成为一个通用版本的去雨网络。大量的实验验证表明，由于对去雨知识的成功描述，该方法不仅可以一致地处理多个合成数据集，而且在处理真实世界的雨图像时也能达到最先进的效果1. 介绍近年来，深度学习模型在单个图像去训练任务上取得了重大进展[32，6，4，34，43，13，50，41，28，5，42，39，33，18]。这项任务旨在以从其被雨水污染的版本中恢复干净的图像，从而有利于随后的下游计算机视觉任务[16，2，19，15，31，46，26，49，25]，例如，物体检测，*通讯作者。†共同第一作者贡献相等图像分类、人物识别等。图1：最先进的PreNet和我们的神经重组在现实世界的大雨和小雨场景中的视觉比较。红色复选标记表示网络在其上成功运行具体来说，很明显，我们提出的神经重组方案能够处理各种真实世界的雨天场景（即大雨和小雨）。而原始的PreNet仅能对特定类型的雨带起作用，并且在未接触类型的训练阶段失败。虽然现有的方法取得了可喜的成果，他们中的大多数只专注于学习特定的映射规则，在给定的个人合成雨数据集。当应用于现实世界场景时，它们可能会遭受严重的性能下降，因为在给定的单个合成雨天数据集上学习的特定映射规则无法描述它们。如图1所示，以最先进的去雨网络PreNet [29]为例，我们首先在给定的小雨数据集Rain100L[38] 然后在从Real-Internet数据集收集的真实世界雨天样本上进行测试[35]。很明显，训练好的PreNet仅在小雨场景中工作良好，并且无法去除大雨样本上的雨条纹 （ 案 例 1 ） 。 类 似 地 ， 当 在 给 定 的 大 雨 数 据 集Rain100H [38]上进行训练因此，如何获得一种通用的图像去雨网络（GID），使其能够用一组参数处理各种类型的雨条纹，并能很好地推广到复杂的真实雨场景，受到了越来越多的关注。受高级计算机视觉任务的启发，例如 im-4988年龄分类，解决上述问题的直接策略是通过混合多种类型的合成雨天数据集来训练深度网络。然而，这种混合策略暴露出以下缺点：1.每个任务的梯度将解决方案拉向其最优值，结果是不同任务的梯度之间的平衡[10]。由于每个单独的数据集对总损失的贡献变化很大，优化算法倾向于忽略混合数据集中的不利成员。当面对复杂的现实世界场景时，有偏的分配导致不期望的性能2.这种混合策略在实践中导致低的计算效率。具体来说，当引入新的数据集时，该方法需要重新混合所有这些数据集并从头开始重新训练网络。另一方面，在合成数据集而不是混合数据集的时间序列上训练网络也是实现GID的可能方法。关于顺序学习的去训练模型的主要问题是它易于发生灾难性遗忘或灾难性干扰[27]，即，用新信息训练模型会干扰先前学习的知识。另一方面，一些研究人员[21，24，20，36，43]专注于合成场景和真实世界场景之间的域适应。然而，这些方法只能学习特定的一对一的跨域映射规则之间的个人合成数据集和现实世界的雨图像。当应用于多个合成雨数据集时，这些方法无法学习单个网络中所有合成域与真实世界域之间的多对多映射规则此外，它们都需要在训练阶段收集大量的真实世界的样本。虽然单个合成数据集仅提供局部视图，但组合多个局部视图有助于推断全景图。如果去雨模型能够合理利用这些多视图数据集，则其泛化能力将得到显著提升然而，现有方法[45，40，34，29，22，17，47，38，8]主要致力于设计更有效的网络架构，以在单个合成数据集上实现更好的性能。由上述方法得到的去雨网络类似于一个静态的去雨知识实体。如果不针对原始数据集而直接扩展去训练知识，则会导致灾难性遗忘问题[3]。为了解决上述问题，在本文中，我们提出了一种新的神经重组（NR），这是一种大脑启发的方案，用于在训练阶段之后赋予去训练网络动态具体来说，我们借用生物大脑中的突触巩固机制和知识蒸馏来设计我们的NR算法。通过这种方式，我们的NR算法使深度网络能够在一系列合成的雨天数据集上进行训练，灾难性的遗忘因此，最终训练的网络可以聚合来自多个数据集的去训练知识。除了提高对真实世界降雨图像的泛化能力外，训练好的网络还可以在所有合成数据集上保持相当的性能我们的主要贡献如下：1) 据我们所知，这是第一次尝试引入脑启发机制来改善图像去训练泛化问题。与主流的迁移学习方法相比，我们提出的方法只需要容易访问的合成雨天数据集。2) 受生物大脑学习记忆机制的启发，我们首次提出了神经重组。我们所提出的算法有利于一个去雨网络，有效地积累去雨知识，边缘从连续流的相关数据，克服灾难性遗忘。3) 由于我们提出的NR算法是正交的主流去雨方法专注于网络结构，它可以直接应用到这些方法，以提高泛化能力。4) 大量的实验表明，用我们提出的方案训练的单个网络可以一致地处理多个合成数据集，并在现实世界的雨天场景中获得最先进的结果。此外，我们相信，我们的NR可以提供一个新的视角，为其他相关的低层次的视觉任务，提高泛化能力。2. 相关工作图像去雨网络。图像去雨的目的是从多雨的图像中恢复出清晰的图像。近年来，由于深度学习技术的开发，图像去噪领域取得了显著的进展。Fu等人[8，7]提出了一种用于图像雨去除的定制神经网络，其性能大大优于手工制作的图像去雨方法。雨图像被分解成高频和低频部分，然后将它们送入网络，分别进行雨去除和增强。 Yang等[38]通过递归地充分利用逐阶段的除雨结果来去除不同级别的雨纹，引入了一种新颖的除雨流水线。为了进一步提高去训练性能，研究人员设计了大量先进的深度网络架构，包括配备非本地模块的编码器-解码器网络[17]，多级去训练神经网络[47]，条件生成对抗网络[48]，递归神经网络[22，29]等。然而，上述基于深度学习的方法由于粗略地将黑盒神经层堆叠在端到端中而缺乏足够的解释。4989图2：我们提出的神经重组方案的详细流程图它允许网络通过克服灾难性遗忘，从一系列合成数据集中增量地学习各种知识具体来说，神经重组主要包括突触整合模块和知识蒸馏模块。Synaptic Consolidation Module旨在维护掩码（图中的MoS），该掩码用于屏蔽对先前数据集重要的参数的任何更改知识蒸馏模块负责指示模型通过仅在新数据集上进行知识蒸馏来学习新数据集上的新知识，同时保持先前任务的记忆时尚，这阻碍了它们的进一步改进。为此，一些研究人员将注意力转向设计可解释的去雨网络。在代表性工作[34]中，Wanget al.首先分析图像和雨条纹的先验项，然后将它们集成到卷积稀疏编码启发的网络中以实现图像去雨。除雨网络的信号流与优化过程保持一致。虽然现有的基于深度学习的方法[32，6，4，34，43，13，5]已经获得了有希望的性能，但它们中的大多数只能在单一类型的雨天数据集上学习成对的雨天/干净图像之间的固定映射规则。当处理多个数据集时，由于catastrophic遗忘，这些方法不能直接使用单个参数集来覆盖所有数据集。为了解决这个问题，我们探索了一种大脑启发的神经重组，赋予网络稳定性和可塑性的权衡，灵活地适应各种下雨的情况。图像去雨泛化。另一个与我们工作有关的课题是如何提高降水的发生能力。Jin等人[14]采用无监督去训练生成对抗网络，通过从未配对的rainy和clean图像的内在统计中引入自监督约束来解决Wei等[36]开发半监督传输学习方法，其还提取和利用统计，然后将合成雨域与真实世界域对齐。Rajeev等人[43]提出了一种基于高斯过程的半监督学习框架，该框架使网络能够使用合成数据集进行学习，同时使用未标记的真实世界图像进行更好的泛化。Lin等[24]提出了一种两阶段弱监督数据蒸馏方法，该方法将未配对的雨天图像和干净图像对齐，以粗到细的方式生成监督。与上述方法不同，我们的方法具有两个显著特征：1）我们的方法作为一种有效的训练策略，可以很容易地扩展到现有的去训练网络; 2）该方法在训练阶段只需要合成数据集，更利于实际应用。原因是合成数据集更容易获得，而收集高质量的真实世界样本是困难和费力的。3. 神经重组近年来，单图像去雨任务取得了可喜的进展然而，由于在获得真实世界标记的图像去雨数据集方面的各种挑战，现有方法仅在固定的合成生成的数据集上训练，这仅提供了对雨条纹分布这导致了巨大的4990nnΣΣΣ−−|·|−L−..在单个合成数据集上训练的去雨网络的障碍，以推广到真实世界的雨场景。受生物大脑中的学习和记忆机制的启发[37，9]，我们提出神经重组以在传统训练阶段之后赋予去训练网络动态稳定性-可塑性权衡，使得去训练模型1数字作为年龄的函数，我们设计了一个双指数模块来决定突触的比例，这些突触对当前任务的性能有显著的贡献，并且需要在后续学习期间巩固以克服灾难性的损失。双指数模块具有数学形式：一个单一的参数集可以胜任各种类型的雨条纹提供了多个合成数据集，这指出了一种新的方法来提高gener-P（n）=αse−τs+αl e−τl，τlτs>0，n = 0，1，2。. . 、（二）仅使用合成数据集进行验证。3.1. 突触巩固哺乳动物大脑的一个突出特征是它在一生中整合新信息的能力，同时稳定地保持记忆。大脑的这两个看似相互排斥的特性与突触连接的可塑性-稳定性权衡一致[37]。突触连接不仅能够对新的经验做出快速的反应，而且还可以作为长期信息存储的基底。研究[37，9]表明，新的经验可以导致突触连接的形成，这为学习提供了结构基础，但大多数这些连接被消除了一个漫长的过程。然后，这些幸存的连接，连同大多数连接在发育和存活其中P表示待合并的突触的计算比例，n表示数据集id，τ1和τs是指用于描绘突触可塑性下降速率的时间常数。第一指数分量的时间常数τs相对较小，系数αs相对较大，表明网络中有相当一部分参数是可以自由更新的，模拟了生物大脑在发育早期阶段的巨大可塑性。Eq的第二部分。（2）对应于较慢且相对微小的可塑性下降，这受到成年期突触连接稳定性的启发。此外，由于降水网络的容量是固定的，P（n）应满足归一化条件：∞P（n）= 1。（三）n=0根据等式（1）中表示的P（n）的数学形式，（2）和极限的总和定律，Eq.（3）转换为：经验依赖的消除，被保存和亲-提供一个结构性的基础，以保持整个∞nα e−∞n+α e−L = 1，ττ>0，（4）动物的一生 受这些发现的启发，我们...签署突触巩固机制，以屏蔽更改sτsn=0τl l sn=0在学习新的任务时，重要的突触。显然，拟议中的突触整合应该由两部分组成，一部分集中于弄清楚突触的重要性，另一部分旨在消除突触的重要性。它由两个无穷几何级数项组成我们采用几何级数的封闭形式，因此Eq。（4）转化为：αsαl+= 1。（五）1确定应该合并的突触的比例1−e−τs11−eτl因为这项工作真正重要的是突触的重要性，它提醒我们关于突触的对当前任务最有影响的部分，并促进这些突触的后续巩固，我们只需要一个合理的方法来计算突触的重要性。在本文中，我们累积给定数据点上的梯度以获得重要性权重：从等式在等式（5）中，αs、αl、τs、τl不是独立的超参数，并且应当满足约束：αl1α s=（11）（1−e τs）。（六）1−eτl因此，我们可以自由地确定αl、τl和τs，则αs由方程自动确定。（六）、Ω =EΣ。（f（x; θ），y）.Σ，（1）配备Eq。（1）和（2），它是合格的，以决定个别突触连接是否应consol-xPnθ其中f（）和（i）分别指的是去雨模型和目标损失函数，表示逐元素绝对算子，并且P表示雨天图像的分布。Eq. （1）可以在补充文件中找到受生物大脑中突触可塑性随年龄的下降趋势和[37，9]中提出的描述总脊柱变化的指数模型的已为当前任务指定。具体地，对于每个参数张量θi，j，SynapticConsolidation产生具有相同维度的布尔张图3b呈现突触巩固的细节。[1]棘（或树突棘）是神经元树突上的一个小的膜状突起，通常接受来自突触处单个轴突的输入。4991LLtL−(a) 神经重组(b) 突触巩固(c) 知识蒸馏图3：我们的神经重组过程。3.2. 知识蒸馏除了突触巩固外，生物大脑在学习新知识时也有深刻的机制来重塑突触，以协调学习和记忆。受[23]的启发，我们利用知识推理[11]来模仿生物大脑中的“谨慎”学习风格。仅使用新数据集的示例，我们优化了新数据集的性能和对先前任务的响应的保留。具体来说，当模型在数据集n（n >0）上训练时，总损失Lt的形式应为（xn，yn;θ，θn−1）=（f（xn;θ），yn）+λL（f（xn;θ），f（xn;θn−1）），（7）其中表示训练网络的常规损失，θn-1表示在数据集n1上训练后的优化参数集，xn和yn表示来自数据集n的下雨输入和相应的标签，θ表示要优化的参数集。值得注意的是知识的升华以在线方式工作，因为在Eq.（七）、图3c显示了知识蒸馏的详细过程，我们提出的神经重组的完整说明在图3中。4. 实验在本节中，为了验证我们提出的神经组织方案的有效性，我们首先通过将其与最先进的去训练网络PreNet [29]集成进行广泛的实验，以进行性能评估和模型可视化。然后，我们进行烧蚀，以验证所提出的模块的功能，并支持我们的想法，多视图合成数据是有益的模型泛化。最后，我们提出了与代表性迁移学习方法的性能比较：Syn2Real [43].4.1. 数据集和性能指标合成数据。 我们仅在四个广泛使用的合成数据集上进行模型训练，包括Rain100H [38]，Rain100L [38]，Rain800 [48]和Rain14000 [8]。 Rain100L和Rain100H均为首次提出 在[38]中，分别由只有一种类型和五种类型雨条的雨图像组成。Rain800[48]由700个训练图像和100个测试图像组成，这些图像 选 自 UCID 数 据 集 [30] 和 BSD-500 数 据 集 [1] 。Rain14000 [8]包括12，600张用于训练的雨天图像和1，400张用于测试的雨天图像，这些图像由1，000张具有14种不同雨条纹方向和大小的干净图像合成。真实世界的数据。为了衡量真实世界场景中去雨模型的泛化能力，我们对最近公开的真实世界降雨数据集SPA-Data [35]进行了模型评估，该数据集包含近64万个用于训练的降雨/干净图像对和1000个用于测试的图像对。在这项工作中，我们利用SPA-Data [35]的测试集，其中包括1000个真实世界的下雨图像及其标记的干净图像，以测试去雨模型的泛化能力。应该注意的是，我们从来没有在SPA-Data的训练集上训练过去雨网络[35]。此外，我们还在配备神经重组的网络与真实互联网上的基线对应物之间进行了定性比较[35]，其中包括从互联网上收集的146张真实下雨图像，而没有地面实况。性能指标。在本文中，我们采用最常见的峰值信噪比（PSNR）[12]和结构相似性（SSIM）[44]作为4992≫→ →→培训战略Rain100H Rain800 Rain14000 Rain100LPSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIMSPA数据PSNR SSIMSI18.010.61123.700.76028.480.86537.440.97834.910.951混合26.740.86123.740.84330.980.92731.530.94834.850.955我们的NR25.930.85124.530.81630.420.90736.340.97335.600.959表1：PSNR和SSIM方面的定量结果的比较所有模型都只在没有真实世界SPA-Data的合成数据集Rain 100 H、Rain100 L、Rain 1400和Rain 800上进行训练相应的实验设置可参见第4.3节。测试集训练集Rain100H Rain100L Rain14000 Rain800PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIMSPA数据PSNR SSIMRain100H29.370.89734.710.96928.390.87822.450.81034.500.952Rain100L17.830.61137.160.97727.600.85123.580.75534.990.953中国人140015.160.43028.900.89731.780.92423.030.80733.700.952Rain80015.780.47529.330.90536.340.97325.860.87133.710.957我们的NR25.930.85136.340.97330.420.90724.530.81635.600.959表2：PSNR和SSIM方面的定量结果的比较。在中间的四行中，模型分别在单个合成数据集Rain 100 H、Rain 100L、Rain 1400和Rain 800上进行训练，并在所有上述数据集以及真实世界的雨天数据集SPA-Data上进行测试。我们的NR执行最好的泛化在现实世界的场景。模型性能此外，我们还提供了定性的比较，我们的神经重组和基线之间的图像去雨结果的视觉效果。4.2. 培训详细信息为了公平的比较，所有的参数设置和训练技术保持一致的原始文件中报告。我们在数据集序列上训练模型：Rain100H Rain800 Rain14000 Rain100L受生物学进展的启发[37]，我们将超参数α l的值设置为0。8%，这是成年小鼠学习新技能时大脑中存活的棘的近似比例。此外，τ s、τ l分别设为1和10，满足条件τ lτ s。根据等式6，α s的值为0。5789平衡知识蒸馏损失和原始训练损失的系数λ被设置为0。8.此外，所有实验都在NVIDIA GTX 1080Ti GPU上实现。4.3. 基准数据集为了验证我们的神经重组能够提高去训练网络的泛化能力，我们对上述数据集和性能指标进行了定性和定量实验。基线设置。之一组织基线如顺序地且独立地将多个雨天数据集馈送到网络中用于训练（由SI表示）。在此设置中，由于灾难性遗忘，在先前数据集上良好训练的权重不可避免地通过馈送新的雨天数据集而被覆盖和更新，从而导致在以前的数据集上快速性能下降。此外，我们还比较了我们的方法与其他基线，网络是在多个数据集（Rain100H+ Rain800+ Rain14000+ Rain100L）的混合数据上训练的。为方便起见，我们将此策略简称为Mix。定量比较。 表1报告了配备神经重组的网络与相应基线之间的比较。显然，在完成数据集序列的训练之后，SI基线遭受Rain 100 H、Rain 800和Rain 14000上的突然性能下降，这归因于灾难性的形成，使得当与来自SPA-Data的真实世界雨图像对抗时，其产生最差的去雨结果。值得注意的是，来自SPA-Data（训练集或测试集）的图像都没有参与网络训练。由于小雨图像相比于中雨和大雨图像对总损失的贡献相对较小，简单地混合四个数据集将导致优化算法忽略小雨条纹（Rain100L）并且过度强调中雨和大雨条纹。此外，由于单个合成数据集提供了关于真实世界雨条纹的局部分布的近似，因此在单个合成数据集上的这种欠拟合或过拟合阻碍了去雨模型的推广。由单个数据集的容量和雨纹特性决定的不平衡分配导致真实世界SPA数据的不理想性能。如表1所示，配备我们的神经重组方案的去雨模型在多个合成神经网络4993→ →→→ →→数据集一致，并获得最先进的通用化能力超过现实世界的数据集SPA-Data。定性比较。图4显示了通过7种不同策略训练的PreNet上SPA-Data [35]的去雨结果的视觉比较，其中包括三种上述策略和四种单独的数据集训练方法。因为Rain100L和Rain14000设置在同时无无SC无KD我们的NRPSNRSSIM34.910.95135.200.95735.140.95735.600.959表3：具有不同设置的PreNet的泛化。逐步推进推广 我们还进行不包含大雨条纹，在单独的Rain100L或Rain14000上训练的PreNet无法清楚地去除雨条纹（图4中的第一行和第四行）。类似地，在Rain100H或Rain800上训练的PreNet能够去除大雨条纹，同时模糊图像（图4中的第二 行 和 第 三 行 ） 。 此 外 ， 由 于 灾 难 性 遗 忘 ， 在Rain100H Rain800 Rain14000 Rain100L序列和Mix策略上训练的PreNet无法去除重条纹（图4中的第一行和第四行），或保持详细的背景信息（图4中的第二行和第三行）。对于用我们的NR训练的PreNet（最后第二行），可以清楚地看到，我们的NR获得了最令人满意的结果。我们的NR的相同效果也可以在图5中找到，该图显示了真实世界Real-Internet数据集上的去雨结果[35]。4.4. 消融研究对单个合成数据集进行去雨。以前景看好的PreNet为例，我们进行了大量的实验，以揭示现有图像去训练方法的致命缺点，这些方法主要集中在设计复杂的网络架构，以获得最先进的图像去训练性能。表2给出了关于在单个合成数据集上训练的PreNet的性能的完整描述。由于PSNR和SSIM的最高值发生在表2的对角线上，我们得出结论，在单个合成数据集上训练的PreNet倾向于在该数据集提供的有偏分布上过拟合，而不是获得更一般的图像去训练知识。相比之下，配备了我们的神经重组方案的PreNet可以胜任多个合成数据集，然后在SPA-Data数据集上实现最先进的结果[35]。每个模块的效果。突触巩固（SC）模块模仿生物大脑中的突触巩固机制，并且被巩固的突触可以保持代表性的雨模式。知识分解（KD）模块模拟因此，SC和KD都可以提高泛化能力。接下来，我们用不同的模块对PreNet进行了烧蚀实验，以验证它们的功能。很明显，推广可以获得任何一个模块，我们的NR达到最佳性能。实验证明，在训练序列Rain100H Rain800 Rain14000Rain100L的过程中，PreNet可以逐步提高其泛化能力。具体来说，在一个训练阶段之后，我们在SPA-Data上评估模型，结果报告在表4中。显然，通过顺序使用NR进行训练，模型的泛化能力逐步提高。训练阶段Rain100HRain800雨14000Rain100LPSNRSSIM34.500.95234.750.95735.210.95735.600.959表4：不同训练阶段的概括。4.5. 与迁移学习方法的在本节中，我们对具有代表性的迁移学习方法Syn2Real进行了实验比较。[43]以及我们提出的神经重组。它们之间的区别在于在训练阶段是否使用真实世界图像特别地，应该强调的是，我们所提出的方案的关键优点之一是在训练阶段不需要昂贵且费力地收集真实世界的为了公平起见，我们遵循与原始论文[43]中报告的相同设置，除了用Rain100H+ Rain100L+ Rain14000+ Rain800混合数据集替换Syn2Real的标记合成数据。然后，我们用相同 的 数 据 序 列 训 练 网 络 ： Rain100H-Rain100L-Rain14000-Rain800。表5中示出了对真实世界多雨数据集SPA-Data的评估的相应结果。可以清楚地看到，我们的NR可以获得更好的泛化性能比Syn2Real。这进一步证明了我们提出的方案的有效性。方法SPA数据PSNRSSIMSyn2Real32.870.954我们的NR32.970.956表5：我们的NR和Syn2Real [43]在PSNR和SSIM方面的定量结果的比较5. 结论我们提出了一个大脑启发的神经重组方案，赋予网络一个微妙的稳定性-可塑性权衡，以提高去训练泛化。4994图4：使用去雨模型PreNet从SPA-Data中去除雨天图像上雨条纹的视觉质量比较。(a)输入：来自SPA-Data测试集的雨天图像。(b-e)：基于在对应的个体合成数据集上训练的PreNet的去训练结果。 (f)SI：使用在数据集序列RainlOOH-RainlOOL-Rainl 4000-Rain 800上顺序地和独立地训练的Prenet的去雨结果。(g)混合：使用在Rain100H+Rain100L+ Rain14000+ Rain800混合数据集上训练的PreNet的去雨结果。(h)我们的NR：使用PreNet训练的结果与我们的神经重组（f）相同。(i)GT：（a）的干净图像。图5：对于配备不同策略的去雨模型PreNet，从互联网收集的真实世界下雨图像上的雨条纹去除的视觉质量比较在训练过程中，我们只使用多个合成数据集，而在真实世界的雨天图像上的性能可以显着提高。由于我们的方法是正交现有的去雨方法，它可以很容易地插入到他们，以提高他们的泛化能力。通过大量的实验，我们证明了该方法是能够处理多个合成数据集一致，并实现了国家的最先进的结果在现实世界的场景。确认本 工 作 得 到 了 国 家 重 点 & 研 发 项 目 2020 AAA0105702、国家自然科学基金U19 B2038和61901433、安徽省高校协同创新项目GXXT- 2019-025和中国科学技术大学双一流项目YD 2的资助100002003.4995引用[1] P. Arbelaez，M.迈尔角Fowlkes和J.马利克轮廓检测与分层图像分割。IEEE Transactions on Pattern Analysis andMachine Intelligence，33（5）：898-916，2010. 5[2] D.科马尼丘河谷Ramesh和P.米尔基于内核的对象跟踪。IEEE Transactions on Pattern Analysis and MachineIntelligence，25（5）：564-577，2003. 1[3] M.德朗日河Aljundi，M. Masana，S. Parisot，X. Jia，中国茶条A. Leonardis，G. Slabaugh和T. Tuytelaars持续学习调查：在分类任务中挑战遗忘。IEEE Transactions onPattern Analysis and Machine Intelligence，2021。2[4] S. 邓，M.Wei，J.Wang，Y.丰湖，澳-地Liang，H.谢先生，F. L. Wang和M.王.通过上下文聚合网络的细节恢复图像去 控 制 。 IEEE/CVF 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），2020年6月。第1、3条[5] Y. 杜，J.徐，智-地Qiu，X.Zhen和L.张某变分图像去噪。在IEEE/CVF计算机视觉应用冬季会议（WACV）上，2020年3月。第1、3条[6] Y. Du，J. Xu，X. Zhen，M. Cheng和L.邵条件变分图像去噪IEEE Transactions on Image Processing，29：6288-6301，2020。第1、3条[7] X. Fu，J. Huang，X.丁氏Y. Liao和J.佩斯利清除天空：用于单图像雨去除的深度网络架构。IEEE Transactionson Image Processing，26（6）：2944-2956，2017。2[8] X. Fu，J.Huang，黄氏拟谷盗D.Zeng，Y.Huang，X.丁宁和J.佩斯利通过深度细节网络从单个图像中去除雨水在IEEE计算机视觉和模式识别会议（CVPR）上，2017年7月。二、五[9] J. Grutzendler，N. Kasthuri和WB Gan.成年人大脑皮质树突棘的长期稳定性。Nature，420（6917）：812-816，2002. 4[10] R. Hadsell，D. Rao，AA。Rusu，和R.帕斯卡努拥抱变革：深度神经网络中的持续学习。Trends in CognitiveSciences，24（12）：1028-1040，2020。2[11] G. Hinton，O.Vinyals和J.Dean. 在神经网络中提取arXiv预印本arXiv：1503.02531，2015。5[12] Q. Huynh-Thu和M.甘巴里psnr在图像/视频质量评价中的有效范围。Electronics Letters，44（13）：800-801，2008. 5[13] K.姜，Z. Wang，P. Yi，C.陈湾，澳-地Huang，Y.黄氏Y. Luo、J.Ma和J.蒋多尺度渐进融合网络在单幅图像去噪中的应用。IEEE/CVF计算机视觉和模式识别会议（CVPR），2020年6月。第1、3条[14] X. 金，Z.陈，J.林，Z.Chen和W.舟具有自监督约束的无监督单幅图像去噪。在2019年IEEE图像处理国际会议（ICIP），第2761-2765页，2019年。3[15] O. L. 朱尼尔，D.德尔加多河谷Goncalves和U.努内斯可训练的分类器融合方案：行人的应用侦测。2009年第12届国际IEEE智能交通系统会议，第1-6页，2009年。1[16] L.康角，澳-地Lin和Y. Fu.通过图像分解自动去除基于单 幅 图 像 的 雨 条 纹 。 IEEE Transactions on ImageProcessing，21（4）：1742-1755，2012。1[17] G. Li，X.他，W。Zhang，H.昌湖，澳-地Dong和L.是林书用于单幅图像去雨的非局部增强编码器-解码器网络。ACM多媒体，2018年。2[18] R. 李湖，澳-地F. Cheong和R.T. Tan. 大雨图像恢复：整合物理模型与条件对抗学习。在IEEE/CVF计算机视觉和模式识别会议（CVPR）上，2019年6月。1[19] S.李岛B.阿劳霍W. Ren，Z. Wang，中国山核桃E. K.德田河H.朱尼尔河Cesar-Junior，J. Zhang，X.小郭，和X。曹单个图像去重：全面的基准分析。在IEEE/CVF计算机视觉和模式识别会议（CVPR）上，2019年6月。1[20] S.李岛B.阿劳霍W. Ren，Z. Wang，中国山核桃E. K.德田河H.朱尼尔河Cesar-Junior，J. Zhang，X.小郭，和X 。 曹 单 个 图 像 去 重 ： 全 面 的 基 准 分 析 。 2019 年IEEE/CVF计算机视觉和模式识别会议（CVPR），第3833-3842页2[21] S. Li，W.Ren，F.王岛，澳-地B. Araujo和X.曹单个图像去噪的综合基准分析：当前的挑战和未来的前景。International Journal of Computer Vision，（2-3），2021.2[22] X. Li，J.Wu，Z.Lin，H.Liu和H.扎。用于单幅图像去训练的循环在欧洲计算机视觉会议（ECCV）的会议记录中，2018年9月。2[23] Z. Li 和 D. 霍 伊 姆 学 而 不 忘 。 IEEE Transactions onPattern Analysis and Machine Intelligence，40（12）：2935-2947，2018。5[24] H. Lin，Y.Li，X.Fu，X.丁氏Y.Huang和J.佩斯利雨过天晴 ： 用 资 料 提 取 法 合 成 实 况 雨 进 行 反 演 。 IEEETransactions on Image Processing ， 29 ： 7668- 7680 ，2020。二、三[25] D. Liu，H. Zhang，F. Wu和Z.J.扎。学习装配神经模块树网络的视觉基础。在IEEE/CVF计算机视觉国际会议论文集，第4673-4682页，2019年。1[26] J. Liu，Z.J.查，X.Chen，Z.Wang和Y.张某用于视频中人物重新识别的密集ACM Transactions on MultimediaComputing ，Communications ，andApplications（TOMM），15（1s）：11[27] GI帕里西河Kemker，JL. Part，C. Kanan和S. Wermter使用神经网络进行持续终身学习：审查.神经网络，113：54-71，2019。2[28] W.冉，Y。Yang和H.陆通过方向梯度增强单个图像雨去除 。 在 2020 年 IEEE 多 媒 体 和 博 览 会 国 际 会 议（ICME），第1-6页，2020年。1[29] D.任，W。左角，澳-地Hu，P. Zhu，and D.孟渐进式图像去重网络：更好更简单的基线。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR），第3932-3941页，2019年。一、二、五4996[30] G. Schaefer和M.斯蒂奇Ucid：未压缩的彩色图像数据库。第5307卷，第472-480页，2004年1月。5[31] M. S. Shehata，J.蔡，W.M. Badawy，T.W. Burr，M.S.佩尔韦兹河J. Johannesson和A.拉德马内什智能道路的基于视频的自动事件检测：关于假警报的户外环境挑战。IEEETrans-actionsonIntelligentTransportationSystems，9（2）：3491[32] C. Wang，X. Xing，Y. Wu，Z. Su和J.Chen. Dcsfn：深度跨尺度融合网络，用于单图像雨水去除。在第28届ACM多媒体国际会议的会议录，MM’20，第1643-1651页，纽约，NY，美国，2020年。计算机协会。第1、3条[33] G. Wang，C. Sun，和A.索米亚Erl-net：用于单个图像去训练的纠缠表示学习。在2019年IEEE/CVF计算机视觉国际会议（ICCV），第5643-5651页，2019年。1[34] H.王，英-地谢峰Zhao和D.孟一个模型驱动的深度神经网络用于单图像雨去除。在IEEE/CVF计算机视觉和模式识别会议（CVPR）上，2020年6月。一、二、三[35] T. Wang，X. Yang，K. Xu，S.陈角，澳-地Zhang和R.W. H.刘高质量真实降雨数据集的空间关注单图像脱网。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR），第12262-12271页一、五、七[36] W. Wei，D.孟角，澳-地Zhao，Z. Xu和Y.吴半监督迁移学习用于图像除雨。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR），第3872-3881页，2019年。二、三[37] G. Yang，F. Pan和WB Gan。稳定维持的树突棘与终身记忆有关。Nature，462：920-4，11 2009. 四、六[38] W.扬河，巴西-地T. Tan，J. Feng，J. Liu，Z. Guo和S.燕.从单个图像中检测和去除深度关节雨。在IEEE计算机视觉和模式识别会议（CVPR）上，2017年7月。一、二、五[39]