基于两阶段知识学习和多对比正则化的多重不利天气排除: 统一模型

17653基于两阶段知识学习和多对比正则化的多重不利天气排除：统一模型Wei-Ting Chen1分，Zhi-Kai Huang2分，蔡正哲1、杨浩祥2、丁建君2、郭希燕21台湾国立台湾大学电子工程研究所2台湾国立台湾大学电机工程系{f05943089，r10921059，r08943148，r05921014，jjding，sykuo}@ntu.edu.tw摘要本文研究了多重不利天气剔除的一个不适定问题。我们的目标是训练一个具有“统一”架构的模型为此，提出了一种基于多师生体系结构的两阶段知识学习机制，包括知识整理（KC）和知识检查（KE）在KC，学生网络旨在从多个训练有素的教师网络学习综合恶劣天气消除问题为了实现这一过程，提出了在KE，学生模型在没有教师网络的情况下进行训练，并通过挑战由地面实况导出的像素损失来此外，为了提高我们的训练框架的性能，提出了一种新的损失函数，称为多对比知识正则化（MCR）损失。在多个数据集上的实验表明，我们的学生模型可以同时在不同的恶劣天气消除任务代码可以在我们的项目页面中找到。1. 介绍雾霾、雨雪、附着雨滴等恶劣天气是我们日常生活中常见的现象。它通常会降低图像的可见性并降低高级视觉应用的性能（例如，对象检测和语义分割）。为了解决这个问题，几种恶劣天气恢复算法，如去噪[1* 表示平等贡献。图1. 现有的恶劣天气清除铝出租的概述。我们所提出的方法可以实现有前途的perfor- mance在综合恶劣天气消除问题，而无需额外的成本在推理阶段。在过去几十年中探索尽管这些方法实现了有希望的性能，但是由于高扩展成本，在诸如监视系统、自主车辆系统或边缘设备的现实世界应用中部署不利天气移除仍然存在限制具体地，现有方法不能同时在统一架构或一组预先训练的权重中解决若干天气类型在现实世界的场景中，不可避免地要处理各种天气类型。如图1所示，现有的方法可能有几个限制，我们总结如下。(i) 单一天气去除算法：对于大多数单一天气去除算法[15，22，23]，尽管它们可以在特定天气下实现有希望的结果，但它们17654可能对其他类型的天气性能有限，因为没有考虑它们的特征。因此，在实际应用中，系统需要首先确定天气类型，然后选择相应的不利天气恢复方法。(ii) 多重降级移除算法：一些最近的研究旨在通过单个框架解决多重降级问题[18，24然而，它们通常需要几组预训练的权重用于各种降级。它要求网络根据天气类型采用不同的预训练权值，这是麻烦和低效的。(iii) 一体化恶劣天气去除方法：近年来，一体化恶劣天气去除模型[21]引起了相当大的关注，因为它可以通过使用神经架构搜索（NAS）技术在一组预训练的权重中处理几种类型的天气。尽管该方法在各种恶劣天气下都能取得令人鼓舞的效果，但它存在模式效率低的问题。具体地，如果模型需要解决更多类型的天气，则该方法的模型大小可能会急剧增加，因为需要更多的特征提取器对于一个真实世界的室外系统，恢复模型应该能够扩展到其他天气类型，没有额外的成本，同时可以实现体面的recruitc- tion性能。为了实现这一目标，受知识蒸馏[27]的启发，我们提出了一种基于两阶段知识学习过程（包括知识整理（KC）和知识检查（KE））的恶劣天气清除新方法。在前一阶段，几个训练有素的教师模型通过协同知识转移（CKT）技术引导CKT由渐进式特征投影器和双向特征匹配组成，以解决多个不利天气移除网络的知识转移问题。这两种机制可以约束和改善公共特征空间中的特征学习过程。对于后一阶段，目标是通过用具有挑战性的约束来检查“成熟”学生网络，以提高其用于综合天气去除的鲁棒性。此外，为了增强鲁棒性，多对比正则化（MCR）被开发来优化学生网络，通过提高其鉴别能力不同的天气类型。本文的贡献概括为：• 提出了一种基于两阶段知识学习的恶劣天气综合消除方法在测试阶段，该网络可以用一个统一的体系结构和一组预先训练好的参数来处理不同的天气去除问题。• 为了提高所提出的训练方案的性能，设计了CKT和MCR。• 大量的实验表明，该训练方案可以同时在几种恶劣天气类型2. 相关作品2.1. 恶劣天气移除有几种用于逆天气的图像恢复算法，包括去噪[1除雾/除雾[14，15，32多降解去除[18，24战略[21]。单天气移除。我们简要介绍了不同的单一天气去除方法。为了消除雾，Qu等人。 [16]提出了一种基于GAN的增强Pix2pix网络来生成无雾图像。Dong等人 [17]开发了密集特征融合来重建缺失的空间信息。Wu等人[44]采用了对比正则化学习技术和动态特征增强模块来消除霾。为了去除雨水，Li等人。 [45]采用递归网络来捕获雨痕信息。 Yang等人 [28]开发了深层神经网络，以共同学习雨带的强度和位置。Deng等人 [8]提出了DRD-Net，它由雨残差网络和详细的修复网络组成。Quan等人 [46]提出了一种基于NAS的架构，以同时处理雨条纹和雨滴。对于除雪，Liu等人 [13]采用Inception-v4模型构建了一个称为DesnowNet的两阶段除雪网络。Chen等人。 [11]提出了一种联合尺寸和透明度的除雪过程，以处理非透明和各种尺寸的雪颗粒Jaw等人 [47]提出了结合高级语义特征和其他特征图来处理除雪问题。Chen等人 [12]将双树小波变换引入到一个称为HDCW-Net的网络中，用于雪信息检索。尽管上述作品在特定天气类型上实现了有希望的性能，但它们在其他类型的不利天气上可能不会产生像样的结果。多重降解去除。Zou等人 [24]提出了一个统一的框架，该框架由一个名为“Separation-Critic”的判别网络和一个十字路口L1损失函数组成Zamir等人。 [18]提出了一种称为MPRNet的多阶段策略图像恢复网络，该网络采用注意力模块来细化每个阶段的输入特征。Pan等人。[25]提出了一种通用架构，专注于在并行分支中同时估计结构和细节。虽然这些策略可以在统一的框架下在各种天气类型中获得令人鼓舞的结果，但它们需要多组预先训练的权重来处理不同的天气类型。17655i=1Si=1∀全方位的恶劣天气消除。Li等人。 [21]提出了一种基于NAS架构的端到端训练方案，用于从多个编码器中搜索不同天气类型的关键特征。然后，重建的图像进行优化分类对抗学习，以生成一个强大的网络，各种天气类型。虽然这种方法可以取得令人鼓舞的结果在几种天气类型中，当需要处理更多天气类型时，模型大小迅速增加，因为每种天气类型都需要自己的编码器。知识提炼与对比学习。知识蒸馏（KD）[27]是通过师生架构将大型教师模型的知识转移到较小的学生网络。这个想法被[48，49]扩展，它使用来自教师的中间表示来帮助学生网络的训练过程。KD模型在几个主题中取得了令人鼓舞的结果，例如对象检测[50]，语义分割[51]和图像恢复[33]。对比学习在一些计算机视觉任务中引起了极大的关注，例如图像检索[52]，ReID [53]，图像分类[54]和人脸识别[55]。它的关键思想是通过对比损失使正样本具有吸引力，而负样本则被排斥[56]。3. 该方法3.1. 问题公式化在这项工作中，我们的目标是通过一个统一的架构和一组预先训练的权重来解决多个不利天气的去除问题。受KD [27]的启发，我们提出了一种训练方案，可以将知识从专门用于各种天气去除问题的多个教师模型协作转移到学生模型。其细节如下。鉴于K训练有素工作人员接受过单一天气退化的培训。然而，在多天气场景下，性能可能受到限制，因为学生网络由于缺乏适当的指导而不了解不同天气类型的区分特征。为了解决这个问题，如图所2.提出了一个两阶段的知识学习方案，具体说明如下。知识整理（KC）。在KC，有几个训练有素的教师网络和一个学生网络.每个教师网络专门用于一种天气移除，学生网络旨在学习和整理教师的知识，以实现全面的天气移除。在每个时期，学生网络同时用不同的教师网络进行训练。由于学生网络在这个阶段无法模仿来自地面真实的完美表示，我们建议进行更简单的正则化，即损失计算基于教师网络预测的结果。此外，为了实现知识转移的鲁棒性，我们提出了一种新的技术，称为协作知识转移，这是在3.3小节。知识考试（KE）。在KC之后，我们可以假设学生网络是“成熟的”，并且可以在不同的天气类型中实现有希望的结果。因此，这一阶段的目的是通过更严格的约束来检查学生网络，以增强网络的鲁棒性和区分能力。为此，在没有教师网络指导的情况下训练学生网络，并应用更具挑战性的正则化3.3.合作知识转移所提出的协作知识转移（CKT）的架构如图3所示。几个教师网络和一个学生网络生成的特征教师模型{Ti}K，他们中的每一个都进行特定的工作，通过投影到一个共同的特征空间，天气清除任务。 设Wi为天气跟踪逐行特征投影仪（PFP）的类型。为了实现ro-由ModelTi领导。我们进一步假设W iW j，i避免模型失去通用性。所提出的方法旨在训练一个紧凑的模型，该模型可以在测试阶段在统一的架构中解决综合恶劣天气去除问题也就是说，这个模型可以去掉W = KWi中的K类恶劣天气。 这项任务具有挑战性，因为模型应该同时包含几种天气类型的知识。更多-此外，可以保持性能而无需额外的模型成本。我们在下面的小节中举例说明所提出的策略。3.2.两阶段知识学习现有的基于KD的单一天气去除算法[33]通常利用用清晰图像训练的教师网络，并将知识转移到学生网络。为了实现快速有效的知识传递，进行了双向特征匹配（BFM）详细情况说明如下。渐进式功能投影仪。 对于大多数基于KD的策略[33]，知识转移过程通常应用特征适配器模块将教师网络的特征投影到学生的特征空间以进行特征对齐。该策略对于那些任务可能是有效的，因为它们仅涉及单个知识转移（例如，将清晰特征的知识传送到学生网络）。然而，它可能不适合我们的场景，因为传递的知识更加多样化（即，多天气网络）。由于不同天气的区域差异，教师网络投影的特征17656Q我不是LLSQ我不是L·我不是LS我不是我不是q=1图2. 所提出的用于消除不利天气的方法的架构。它包括两个阶段：KC和KE。在KC中，学生网络由几个教师网络和一个学生网络训练，通过投影他们的特征，由CKT进行共同特征学习在KE中，学生网络在没有教师网络的指导下进行训练。LPFE=||φ（F q）−φ（F q）||1、（1）其中，Q表示所述层中的层的总数编码器Fq表示PFP投影的特征图图3. 建议的合作知识转移的细节。PFE迫使学生网络的学习特征接近教师网络的学习特征，而PFV则保持投影特征的有效性。类型因此，为了解决这个问题，如图3所示，我们提出了渐进式特征投影器（PFP），它将来自教师和学生网络的特征投影到一个共同的特征空间。亲民党是一个可以学习的该模块可以使网络确定最适合-可用于共同特征学习的特征空间PFP是一个小型网络，由几个步幅率为1的卷积块和ReLU激活函数组成。然后，提出了投影特征误差（PFE）来约束特征学习过程.在公共特征空间中，我们使我们采用L1损失来计算两个投影特征之间的距离。此外，对投影特征采用金字塔池化[57]，以扩展不同级别的上下文信息[58]。操作是：从对应的教师网络Ti中的编码器的第q层。F q表示PFP从学生网络中编码器的第q层投影的特征图。 φ（·）表示金字塔池化操作。双向特征匹配。为了从多个教师网络中鲁棒地学习知识，我们提出了双向特征匹配（BFM）来约束学习到的首先，教师网络的投影特征通过反向渐进特征投影器（IPFP）投影回原始输入空间。然后，我们通过损失计算它们与原始特征的差异。投影特征验证（LPFV）。LPFV=||ρ（Fq）−F<$q||第一条、第二条q=1其中Fq表示不使用PFP操作的原始特征ρ（）表示IPFP，其架构类似于PFP。我们的想法是，教师和学生网络生成的原始特征可以被投影到不合理的特征，以最小化PFE。通过应用这种辅助处理，可以保证投影特征的有效性，可以改善整个CKT过程。CKT的总损失（LCKT）定义为：LCKT =LPFE+LPFV，（3）17657·LL我Rr=1·3.4. 多对比正则化为了提高所提出的训练方案的性能，受对比学习的启发，我们提出了多对比正则化（MCR），根据网络的能力嵌入到两阶段的知识学习过程中。MCR中有两种损 失： 软对比 正则 化（ SCR ）和 硬对 比正则 化（HCR）。前者旨在提高特定天气类型的性能，而后者则增强了网络对多个天气类型的区分能力。如图4的右侧所示，我们利用输入图像的基本事实作为正样本，而由所有天气类型退化的图像集作为负样本。正样本可以加强网络学习更准确的结果，而负样本可以增强对各种天气类型的区分能力。这种操作允许网络在不同天气之间学习更多的综合信息，并提高其对多种天气类型的鲁棒性。HCR损失定义为：有三种天气。我们首先介绍对比LHCR=Q（J∈S，JGT，{{IWi}R个文件夹）、（6）正则化损失，即：rr=1i=1Q（v，v+，v−）=Δexp（Δ（v）·Δ（v+）/τ）r=1其中，JGT是输入图像的地面实况，K是天气类型的总数。-日志exp（λ（v）·λ（v+）/τ）+λR、exp（<$（v）<$（vr−）/τ） （四）3.5. 整体亏损这两个阶段的损失如下所示。其中v、v+和v−表示预测结果，样品和阴性样品。·代表知识整理。 的LCKT 在com上使用-点积运算VGG（）是VGG-19网络的特征提取操作。τ为标度温度，本文中设定为0.07，R为负样本总数。然后，我们说明了拟议的SCR和HCR。软对比正则化。在KC阶段采用软对比正则化（SCR）算法对学生网络进行优化.由于学生网络不能很好地模仿教师网络的行为我们的想法是，现有的方法采用对比学习通常直接使用降质图像的地面真值作为正样本。 然而，对于一个“不成熟”的学生网络来说，学习这样具有挑战性的样本是具有挑战性的因此，如图4的左侧所示，为了降低学习过程的难度，我们采用教师网络预测的结果作为正样本。它使网络能够轻松地学习特征表示。对于负样本，我们采用一组由特定天气退化的图像，因为我们希望网络专注于具有相同退化的图像。给定一个因天气类型而退化的输入图像，Wi，SCR损失LSCR定义为：多教师知识转移的mon特征空间。此外，与SCR类似，我们利用教师网络预测的结果来计算差异，因为学生网络在这个阶段并不稳定和不成熟。KC级的总损失（LKC）为：LKC=LTPixel+λ1LCKT+λ 2LSCR，（7）其中TPixel是由教师网络恢复的结果与预测结果之间的差的L1范数。知识考试。在KE级LKE处的总损失函数可以被图示为：LKE=LG像素+λ3LHCR，（8）其中GPixel表示在L1范数方面的地面实况与恢复结果之间的差。与HCR类似，KE阶段的学生网络的能力已经足够成熟，可以应对不同的天气类型。因此，采用地面实况来计算损失使网络能够学习结果的更准确细节4. 执行W.R.4.1. 数据集LSCR=Q（JS，JT，{Iri}r=1），（5）其中{IWi}R是因天气而退化的图像集应用了各种不利天气数据集，包括“留”[59]，“雨1400”[2]和“CSD”[12]。 “RE-类型Wi.JS和JTi是学生预测的结果网络S和教师网络Ti。硬 对 比 正 则 化 。 在 KE 阶 段 应 用 硬 对 比 正 则 化（HCR）。在这个阶段，我们假设学生网络已经被不同的老师训练了几个时代，并且已经足够因此，我们认为，SIDE”是由用于训练的“ITS”数据集和“OTS”数据集以及用于测试的“SOTS”数据集组成的大型霾数据集。“雨1400”包含12600个合成的雨图像。“CSD”包含10K合成雪图像。在训练阶段，我们分别从“OTS”、“Rain1400”和“CSD”中抽取5000个图像作为三个单独的训练集我们将它们合并为“混合训练集”。KΣ17658×××图4. 所提出的多对比规则化（MCR）的图示。在测试阶段，我们在SOTS数据集和“Rain 1400”和“CSD”的测试集上评估了我们的方法。我们将三个测试集合并为一个“混合测试集”。4.2.培训详细信息对于训练细节，我们需要训练几个教师网络和一个学生网络。他们每个人都接受了250个epoch和热身策略的训练。学习率为2 10−4。亚当[60]优化器被应用。批量大小为32，我们随机裁剪所有输入图像，224 224.参数总数为2。8107并且我们的方法需要16.6ms来恢复输入图像。该网络在Nvidia Tesla V100GPU上训练在每个epoch中，我们将30%的训练数据作为验证集。我们采用MSBDN [17]中提出的类似架构缩放因子λ1至λ3分别为1、0.1和0.2首先，采用不同天气类型的训练集来训练相应的教师网络。然后，我们采用混合训练集来训练学生网络。在KC阶段，我们修复了教师网络来训练学生网络125个epoch。然后，在KE阶段，我们在没有教师网络指导的情况下训练学生网络另外125个时期。5. 实验在这一节中，我们评估所提出的方法在合成和现实世界的恶劣天气图像，包括雾霾，雨，雪。对于去雾，我们将我们的方法与最先进的方法进行比较，包括EPDN [16]，AECR-Net [44]，MSBDN [17]，PFDN[61]，KDDN [33]，FFA-Net [36]。对于除雪，我们将我 们 的 方 法 与 现 有 的 除 雪 方 法 进 行 比 较 ， 包 括DesnowNet [13] ， DesnowGAN [47] ， JSTASR [11]和HDCW-Net [12]。对于降雨恢复，我们将我们的方法与DRD-Net [8]进行了比较，[22][23][24][25][26][27][28][29]我们还采用了多退化恢复方法，包括DAD [24]和MPRNet [18]，以及一体化恶劣天气恢复策略[21]。5.1. 定量评价对于定量评价，我们应用结构相似度（SSIM）和峰值信噪比（PSNR）。对于单一退化模型和多重退化模型，报告了两种类型的结果：（i）在特定天气上训练的模型（即，单个天气训练集）和（ii）在所有天气类型的数据上训练的模型（即，混合训练集）。对于一体化策略[21]1和我们的方法，我们使用混合训练集对它们进行训练。为了进行公平的比较，我们根据我们的训练数据集重新训练每个比较模型（如果提供了原始训练代码结果示于表1中。可以看出，每种方法在单一天气类型上训练时具有良好的性能，而在多天气类型上训练时可能会恶化。从去除单一天气退化的角度来看，我们的方法可能不是每个天气类型内的最佳方法然而，与其他现有方法相比，当我们仅通过采用一组预训练参数和统一架构来处理所有天气类型时，我们的方法可以实现更优的性能5.2. 定性评价我们在图5中给出了在雾霾、降雨和降雪情况下通过所提出的方法恢复的视觉结果。可以注意到，我们的方法可以实现令人鼓舞的结果，在视觉质量的每一个是否类型。对于有雾的情况，通过我们的方法恢复的结果包含较少的残留雾。对于雪和雨的场景，我们的方法可以去除更多的雪粒子和雨条纹相比，其他方法。5.3. 消融研究我们评估了每个模块的有效性，包括协作知识转移（CKT），多对比正则化（MCR），和两阶段的知识学习策略。我们报告了在混合测试集上测试和在混合训练集上训练的结果。CKT的有效性进行六种组合以用于比较。（基线）：主干;（C1）：基线从在Clear图像（STC）上训练的单个教师网络的输入和输出是清晰的图像，类似于[33]）;（C2）：学习知识的基线[1]由于文[21]和[13]中的原代码不可用，本文的结果是基于我们的实现。17659LL(a) 去雾图像的视觉比较。 我们的方法可以生成具有较少残留雾度的结果。(b) 我们的方法与最先进的雨水去除方法相比，雨水去除的结果(c) 除霜效果比较与其他方法相比，我们的方法可以去除更多的雪颗粒。图5. 恶劣天气去除算法的比较。边缘来自在混合训练集（STM）上训练的单个教师网络;（C3）：提出的多教师策略，其中仅教师网络的特征被投影到学生(C4)：与私营部门筹资和伙伴关系司的C3;（C5）：与财管局的C4。请注意，除了'C1'的教师网络外，每个网络都是在混合训练集上训练的。 可以看出，由单个教师网络训练的学生模型可能具有有限的性能，因为单个知识转移不能适当地解决不同的特征。特别地，在清晰图像上训练的教师网络具有与C2更差的性能一致性，因为它不学习对多种天气类型的区分能力。此外，从C3到C5，CKT中提出的每个模块都可以对网络的性能做出贡献然而，仅采用PFP模块可能会使性能恶化，因为投影特征可能对于公共特征空间中的特征学习无效教师和学生网络的PFP可能倾向于投射不合理的特征，以减少LPFE.BFM可以应用于缓解该问题。MCR的有效性。我们进一步验证了有效性表3中的拟定MCR。值得注意的是，通过分别在KC和KE阶段使用SCR和HCR，可以获得最佳性能。两阶段培训策略的有效性。我们将所提出的两阶段知识学习策略与表4中的单阶段培训策略进行了比较。单阶段训练策略是指在整个训练过程中采用多教师网络对学生进行知识控制和知识学习。可以看出，两阶段训练策略实现了更好的性能。多天气清除效果。总之，与基线相比，利用所提出的技术，多天气去除的性能可以得到很大改善。具体地，PSNR和SSIM的值可以分别从29.274和0.918增加到32.814和0.955。此外，为了验证所提出的方法的特征提取的有效性，我们在图中给出了提取的特征的6a和图6b的C1模块和我们的方法。结果表明，在使用现有的单一教师策略时，可能会混淆来自不同天气类型17660表1. 不良天气清除的定量评价。表4. 两阶段培训战略的有效性。对于MPRNet和DAD，足够的该模型分别在霾、雨和雪数据集上进行训练。对于具有红色的区域，它们表示仅在模型的原始天气上训练PFDN在雾度数据集上训练）并在相应的测试集上测试。对于灰色区域，它们分别表示在混合训练集上训练的结果和在三个测试集上测试的结果。黑体字表示在相应天气下的最佳效果。方法原始天气数据集雾度雨雪(a) 从Cl获得的t-SNE。（b）从我们的公司获得的t-SNE。表2. 对三种天气类型的合作知识转移的消融研究。请注意，由于C1需要干净的图像来训练其教师网络，因此我们采用混合训练集的地面真值。组合模块度量STCSTMMtPFPBFMPSNR/SSIM基线-√----29.274 /0.918C1-√---26.975 /0.897C2--√--29.666 /0.921C3--√-√-30.507 /0.931C4C5----√√-√29.784 /0.92331.668/0.943表3. 拟定多对比剂正则化丢失的消融研究。阶段KC KEPSNR/SSIM损失LSCRLHCRLSCRLHCRC5----31.668 /0.943C6√-√√-√32.183 /0.945C7-√-√32.264 /0.946C8--32.814/0.955因为学生网络在多天气情况下不是以区别的方式被引导的。相比之下，所提出的方法可以很好地区分这两种类型的（c）激活特征图的可视化图6. t-SNE和激活特征图的视觉比较。天气和恢复这些退化有效。此外，我们在图6c中呈现了激活的特征图，并且它表明通过我们的方法训练的学生模型可以捕获退化（即，雨或雪）。6. 结论在本文中，我们提出了一种新的方法来解决恶劣天气去除问题，具有统一的架构和一组预先训练的权重。我们设计了几种机制，包括两阶段知识学习，CKT和MCR。实验结果表明，与现有方法相比，该方法具有良好的性能，烧蚀实验证明了各模块的有效性。7. 确认我们感谢国家高性能计算中心（NCHC）提供的计算和存储资源。战略PSNR SSIMw/o两阶段知识学习两阶段知识学习32.061 0.94532.814 0.955EPDN23.82/0.8923.18/0.8722.20/0.7620.16/0.77PFDN31.45/0.9727.41/0.9531.03/0.8727.41/0.89KDDN33.49/0.9729.16/0.9423.36/0.8726.15/0.87DehazeMSBDNFFA-Net33.79/0.9834.98/0.9930.05/0.9631.63/0.9629.62/0.8931.77/0.9128.15/0.9129.27/0.94AECRNet35.61/0.9832.26/0.9730.43/0.9127.07/0.92DAD-H26.97/0.95---MPRNet-H31.31/0.97---JORDER31.28/0.9221.63/0.8530.03/0.8821.04/0.80PReNet31.88/0.9323.37/0.9329.65/0.9123.61/0.90DRD-Net29.65/0.8821.60/0.8625.98/0.8222.03/0.79DerainMSPFNDualGCN29.24/0.8830.50/0.9124.94/0.9319.43/0.8427.24/0.8221.15/0.6820.59/0.7618.70/0.75JRJG31.18/0.9130.51/0.9128.92/0.8928.48/0.86DAD-R31.74/0.93---MPRNet-R33.52/0.93---DesnowNet25.63/0.8824.07/0.8727.58/0.8624.18/0.85JSTASR27.52/0.8725.65/0.8525.51/0.8126.03/0.84德诺DesnowGANHDCW-Net28.63/0.9029.11/0.9125.77/0.9030.07/0.9328.42/0.8727.20/0.8527.09/0.8828.85/0.89DAD-S29.29/0.90---MPRNet-S31.53/0.96---爸爸-25.94/0.9429.87/0.8726.79/0.87MPRNet-29.38/0.9531.36/0.9129.68/0.94All in one-30.49/0.9530.82/0.9028.65/0.92我们-33.95/0.9833.13/0.9331.35/0.9517661引用[1] Tai-Xiang Jiang，Ting-Zhu Huang，Xi-Le Zhao，Liang-Jian Deng，and Yao Wang.一种新的基于张量的视频雨条纹 去除 方法 ，通 过利 用歧视 性的 内在 先验 。在CVPR，2017年。一、二[2] Xueyang Fu，Jiabin Huang，Delu Zeng，Yue Huang，Xinghao Ding，and John Paisley.通过深度细节网络从单个图像中去除雨水。在CVPR，2017年。一、二、五[3] 杨文汉，刘佳英，杨帅，郭宗明。基于可见性增强的递归小波学习的无尺度单幅图像去噪IEEE TIP，2019年。一、二[4] 韦唯、李玄义、齐燮、钱钊、孟德裕、徐宗本。我们应该把 视频 中的 雨纹 编码 为确定 性的 还是 随机 的？InICCV，2017. 一、二[5] 王天宇，杨欣，徐克，陈少哲，张强，刘永红。高质量真实降雨数据集的空间关注单图像脱网。在CVPR，2019年。一、二[6] Rajeev Yasarla ， Vishwanath A Sindagi ， and Vishal MPatel.Syn2real迁移学习用于使用高斯过程的图像去噪。在CVPR，2020年。1[7] Kui Jiang，Zhongyuan Wang，Peng Yi，Chen Chen，Baojin Huang，Yimin Luo，Jiaoyi Ma，and Junjun Jiang.多尺度渐进融合网络在单幅图像去噪中的应用。在CVPR，2020年。一、二、六[8] Sen Deng，Mingqiang Wei，Jun Wang，Yidan Feng，Luming Liang，Haoran Xie，Fu Lee Wang，and MengWang.细节-通过上下文聚合网络恢复图像去中心化。在CVPR，2020年。一、二、六[9] 王宏，谢启，赵谦，孟德宇。一种用于单图像雨水去除的模型驱动深度神经网络在CVPR，2020年。一、二[10] 杜英俊，徐军，邱强，郑贤通，张磊。变分图像去噪。在WACV，2020年。一、二[11] Wei-Ting Chen ，Hao-Yu Fang，Jian-Jun Ding，Chen-Che Tsai，and Sy-Yen Kuo. Jstasr：基于改进的部分卷积和面纱效应去除的联合大小和透明度感知雪去除算法。在ECCV，2020年。一、二、六[12] 陈伟婷，方浩宇，谢正林，蔡正哲，陈毅，丁建钧，郭希燕，等。全部雪被去除：采用分层双树复小波表示和克服通道损失的单图像去噪算法。ICCV，2021。一、二、五、六[13] 刘云福，赵大伟，黄世嘉，黄正能。Desnownet：用于除雪的上下文感知深度网络。IEEE TIP，2018。一、二、六[14] Dana Berman，Shai Avidan，等.非局部图像去雾。在CVPR，2016年。一、二[15] He Zhang和Vishal M Patel.密集连接的金字塔式除雾网络。在CVPR，2018年。一、二[16] 曲燕云，陈一子，黄静颖，谢元。增强的pix2pix去雾网络。 在CVPR，2019年。 一、二、六[17] Hang Dong，Jinshan Pan，Lei Xiang，Zhe Hu，XinyiZhang，Fei Wang，and Ming-Hsuan Yang.具有密集特征融合的多尺度增强去雾网络。在CVPR，2020年。一、二、六[18] Syed Waqas Zamir 、 Aditya Arora 、 Salman Khan 、Munawar Hayat 、 Fahad Shahbaz Khan 、 Ming-HsuanYang和Ling Shao。多阶段渐进式图像恢复。在CVPR，2021年。一、二、六[19] 杨浩祥，傅延伟。小波u-网与色度自适应变换用于单幅图像去雾。在ICIP，2019年。1[20] 杨浩祥，杨朝汉，蔡义昌。Y-net：具有小波结构相似性损失函数的多尺度特征聚合网络，用于单张图像去雾。在ICASSP，2020年。1[21] Ruoteng Li，Robby T Tan，and Loong-Fah Cheong. 所有在一个坏天气去除使用建筑搜索。在CVPR，2020年。一、二、三、六[22] Ruoteng Li，Loong-Fah Cheong，and Robby T Tan.暴雨图像恢复：整合物理模型和条件对抗学习。在CVPR，2019年。1[23] Wei-Ting Chen，Jian-Jun Ding，and Sy-Yen Kuo. PMS-net：基于单个图像的补丁映射的鲁棒雾消除。在CVPR中，第11681-11689页，2019年。1[24] Zhengxia Zou，Sen Lei，Tianyang Shi，Zhenwei Shi，and Jieping Ye.深度对抗分解：分离叠加图像的统一框架。在CVPR，2020年。二、六[25] Jinshan Pan， Sifei Liu ，Deqing Sun， Jiawei Zhang，Yang Liu ， Jimmy Ren ， Zechao Li ， Jinhui Tang ，Huchuan Lu ， Yu-Wing Tai ， et al. Learning dualconvolutional neural networks for low-level vision. 在CVPR，2018年。2[26] 范庆南，陈东东，卢远，华刚，余能海，陈宝泉.参数化图像算子的解耦学习。在ECCV，2018。2[27] Geoffrey Hinton Oriol Vinyals和Jeff Dean。 提取神经网络中的知识。arXiv预印本arXiv：1503.02531，2015。二、三[28] Wenhan Yang，Robby T Tan，Jiashi Feng，ZongmingGuo，Shuicheng Yan，and Jiaying Liu.联合雨检测和去除从 一个 单一的 图像 与上下 文的 深度网 络。IEEETPAMI，2019。2[29] 王宏，岳宗盛，谢启，赵倩，郑业峰，孟德宇。从造雨到降雨。在CVPR，2021年。2[30] 叶云彤、常毅、周涵宇、严路欣。闭合循环：通过解缠图像转换联合生成和移除雨水。在CVPR，2021年。二、六[31] 杨浩祥，杨朝汉，王玉强。小波通道注意模块与融合网络用于单幅图像去噪。在ICIP，2020。2[32] 何开明，孙建，唐晓鸥。使用暗通道前去除单个图像IEEE TPAMI，2010。217662[33] 明宏，谢元，李翠花，曲燕云。基于异构任务模拟的图像去雾在CVPR，2020年。二、三、六[34] Qili Deng，Ziling Huang，Chung-Chi Tsai，and Chia-Wen Lin. Hardgan：一个用于单个图像去雾的雾度感知表示蒸馏gan。在ECCV，2020年。2[35] Yuanjie Shao ， Lenehan Li ， Wenqi Ren ， ChangxinGao，and Nong Sang.用于图像去雾的域自适应。在CVPR，2020年。2[36] Xu Qin，Zhilin Wang，Yuanchao Bai，Xiaodong Xie，and Huizhu Jia. Ffa-net：用于单图像去雾的特征融合注意力网络。在AAAI，2020年。二、六[37] Xianhui Zheng ， Yinghao Liao ， Wei Guo ， XueyangFu，and Xinghao Ding.基于单幅图像的多导滤波雨雪去除。InICONIP，2013. 2[38] Soo-Chang Pei，Yu-Tai Tsai，and Chen-Yu Lee.使用饱和度 和可 见度 特征 去除 单个图 像中 的雨 雪。 载于ICMEW，2014年。2[39] 王英龙，刘帅成，陈晨，曾兵。一种单色图像中雨雪去除的分层方法。IEEE TIP，2017年。2[40] 余树建，赵一笑，牟毅，吴京辉，韩璐，杨晓鹏，赵宝军.单幅图像的内容自适应雨雪去除算法。InISNN，2014.2[41] Zhi Li，Juan Zhang，Zhijun Fang，Bo Huang，XiaoyanJiang，Yongbin Gao，and Jenq-Neng Hwang.基于合成生成对抗网络的单图像除雪IEEE Access，7：25016-25025，2019。2[42] 张凯浩，李荣庆，于延江，罗文汉，李长生。使用语义和深度先验的深度密集多尺度除雪网络IEEE TIP，2021。2[43] 杨飞，张嘉璐，张倩。用于除雪的多尺度帽生成对抗网络。IET计算机视觉，2021年。2[44] Haiyan Wu ， Yanyun Qu ， Shaohui Lin ， Jian Zhou ，Ruizhi Qiao，Zhizhong Zhang，Yuan Xie，and LizhuangMa.用于紧凑的单个图像去雾的对比学习。在CVPR，2021年。二、六[45] Xia Li，Jianlong Wu，Zhouchen Lin，Hong Liu，andHongbin Zha.循环压缩激励上下文聚合网络用于单图像去噪。在ECCV，2018。2[46] Ruijie Quan，Xin Yu，Yuanzhi Liang，and Yi Yang. 一次性去除雨滴和雨痕。 在CVPR，2021年。 2[47] 赵大伟，黄世嘉，郭希燕。Desnow- gan：一个使用交叉分辨率横向连接和gans的高效单图像除雪框架。IEEETCSVT，2020。二、六[48] Adriana Romero ， Nicolas Ballas ，