多任务架构搜索：全能恶劣天气去除

432131750使用架构搜索的全能恶劣天气去除0Ruoteng Li 1，Robby T. Tan 1,2和Loong-Fah Cheong 101 新加坡国立大学 2新加坡国立大学耶鲁学院0摘要0许多方法在恢复被雨、雾、雾和雪等恶劣天气退化的图像方面取得了最先进的性能，但它们是专门设计来处理一种类型的退化。在本文中，我们提出了一种可以处理多种恶劣天气退化的方法：雨、雾、雪和附着的雨滴，使用一个单一的网络。为了实现这一目标，我们首先设计了一个具有多个任务特定编码器的生成器，每个编码器与特定的恶劣天气退化类型相关联。我们利用神经架构搜索来优化处理从所有编码器提取的图像特征。随后，为了将退化的图像特征转换为干净的背景特征，我们引入了一系列基于张量的操作，封装了形成雨、雾、雪和附着的雨滴的潜在物理原理。这些操作作为我们架构搜索的基本构建模块。最后，我们的鉴别器同时评估恢复图像的正确性和分类退化类型。我们设计了一种新颖的对抗学习方案，只将退化类型的损失反向传播到相应的任务特定编码器。尽管被设计用于处理不同类型的恶劣天气，但广泛的实验证明我们的方法在性能上与个别和专门的最先进图像恢复方法相媲美。01. 引言0恶劣天气图像恢复问题在图像处理和计算机视觉的研究领域中得到了广泛研究，例如去雨[20, 18, 59, 8, 53, 30, 50, 62,36, 4, 44, 29]、去雾[47, 3, 1, 57, 7, 13, 26, 43]、去雪[44,37]和去附着雨滴[41,42]等。其中大多数工作仅关注单一天气类型，并提出了专门的0† 本工作得到MOE2019-T2-1-130的支持。0雨雾编码器0雨滴编码器0雪编码器0通用解码器0全能网络0图1：我们网络的高级视图，输入为不同类型的恶劣天气图像，输出为相应的干净图像。所提出的方法能够使用相同的权重/参数处理多种类型的恶劣天气图像。0解决方案[29, 43,41]。虽然它们可以达到出色的性能，但在其他类型的恶劣天气退化上可能无法产生最佳结果，因为其他类型的退化因素没有得到仔细考虑。因此，真实的户外系统必须在一系列恶劣天气图像恢复算法之间进行决策和切换。在本文中，我们开发了一种基于单个网络的方法，用于处理多种类型的恶劣天气现象，包括雨、雾、雪和附着的雨滴。值得注意的是，最近的一些研究尝试恢复多个退化问题[39,6]。然而，它们中没有一个能够仅使用一组预训练权重处理多个退化。为了实现我们的目标，我们需要考虑与我们的问题相关的几个因素。首先，不同的恶劣天气是基于不同的物理原理形成的，这意味着退化图像不具有相同的特征。为了产生432231760为了获得最佳性能，我们需要根据潜在的物理原理设计网络。其次，恶劣天气图像恢复可以被视为一种多对一的特征映射问题，即不同恶劣天气域（雨、雾、雨滴、雪）的图像特征通过一组网络参数（多个编码器）转换为干净图像特征，然后通过一个解码器将干净特征转换为干净的自然图像。因此，找到一种适当的方式来处理来自多个域的特征，并将其进一步适用于适当的操作是至关重要的。这激发了我们设计一种自动寻找上述任务的最佳网络架构的架构搜索方法。我们网络搜索模块的基本构建模块由一系列基本操作组成，这些操作可以根据恶劣天气图像退化的物理特性将退化的图像特征转换为干净特征。第三，大多数现有的基于GAN的鉴别器被训练来判断恢复的图像是否真实。然而，它不能为生成网络提供将图像区分为不同退化类型的错误信号。编码器可能无法根据自己对退化类型的评估独立地更新其可学习参数。为了解决这个问题，我们提出了一种多类别辅助鉴别器，它可以同时对图像退化类型进行分类和判断恢复图像的正确性。此外，与其他现有的基于GAN的方法不同，我们的网络具有多个特征编码器，每个编码器对应一个特定的退化类型。当我们反向传播鉴别损失时，网络仅将损失传播到相应的编码器，基于分类结果。因此，只有相应的编码器将根据对抗损失更新参数；而其他所有编码器都不会受到影响。我们总结了我们方法的贡献如下：01.我们提出了一种全能的恶劣天气去除方法，可以处理多种恶劣天气条件（雨条纹、雨幕效应、雪和附着的雨滴）在一个网络中。02.我们提出了一种神经架构搜索技术，用于找到使用不同天气编码器处理特征的最佳架构。引入了一系列使特征对恶劣天气不变的基本操作。这些基本操作构成了搜索的基本构建模块。03.我们提出了一种新颖的端到端学习方案，可以处理多个恶劣天气图像恢复任务。关键思想是让判别损失的错误根据恶劣天气输入的类型反向传播到特定的编码器中。02.相关工作0基于深度学习的解决方案在各种图像处理问题中取得了有希望的性能，如去噪[58]、图像补全[16]、超分辨率[21]、去模糊[45]、风格转换[9]等。对于恶劣天气恢复或图像增强，如去雾[47, 3, 1, 57, 7, 13, 26, 43]、去雨滴和污垢[20, 18,59, 8, 53, 30, 50, 62, 36, 4]、中等雨[44, 29]和大雨[25,54]，基于深度神经网络的解决方案也是如此。这些最近的工作都显示了深度神经网络模型相对于传统方法的优越性。雨水去除Kang等人的[20]是第一个引入单图像去雨方法的工作，该方法使用双边滤波器将输入图像分解为低频和高频分量。最近的最先进的去雨策略都是由深度神经网络主导的。Fu等人的[8]开发了一个深度卷积神经网络，从雨图像的高频分量中提取判别特征。Yang等人[54]设计了一个多任务深度学习架构，同时学习雨条纹的位置和强度。Li等人的[25]提出了一种网络，解决了大雨场景中普遍存在的雨条纹和雨幕效应。这种方法不仅提出了残差分解步骤，还巧妙地将基于物理的雨模型和对抗学习相结合，实现了最先进的性能。它同时学习了大雨的物理参数，包括条纹强度、透射、大气光，并利用生成对抗网络来弥合所提出的雨模型和真实雨之间的领域差距。雨滴去除有许多基于传统手工特征的方法可以检测和去除单幅图像中的雨滴[52,55]。Eigen等人的[5]使用成对的雨滴退化图像和相应的无雨滴图像训练了一个卷积神经网络。它的网络是一个相当浅的模型，只有3个卷积层。虽然该方法有效，特别是对于相对稀疏和小的液滴以及污垢，但结果往往模糊不清。Qian等人[41]在GAN网络中使用注意力图成功地从单幅图像中去除雨滴。然而，这种方法的主要缺点是注意力图本身很难获得。自动计算的注意力图地面真值往往质量较差。Quan等人[42]进一步探索了基于数学描述雨滴形状的注意力图的生成。它将雨滴注意力图和检测到的雨滴边缘结合起来，获得了单幅图像去雨的最先进性能。雪花去除[2,46]使用HOG技术捕捉雪花的特征，以去除单幅图像中的雪花。Xu等人[51]利用颜色假设来建模下落的雪花颗粒。与捕捉雪花部分特征的手工特征相比，这种方法更具优势。Cell 0 Cell 1Cell -2I(x) = t(x)(J(x) +�iRi(x)) + (1 − t(x))A,(1)I(x) = (1 − M(x))J(x) + K(x),(2)I(x) = zS(x) + J(x)(1 − z),(3)J(x) = F(I(x)),(4)432331770雨雾 FE0雪 FE0雨滴 FE0特征搜索判别解码器0雨雾：是/否0雪：是/否0雨滴：是/否0清晰：是/否0生成器鉴别器0完整架构0雨滴特征提取器0输入图像0任务特定特征提取器0通用解码器特征搜索0清晰图像0生成器0特征搜索0图2：左：提出网络的完整架构。虚线表示来自鉴别器的对抗损失的反向传播路径。鉴别器对退化类型进行分类，并确定输入图像是真实的还是伪造的。特定退化类型的分类错误仅用于更新生成网络中分配给该类型的相应编码器。来自一个退化类型的损失仅传播到更新相应的特征编码器。右：提出网络生成器的详细结构。在我们的实验中，我们将单元数设置为3（单元-2，单元-1和单元0）。FE代表特征提取器。0雪花和雨痕，Li等人[24]使用在线多尺度卷积稀疏编码模型对雪花或雨痕进行编码。神经架构搜索（NAS）神经架构搜索旨在自动设计神经网络架构以实现最佳性能，同时最大限度地减少人工时间和努力。早期的工作，如[63, 19,11]直接构建整个网络，并使用来自设计强化学习控制器RNN的监督自动训练。许多最近的论文[32,40]指出，搜索可重复的单元结构并固定网络级结构更加有效和高效。PNAS方法[32]提出了一种渐进搜索方法，显著降低了计算成本。我们的工作与[34,31]密切相关，进一步将网络搜索任务放松为一个端到端的优化问题。03. 提出的方法03.1. 问题建模0不同的天气现象根据不同的物理原理降低图像质量。例如，大雨图像（其中雨幕效应，与雾/薄雾相似）可以建模为[25]:0其中 I ( x ) 是位置 x 处的雨图像，t 是透射映射，A是场景的全局大气光。R i 表示沿线的第 i 层雨痕0视线之外的图像。附着的雨滴图像可以建模为 [41]:0其中 I 是彩色雨滴图像，M 是二进制掩码。J是背景图像，K是由附着的雨滴带来的图像，表示环境反射的模糊图像。最后，雪花图像可以建模为 [37]:0其中 S 表示雪花，z是一个二进制掩码，指示雪的位置。从这些不同的恶劣天气图像的公式中可以看出，这些问题没有共享相同的内在特征，这就解释了为什么专门为一个任务设计的算法不能用于其他任务。为了解决这个问题，我们使用以下通用函数建模恶劣天气任务：0其中 F表示一个自编码器，将退化的图像映射到清晰的背景图像，并且应该包含如方程(1)(2)(3)所述的公式。为了实现这一点，我们考虑一个具有多个编码器的网络：0J(x) = G⊙Eρ(Iρ(x)), (5)0其中Eρ表示接受与退化类型ρ相关的退化图像Iρ的编码器。G是通用解码器，将输入恢复为干净的背景图像J。RGBConv1x1Conv1x1Conv1x1AttentionRGBConvConvConvConv1324J(x) = M(x) ⊙ I(x),(7)432431780Cell -2 Cell -10dil5x50自注意力0分解低0零0去雾0分解高0零0sep3x30残差操作0sep3x30连接0特征搜索单元00块i0图3：我们提出的网络中特征搜索块的详细说明。该图显示了训练后可能的架构布局。在图中，dil5x5表示带有5×5内核的扩张卷积。sep3x3表示带有3×3内核的可分离卷积。0特征搜索的基本操作0去雾操作0M0残差操作0最大0分解操作0引导滤波器0自注意力操作0K0Q0Conv+ReLU0V0{I H }0{I L }0内核k = 2 i0图4：为恶劣天气恢复任务设计的搜索组件中的4个基本操作的详细说明。03.2. 架构搜索方法0为了有效处理来自多个编码器的特征，我们在多个编码器的末端利用NAS技术。在这个搜索模块中（详细信息如图3所示），我们遵循大多数最近的NAS方法的配置，它们将一个单元定义为最小的基本模块，可以重复多次以构建整个网络架构。因此，网络搜索空间包括网络级搜索，即查找单元之间的连接结构，以及单元级搜索，即探索单元内部的结构。03.2.1 网络单元结构0由于计算资源有限，我们采用[31]中的基本规则来设计基本单元结构：一个单元是由B个块组成的有向无环图。第l个单元Cl中的第i个块表示为一个5元组（I1，I2，O1，O2，H）的二对一映射结构，其中I1，I2∈Ili是输入张量的选择；O1，O2∈O是应用于相应输入张量的层类型的选择。H∈H是用于组合两个层O1，O2的输出的方法。可能的层类型O的集合包括以下十个操作符：0• 3x3可分离卷积 •5x5可分离卷积 •3x3扩张卷积 •5x5扩张卷积 •无/跳跃连接0• 去雾操作0• 残差操作0• 自注意力操作0• 分解操作0除了常见的卷积操作，如扩张卷积、深度可分离卷积，我们根据每种退化类型形成中嵌入的物理定律，引入了处理恶劣天气图像退化的新基本操作，即分解操作、残差操作、自注意力操作和去雾操作（如图4所示）。在下面的段落中，我们详细描述了新操作的设计和功能。0去雾操作大多数现有方法根据以下雾/霾形成模型解决问题：I(x) = tJ(x) + (1 - t)A. (6)0这个方程中的变量与公式（1）中的意义相同。受到[23,28]的启发，可以学习一个将遮挡图像转换为干净背景图像的潜变量 M ：0其中 M ( x ) = ( I ( x ) +  t A  −  A ) / tI ( x )，是一个依赖于输入图像 I的可学习潜变量。因此，我们在提取的图像特征上应用一层conv 1 × 1 来估计潜变量 M ，并将 M与提取的特征相乘，如图4.1所示。0分解操作图像分解已经广泛应用于去除雨滴和去除雪花[20,8,25]。我们将在特征空间中的分解视为一种对去除雪花和雨滴有效的基本操作。如图4.2所示，我们使用具有范围在 2 k的核族的深度图像引导滤波器。T li =�Hlj∈IliOj→i(T lj).(8)¯Oj→i =�O∈Oαj→iOj→i(T lj),(9)T l = Cell(T l−1, T l−2; α).(10)Ls = E[log P(S = real)|Xreal)](11)+ E[log P(S = fake|Xfake)].(12)̸432531790其中 k =1,2,...,6。我们在低频和高频分量的末尾都使用一个 conv 1× 1 层来提取适当的特征。0残差操作受[28]的启发，我们在特征空间中实现了残差通道操作（如图4.3所示）。残差通道[27]已被证明对于从单个图像中去除雨滴是有效的。0自注意力操作一些方法[41,42]已经证明使用注意力图去除附着的雨滴的优点。在这些方法中，雨滴注意力图是从雨滴掩膜的真实值中显式学习得到的。然而，获取这些雨滴掩膜是昂贵的[12]，而且任何质量的缺乏都可能影响性能。为了解决这个问题，自注意机制[56, 48]已经应用于许多图像重建方法[60,33]。我们将这个自注意模块视为可以被NAS利用的基本操作块（如图4.4所示）。03.2.2 架构搜索空间0根据[35]中描述的连续松弛，在每个块 i 中，输出张量 T l i通过搜索操作 O j → i 与所有输入张量 I l i 相连接：0我们用连续松弛来近似搜索最佳的 O j → i 步骤，得到 ¯ O j→ i ：0其中 α j → i  = 1。在实践中，这被实现为softmax操作。因此，细胞级架构可以总结为：0为了最大化这些基本的知识能力的潜力，我们允许细胞和块之间存在异等连接。03.3. 分类对抗训练0在标准生成对抗网络（GAN）配置中，生成器 G采用随机噪声向量 z 并生成图像 X fake 。鉴别器 D采用真实图像和生成器的输出图像来预测可能的概率分布 P( S | X ) ：0图像源[10]。在训练过程中，鉴别器被训练以最大化正确源的对数似然：0在我们的多类别鉴别器网络中，鉴别器不仅学习确定恢复图像的正确性，还努力从恢复图像中对降解类型进行分类：0L c  =  E [log  P ( C  =  c i ) | X real )]+ E [log  P ( C  =  ci | X fake )] . (13) 因此，鉴别器 D 被训练以最小化 L s  +L c ，而生成器被训练以最小化 L c  − L s。这种方法已被证明在解决标准GAN中的模式崩溃问题上是有效的[14]。总结一下，鉴别器的损失函数为：0L dis = L c + L s . (14)0对于生成器，我们还应用MSE损失来计算预测的清晰图像Jpred 与地面实况清晰图像J gt 之间的差异：0L gen = L c + L mse ( J pred , J gt ) - L s . (15)0更新相关编码器如前所述，不同的恶劣天气是基于不同的物理原理形成的。一个退化类型的分类错误L c i 可能对其他退化类型j（其中j≠i）的编码器更新不起作用。在我们的方法中，只有退化类型i的分类错误被用来更新编码器E i，如图2所示。通过将对抗损失专门反向传播到适当的编码器，我们增强了多编码器生成器将图像从不同域映射到一个公共特征空间的能力。04. 实现04.1. 数据集0我们在不同的恶劣天气数据集上训练我们的网络，包括“Outdoor-Rain” [25]、“Snow100K”[38]和“Raindrop” [41]。“Outdoor-Rain”包含9000个训练样本和1500个验证样本。“Snow100K”包含100k个合成的雪图像和相应的无雪地面实况图像。“Raindrop”包括1119对真实的附着雨滴图像和相应的背景实况图像。由于每个数据集中的图像数量不相等，我们在每个训练epoch中从“Snow100K”中采样9000个图像。对于小的“Raindrop”数据集，我们通过进行数据增强（如旋转、仿射变换、噪声和随机裁剪）来过采样它们。因此，在每个Pix2Pix [17]19.09 0.710CycleGAN [61]17.62 0.656HRGAN [25]21.56 0.855PSNR28.0231.5731.4431.12SSIM0.85470.90230.92630.9268PSNR19.1827.1728.33SSIM0.74950.89830.8820432631800表1：我们的算法与基准方法在Test 1[25]数据集上的比较。0方法 测试10指标 PSNR SSIM0DetailsNet [8] + Dehaze DHF 13.36 0.5830RESCAN [29] + Dehaze DHF 14.72 0.5870我们的算法 24.71 0.8980表2：我们的算法与基准方法在Raindrop[41]数据集上的比较。0指标 Pix2Pix [17] AttentGAN [41] Quan et al. [42] 我们0表3：我们的算法与基准方法在Snow100K-L[37]测试数据集上的比较。0指标 DetailsNet [8] DesnowNet [38] 我们0在每个epoch中，所有数据集的样本数均为9000。04.2. 训练细节0我们以端到端的方式训练我们的网络，使用所有恶劣天气数据集。为了在有限的资源下降低训练开销，我们采用[35]中的一阶近似，并将训练数据分成两个不相交的集合Set1和Set2。我们同时优化Set1上的图像恢复网络的参数和Set2上的架构搜索参数。学习率初始设为0.002，在每5个epoch后除以2，直到第40个epoch。我们使用Adam优化器[22]和权重衰减10^-4来优化网络参数。05. 实验0我们使用合成和真实的恶劣天气图像来评估我们的方法，包括雨、雪和附着的雨滴。雨（带雾）的测试数据集是来自HRGAN[25]的测试集。去雨的基准方法包括最先进的重雨去除方法HRGAN [25]、RESCAN [29]和DetailsNet[8]。雪的测试数据集来自从Snow100K-L测试集中采用的0[37]。由于最近与雪有关的工作很少，我们将DeSnowNet[37]和该论文中的基线方法进行比较。最后，附着雨滴的测试数据集来自Qian等人[41]。我们将我们的方法与最近的去雨滴方法[42]和Qian等人[41]进行比较。05.1. 定性结果0雨和雾我们在图5中展示了各种方法在合成雨图像上产生的结果。可以观察到，我们的网络虽然是针对多种恶劣天气类型进行训练的，但与专用最先进的去雨方法相比取得了竞争性能。我们在补充材料中提供更多结果。雪我们在图9中展示了各种方法在Snow100K数据集[38]上产生的合成雪图像的结果。0去雨滴我们在图7中列出了我们的方法与最近的去雨滴方法的结果。虽然我们的方法在PSNR方面并不是最好的，但我们仍然在不使用额外信息（如[42]中的边缘注意机制）的情况下取得了竞争性能。05.2. 定量结果0表1和2展示了我们提出的方法与专用最先进方法和通用图像恢复方法的定量结果。定量结果基于两个指标：PSNR[15]和SSIM[49]。对于去雨滴任务，我们的方法在PSNR方面并不是最好的，但取得了竞争性能。06. 消融研究0为了研究我们所提出的网络中每个组件的有效性，我们进行了消融研究，结果如表4所示。可以看出，我们的带有特征搜索的网络比简单的连接更好。我们还对分类对抗训练组件进行了消融研究。在去雨任务上进行的定量结果如表4所示。07. 结论0在本文中，我们提出了一种新颖的一体化恶劣天气图像增强解决方案，可以使用一个单一网络处理多种类型的恶劣天气退化。我们网络的竞争性能源于01由于[38]的原始代码不可用，定性结果基于我们的实现。表3中的定量结果直接从论文中获得。432731810(e) GT 图5：我们的方法与最先进的专用去雨和去雾方法进行合成雨和雾去除结果的比较。0(e) 我们的 图6：我们的方法与最先进的专用去雨和去雾方法在真实雨和雾图像上的结果比较。0表4：我们在所提出的网络中对搜索组件和分类对抗学习组件进行消融研究。评估是在测试数据集Test 1[25]上进行的，用于去雨和去雾任务。0方法 雨雾数据集[25]0度量 PSNR SSIM0无特征搜索 20.82 0.8270无分类鉴别器 21.58 0.860完整架构 24.71 0.8980我们的两个主要贡献。首先，找到处理不同恶劣天气特征的最有效方法。0我们的两个主要贡献。首先，找到处理不同恶劣天气特征的最有效方法，即去雾、残留、自注意和分解。其次，我们设计了一个多类别鉴别器，同时对图像退化类型进行分类和评估图像的正确性。所提出的新训练方案根据鉴别器的分类结果更新生成器中的编码器。最后，全面的实验证明了我们的方法在去雨、去雪和去雨滴任务上与专用最先进算法的有效性。432831820(a) 输入0(b) AttentGAN[41]0(c) Quan等人[42]0(d) 我们的0(e) 真实值0图7：我们的方法与最先进的专用去雨方法的去雨结果比较。0(a) 输入0(b) DetailsNet [8]0(c) DeSnowNet [38]0(d) 我们的0图8：我们的方法与最先进的专用去雪方法的去雪结果比较。0(a) 输入0(b) 无分类鉴别器0(c) 无特征搜索0(d) 我们的0图9：消融研究中不同网络之间的比较（放大以查看细节）。0参考文献0[1] D. Berman，T. Treibitz和S.Avidan。非局部图像去雾。在计算机视觉和模式识别IEEE会议上。0计算机视觉和模式识别（CVPR），2016年。0[2] J´er´emie Bossu，Nicolas Hauti`ere和Jean-PhilippeTarel。通过使用条纹方向直方图在图像序列中检测雨或雪。国际期刊。432931830计算机视觉杂志，93(3):348–367，2011年7月。[3] BolunCai，Xiangmin Xu，Kui Jia，Chunmei Qing和DachengTao。Dehazenet：一种用于单幅图像去雾的端到端系统。图像处理交易，25(11):5187–5198，2016年11月。[4] JieChen，Cheen-Hau Tan，Junhui Hou，Lap-Pui Chau和HeLi。在CNN框架中用于雨滴去除的鲁棒视频内容对齐和补偿。在计算机视觉和模式识别（CVPR）IEEE会议上，2018年6月。[5] D.Eigen，D. Krishnan和R.Fergus。恢复通过覆盖有污垢或雨水的窗户拍摄的图像。在2013年IEEE国际计算机视觉会议上，页码633–640，2013年12月。[6]Qingnan Fan，Dongdong Chen，Lu Yuan，GangHua，Neng-hai Yu和BaoquanChen。解耦参数化图像运算符的学习。在计算机视觉欧洲会议（ECCV）上，2018年9月。[7] RaananFattal。使用彩色线进行去雾。ACM图形交易，34(1)，2015年12月。[8] Xueyang Fu，Jiabin Huang，Delu Zeng，YueHuang，Xinghao Ding和JohnPaisley。通过深度细节网络从单幅图像中去除雨水。在计算机视觉和模式识别（CVPR）IEEE会议上，2017年7月。[9] Leon A.Gatys，Alexander S. Ecker和MatthiasBethge。艺术风格的神经算法。CoRR，abs/1508.06576，2015年。[10] Ian Goodfellow，Jean Pouget-Abadie，MehdiMirza，Bing Xu，David Warde-Farley，Sherjil Ozair，AaronCourville和Yoshua Bengio。生成对抗网络。在Z.Ghahramani，M. Welling，C. Cortes，N. D. Lawrence和K. Q.Weinberger（编辑）的《神经信息处理系统27》中，页码2672–2680。Curran Associates，Inc.，2014年。[11] K. Greff，R. K.Srivastava，J. Koutn´ık，B. R. Steunebrink和J.Schmidhuber。LSTM：一个搜索空间的奥德赛。IEEE神经网络和学习系统交易，28(10):2222–2232，2017年10月。[12] ZhixiangHao，Shaodi You，Yu Li，Kunming Li和FengLu。从合成逼真的雨滴中学习单幅图像雨滴去除。在计算机视觉国际会议（ICCV）研讨会上，2019年10月。[13] KaimingHe，Xiangyu Zhang，Shaoqing Ren和JianSun。深度残差学习用于图像识别。在2016年IEEE计算机视觉和模式识别会议（CVPR 2016）上，页码770–778，2016年。[14]Quan Hoang，Tu Dinh Nguyen，Trung Le和DinhPhung。MGAN：使用多个生成器训练生成对抗网络。在学习表示国际会议上，2018年。[15] Q. Huynh-Thu和M.Ghanbari。PSNR在图像/视频质量评估中的有效范围。电子信件，44(13):800–801，2008年6月。[16] Satoshi Iizuka，EdgarSimo-Serra和HiroshiIshikawa。全局和局部一致的图像补全。ACM图形交易（SIGGRAPH 2017会议记录），36(4):107:1–107:14，2017年。0[17] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou和Alexei AEfros。条件对抗网络的图像到图像翻译。arxiv，2016年。[18]Tai-Xiang Jiang，Ting-Zhu Huang，Xi-Le Zhao，Liang-JianDeng和YaoWang。一种新颖的基于张量的视频雨条纹去除方法，通过利用有区别的内在先验知识。在计算机视觉和模式识别（CVPR）的IEEE会议上，2017年7月。[19] Rafal Jozefowicz，WojciechZaremba和IlyaSutskever。循环网络架构的经验性探索。在第32届国际机器学习国际会议论文集上的国际会议上，ICML'15，页2342-2350。JMLR.org，2015年。[20] L. W. Kang，C. W. Lin和Y. H.Fu。通过图像分解进行自动单幅图像雨条纹去除。IEEE图像处理交易，21（4）：1742-1755，2012年4月。[21] Jiwon Kim，JungKwon Lee和Kyoung MuLee。使用非常深的卷积网络进行准确的图像超分辨率。CoRR，abs/1511.04587，2015年。[22] Diederik P. Kingma和JimmyBa。Adam：一种随机优化方法。CoRR，abs/1412.6980，2014年。[23] Boyi Li，Xiulian Peng，Zhangyang Wang，JizhengXu和DanFeng。Aod-net：一体化去雾网络。在计算机视觉国际会议（ICCV）上，2017年10月。[24] Minghan Li，Xiangyong Cao，QianZhao，Lei Zhang，Chenqiang Gao和DeyuMeng。通过变换的在线多尺度卷积稀疏编码进行视频去雨/去雪。CoRR，abs/1909.06148，2019年。[25] RuotengLi，Loong-Fah Cheong和Robby T.Tan。大雨图像恢复：整合物理模型和条件对抗学习。在计算机视觉和模式识别（CVPR）的IEEE会议上，2019年6月。[26] R. Li，J.Pan，Z. Li和J.Tang。通过条件生成对抗网络进行单幅图像去雾。在2018年IEEE/CVF计算机视觉和模式识别会议上，页8202-8211，2018年6月。[27] Ruoteng Li，Robby T. Tan和Loong-FahCheong。在雨天场景中的稳健光流。在欧洲计算机视觉会议（ECCV）上，2018年9月。[28] Ruoteng Li，Robby T.Tan，Loong-Fah Cheong，Angelica I. Aviles-Rivero，QingnanFan和Carola-BibianeSchonlieb。Rainflow：雨滴和雨纱效应下的光流。在计算机视觉国际会议（ICCV）上，2019年10月。[29] Xia Li，JianlongWu，Zhouchen Lin，Hong Liu和HongbinZha。用于单幅图像去雨的循环挤压激励上下文聚合网络。在欧洲计算机视觉会议（ECCV）上，2018年9月。[30] Yu Li，Robby T.Tan，Xiaojie Guo，Jiangbo Lu和Michael S.Brown。使用层先验去除雨滴。在计算机视觉和模式识别（CVPR）的IEEE会议上，2016年6月。[31] Chenxi Liu，Liang-ChiehChen，Florian Schroff，Hartwig Adam，Wei Hua，Alan L.Yuille和LiFei-Fei。Auto-deeplab：用于语义图像分割的分层神经架构搜索。CoRR，abs/1901.02985，2019年。433031840[32] Chenxi Liu, Barret Zoph, Jonathon Shlens, Wei Hua, Li-JiaLi, Li Fei-Fei, Alan L. Yuille, Jonathan Huang, and KevinMurphy.渐进式神经架构搜索。CoRR，abs/1712.00559，2017年。[33]Ding Liu, Bihan Wen, Yuchen Fan, Chen Change Loy和ThomasS.Huang。非局部循环网络用于图像恢复。CoRR，abs/1806.02919，2018年。[34] Hanxiao Liu，Karen Simonyan和YimingYang。DARTS：可微分架构搜索。CoRR，abs/1806.09055，2018年。[35] Hanxiao Liu，Karen Simonyan和YimingYang。DARTS：可微分架构搜索。在国际学习表示国际会议上，2019年。[36] Jiaying Liu，Wenhan Yang，ShuaiYang和ZongmingGuo。擦除还是填充？深度联合递归降雨去除和重建视频。在计算机视觉和模式识别（CVPR）的IEEE会议上，2018年6月。[37]Yun-Fu Liu，Da-Wei Jaw，Shih-Chia Huang和Jenq-NengHwang。Desnownet：用于去除雪的上下文感知深度网络。CoRR，abs/1708.04512，2017年。[38] Y. Liu，D. Jaw，S. Huang和J.Hwang。Desnownet：用于去除雪的上下文感知深度网络。IEEE图像处理交易，27（6）：3064-3073，2018年6月。[39] JinshanPan，Sifei Liu，Deqing Sun，Jiawei Zhang，Yang Liu，JimmyRen，Zechao Li，Jinhui Tang，Huchuan Lu，Yu-WingTai和Ming-HsuanYang。学习双卷积神经网络进行低级视觉。在计算机视觉和模式识别（CVPR）的IEEE会议上，2018年6月。[40] HieuPham，Melody Y. Guan，Barret Zoph，Quoc V. Le和JeffDean。通过参数共享进行高效的神经架构搜索。CoRR，abs/1802.03268，2018年。[41] Rui Qian，Robby T. Tan，WenhanYang，Jiajun Su和JiayingLiu。用于单幅图像去除雨滴的注意力生成对抗网络。在计算机视觉和模式识别（CVPR）的IEEE会议上，2018年6月。[42] YuhuiQuan，Shijie Deng，Yixin Chen和HuiJi。通过窗口观察雨滴的深度学习。在计算机视觉国际会议（ICCV）上，2019年10月。[43] Wenqi Ren，Si Liu，Hua Zhang，Jinshan Pan，Xiaochun Cao和Ming-HsuanYang。通过多尺度卷积神经网络进行单幅图像去雾。在ECCV上，2016年。[44] Weihong Ren，Jiandong Tian，Zhi Han，AntoniChan和YandongTang。基于矩阵分解的视频去雪和去雨。在计算机视觉和模式识别（CVPR）的IEEE会议上，2017年7月。[45] C. J. Schuler，M.Hirsch，S. Harmeling和B.Sch¨olkopf。学习去模糊。IEEE模式分析和机器智能交易，38（7）：1439-1451，2016年7月。[46] Soo-Chang Pei，Yu-TaiTsai和Chen-YuLee。使用饱和度和可见性特征去除单幅图像中的雨和雪。在2014年IEEE国际多媒体和博览会研讨会（ICMEW）上，页1-6，2014年7月。0[47] R. T. Tan.从单幅图像中识别恶劣天气的可见性。在2008年IEEE计算机视觉和模式识别会议上，第1-8页，2008年6月。[48] AshishVaswani，Noam Shazeer，Niki Parmar，Jakob Uszko-reit，Llion Jones，Aidan N Gomez，Łukasz Kaiser和Il- liaPolosukhin。注意力就是你所需要的。在I. Guyon，U. V.Luxburg，S. Bengio，H. Wallach，R. Fergus，S. Vish-wanathan和R.Garnett（编辑），第30届神经信息处理系统进展，第5998-6008页。Curran Associates，Inc.，2017年。[49] Zhou Wang，A. C.Bovik，H. R. Sheikh和E. P. Simon-celli。图像质量评估：从错误可见性到结构相似性。IEEE图像处理交易，13（4）：600-612，2004年4月。[50] Wei Wei，LixuanYi，Qi Xie，Qian Zhao，Deyu Meng和ZongbenXu。我们应该将视频中的雨条纹编码为确定性还是随机性？在2017年IEEE国际计算机视觉会议（ICCV）上，2017年10月。[51] JingXu，Wei Zhao，Peng Liu和XianglongTang。一种改进的基于引导图像的单幅图像去雨雪方法。计算机与信息科学，5，2012年4月。[52] A. Yamashita，Y. Tanak