不确定性引导的多尺度残差学习-基于循环旋转CNN的单图像去雨

18405不确定性引导的多尺度残差学习-使用循环旋转CNN进行单图像去雨Rajeev Yasarla和Vishal M.约翰霍普金斯大学电气和计算机工程系，巴尔的摩，MD 21218，美国网址：ryasarl1@jhu.edu，vpatel36@jhu.edu摘要单图像去雨是一个极具挑战性的问题，因为下雨的图像可能包含雨条纹，可能会改变大小，方向和密度。以前的方法试图通过杠杆老化一些先前的信息来从单个图像中去除雨条纹来解决这个问题。这些方法的主要局限性之一是没有考虑雨滴在图像中的位置信息 。 提 出 的 不 确 定 性 引 导 的 多 尺 度 残 差 学 习（UMRL）网络试图通过学习不同尺度下的降雨量并使用它们来估计最终的降雨输出来解决这个问题。此外，我们介绍了一种技术，指导网络学习网络的权重的基础上的置信度的估计。此外，我们还介绍了一种新的训练和测试程序的基础上的概念，循环纺纱，以提高最终的除雨性能。在合成数据集和真实数据集上进行的大量实验表明，该方法比最近的最先进的方法取得了显着的改进。1. 介绍许多实际的基于计算机视觉的系统（例如，监视和自动驾驶）通常需要处理和分析在不利天气条件（例如，雨、雪、雾霾等）下捕获的视频和图像。这些基于天气的条件对图像的视觉质量产生不利影响，因此通常会降低视觉系统的性能。因此，重要的是要开发算法，可以自动删除这些文物之前，他们被馈送到一个基于视觉的系统进行进一步处理。在本文中，我们解决的问题，从一个单一的雨图像去除雨条纹。雨条纹去除或图像去雨是一个困难的问题，因为下雨的图像可能包含雨条纹，雨条纹的大小、方向(a)(b)（ c ） 第（1）款(d)（e）（f）图1：示例图像去雨结果。 (a)下雨的im-年龄(b)使用DID-MDN [35]去除降雨，其中放大部分显示面部模糊效果和肘部附近的各种雨(c)使用UMRL进行除雨。(d)多雨的图像。(e)使用Fu等人进行除雨。[8]其中部分放大显示图像的去雨。(f)使用UMRL去阴影，放大突出显示的部分显示UMRL和其他比较方法之间的明显差异。和密度。在文献中已经开发了许多不同的技术来解决这个问题。这些算法可以分为两大类-（i）基于视频的算法[36，9，25，20，16]，以及（ii）单个图像-基于算法[35，8，18，31，37]。对应于第一类的算法假设图像帧之间的时间一致性，并使用该假设进行去训练。另一方面，单图像去雨方法试图使用一些先验信息来从单个图像中去除雨分量[18，13，37，35]。前科例如稀疏性[33，21]和低秩表示[4]已经在文献中使用。特别是，傅等人提出的方法。[8]通过在训练期间关注高频细节来使用先验图像域知识，然而，在[35]中显示，这种方法倾向于去除一些干扰。18406图1（e）中所示的图像中的重要部分类似地，Zhang和Patel [35]最近的工作使用图像级先验来估计雨密度信息，然后将其用于除雨。虽然他们的方法提供了最先进的结果，但他们估计的图像级先验不考虑图像中雨滴的位置信息因此，他们的算法往往会在最终的去雨图像中引入一些伪影。这些伪影可以从图1（b）所示的去噪结果中清楚地看到在本文中，我们采取了不同的方法，图像去雨，我们利用的观察，雨条纹的密度和方向并没有急剧变化与不同的尺度。而不是依赖于雨密度信息（即，重、中或轻），我们开发了一种方法，其中以多尺度方式考虑雨条纹位置信息以改善除雨性能。当提供估计的雨含量（即，残差映射）到网络的后续层，我们可能最终会传播估计中的误差。为了阻止流的不正确的估计在雨条纹，我们估计的不确定性度量与雨条纹信息。我们使用具有跳过连接的Unet架构[24]作为我们的基础网络。建议的网络在Unet的解码器中学习每一级的残差，并使用不确定性图，这表明网络对它学习的降雨量有多自信。假设在解码器网络中有L个我 们 工 作 的 另 一 个 重 要 贡 献 是 ， 我 们 建 议 将Coifman和Donoho [5]的循环纺纱框架纳入我们的去雨方法。循环旋转最初是为了消除正交小波在图像去噪中引入的伪影而提出的与小波类似，基于深度学习的方法也会在去噪图像的边缘附近引入一些伪影（见图1）。在循环旋转中，首先将数据移位一定量，然后对移位的数据进行去噪，然后对去噪的数据进行去移位，最后对未移位的数据进行平均以获得最终的去噪结果。循环旋转已成功应用于减少许多应用中边缘附近引入的伪影，包括图像去模糊[6]和去噪[5]，[2]。因此，我们在我们的去雨框架中采用了它事实上，我们表明循环旋转是一种通用方法，可用于提高任何基于深度学习的图像去训练方法的性能。图 1 （ c ） 和 （ f ） 展 示 了 我 们 使 用 循 环 旋 转（UMRL）网络的不确定性引导多尺度残差学习的样本结果，其中可以清楚地看到，与[35]和[8]相比，UMRL能够去除噪声伪影并提供更好的结果。总之，本文做出了以下贡献：• 提出了一种称为UMRL的新方法，该方法在每个位置产生雨条纹内容，图像以及不确定性图，该不确定性图引导后续图层了解每个位置的雨带信息。• 我们在网络的训练和测试阶段都采用了循环纺纱，以提高最终的除雨性能。• 我们进行了大量的实验，以显示UMRL的性能对最近几个国家的最先进的approaches合成和真正的下雨的图像。毛皮-在此基础上，进行了消融研究，以证明拟议的UMRL网络的不同部分的有效性。2. 背景及相关工作观测到的下雨图像y可以被建模为雨分量的叠加（即，残差图）r与干净图像x的关系如下y=x + r。（一）给定y，图像去训练的目标是估计x。这可以通过首先估计残差图r然后从观察图像y中减去它来完成。在文献中已经提出了用于图像去训练的各种方法[13，3，21，10，18]，包括基于字典学习的方法[1]、基于高斯混合模型（GMM）的方法[23]和基于低秩表示的方法[19]。近年来，文献中也提出了基于深度学习的单张图像去雨方法。Fu等[7]提出一种基于卷积神经网络（CNN）的方法，在这种方法中，它们直接从数据中学习雨天和干净图像细节层之间的映射关系Zhang等人[34]提出了一种基于生成对抗网络（GAN）的图像去训练方法。此外，为了最小化GAN引入的伪影并确保更好的视觉质量，[34]中还引入了一个新的细化损失函数Fu等人[8]提出了一个端到端的深度学习框架，用于使用深度细节网络从单个图像中去除雨水，该网络直接减少了从输入到输出的映射范围。Zhang和Patel [35]提出了一种密度感知的多流密集连接CNN，用于联合雨密度估计和去雨。他们的网络自动确定雨密度信息，然后使用估计的雨密度标签有效地去除相应的雨条纹。注意，[8]和[35]中提出的方法显示了使用多尺度网络进行图像去雨的好处。最近，Wang et al.18407图2：拟议的UMRL网络概述UMRL网络的目的是在给定相应的雨天图像的情况下估计干净图像为了解决这个问题，UMRL学习残差图并计算置信度图来指导网络。为了实现这一点，我们引入RN和CN网络，并将其输出馈送到后续层。[28]提出了一种基于估计图像不同频率细节的分层去噪方法。Qian et al.[22]使用递归神经网络生成注意力地图，然后使用不同尺度的特征来计算去除玻璃上的雨滴的损失。请注意，这种方法是专门设计用于从玻璃中去除雨滴，而不是从图像中去除雨条纹。[27，30，17]说明了基于注意力的方法在低级视觉任务中的重要性。在最近的工作[17]，李等人。提出了一种基于卷积和递归神经网络的单幅图像去雨方法，该方法利用背景信息进行去雨。在[35]中观察到，如果在训练期间没有适当考虑下雨图像中存在的降雨条件，则最近的一些基于深度学习的方法往往会对图像进行欠雨或过度降雨3. 该方法与许多基于深度学习的方法不同，这些方法直接从噪声观测中估计去雨图像，我们采取了一种不同的方法，首先估计雨条纹分量r*（即， 残差图），然后使用它来估计去噪图像为x=y-r=。我们定义c作为置信度得分，它是关于r的估计。每个像素的置信度得分是网络对每个像素处计算的残差值的确定程度的度量Qian等人。[22]使用递归网络基于下雨图像估计注意地图，然后将其用作去雨网络的基于位置的相比之下，我们的方法明智地将残差和置信度信息结合在一起，并将它们作为更高尺度下后续层的输入通过这种方式，它将基于位置的降雨信息传递给网络的其余部分。我们在三个不同的尺度上估计残差图及其相应的不确定性图，{r×1，c×1}（原始输入大小）、{r×2，c×2}（输入大小的0.5比例）和{r×4，c×4}（输入大小的0.25比例）。(a)（b）第（1）款(c)（d）其他事项图3：（a）输入雨天图像，y。（b）、（c）和（d）是比例尺为1.0、0.5和0.25的残差图r×1、r×2、r×4分别请注意，不同比例下的残差贴图具有相同的方向和密度。设r×2（r的0.5尺度大小）和r×4（0.25尺度大小是不同尺度下的残差图。从图3中可以看出，残差图r×1、r×2和r×4在每个位置处具有相同的方向和密度。形象为了估计这些残差图，我们从Unet架构[24]开始作为基础网络。 我们使用卷积块（如图4（a）所示的ConvBlock）作为基础网络的构建块。基本网络可以描述如下：ConvBlock（3，32）-平均池-ConvBlock（32，32）-平均池-ConvBlock（32，32）-平均池-ConvBlock（32，32）-平均池-ConvBlock（32，32）-上采样-ConvBlock（64，32）-UpSample-ConvBlock（67，32）-UpSample-ConvBlock（67，16）-ConvBlock（16，16）-18408Conv2d（3 ×3），18409其中AvgPool是平均池化层，UpSample是上采样卷积层，ConvBlock（i，j）表示具有i个输入通道和j个输出通道的ConvBlock。 一个细化网络（RFN）被用于Unet的末端以产生去雨图像。细化网络（RFN）由以下模块Conv2d（7×7）-Conv2d（3×3）-tanh（），它将y−ri作为输入并生成xi（即，图像）作为输出。这里，Conv2d（m×m）表示使用大小为m×m的内核的2D卷积。(a)(b)（ c ） 第（1）款图4：(a)卷积块（ConvBlock）。BN- batchnormalization ，ReLU - Rectified Linear Units ，Conv 2d（m×m）-卷积层，内核大小为m×m。(b)剩余网络（RN）。(c)Confidence map Network（CN）.(a)(b)（ c ） 第（1）款(d)（e）（f）图5：（a）输入雨天图像，y。（b）去雨图像使用基础网络。(c)使用[35]进行除雨。(d)使用建议的UMRL方法进行推导。(e)残留地图。(f)比例尺1.0（×1）的置信图。3.1. UMRL网络雨带是高频成分，现有的除雨方法要么倾向于去除高频成分，去除伪像，尤其是边缘附近的伪像例如，我们可以从图5中清楚地观察到，残差图及其相应的置信度图能够捕获存在高概率不正确估计的区域。我们估计剩余价值及其在不同尺度（1.0（×1）、0.5（×2）和0.25（×4））下的置信度图。然后将此信息反馈到后续层，可以学习在每个位置处的残差值，给定在较低尺度处的计算残差值和置信度值3.1.1残差和置信度映射网络将不同尺度（例如×2和×4）的特征图作为残差网络（RN）的输入进行估计如图2所示的相应比例尺的残差图。RN由以下卷积层序列组成，Convblock（64，32）-Convblock（32，32）-Convblock（32，3）如图4（b）所示。我们使用估计的残差图和特征图作为置信图网络（CN）的输入，以计算每个像素的置信度，这表明网络对每个像素的残差值的确定程度。CN由以下卷积层序列组成，Convblock（67，16）-Convblock（16，16）如图4（c）所示。给定估计的残差图和对应的特征图作为置信图网络的输入，其估计c×4和c×2。计算ri和ci的元素乘积，并对其进行上采样，以将其作为输入传递到UMRL网络的后续层如图2所示，i∈ {×2，×4}。给定输出残差图r×1和UMRL最后一层的特征图作为CN 的输入，我们得到c×1。我们计算不同尺度下的去噪图像，xi=RFN（yi−ri），（2）其中RFN是细化网络，yi和xi是在尺度i ∈ {×1（1. 0），×2（0. 5），×4（0. 25）}。我们使用信心引导损失和规则损失来训练我们的网络。3.1.2UMRL损失在UMRL网络的训练阶段，我们定义信心不下雨，不下雨，不下雨。清晰图像的高频成分，如边缘引导损失，L1=<$（ci<$x<$i）−（ci<$xi）<$1，如图5所示为了解决这个问题，我们可以使用关于网络可能出错的图像中的位置的信息来估计残差值。这i∈{×1，×2，×4}ΣLc=. Σ Σlog（cΣIJK），（三18410）可以通过估计对应于估计的残差值i∈{×1，×2，×4}j kLu= Ll −λ1 Lc，18411其中，x是元素的乘积。这里，L1试图最小化x∈i和xi之间的L1范数以及cijk的值。 另一方面，Lc试图通过使其接近1来增加c i j k。L l 的平凡解可以被看作cijk=0<$i，j，k。 为了避免这一点，我们构造Lu为Ll和Lc的线性组合，其中Lc作为正则化子以避免平凡解。类似的损失已经被用来用于方法中的分类和回归任务[14，15]。然而，据我们所知，我们是第一个尝试使用这种损失的图像恢复任务。受许多图像恢复任务中感知损失的重要性的启发感知损失是基于特征的损失，在我们的情况下，从预训练网络VGG-16的层relu1 2中提取特征[26]，并计算感知损失，类似于[12，32]中提出的方法。设F（. ）表示使用VGG16模型[26]获得的特征，则感知损失定义为(a)(b)（c）第（1）款(d)（e）（f）图7：（a）p= 100的循环旋转图像，Q = 200，（b）p = 0，q = 200，以及（c）p =300，q= 400。(d)、（e）、（f）是使用UMRL的对应的去噪图像。4. 实验结果在本节中，我们将评估我们的方法在合成图像和真实峰值信号如下1Σ ΣΣ信噪比（PSNR）和结构相似性指数L=<$F（x<$）i，j，k−F（x）i，j，k<$2，（4）pNHW1ijk12（SSIM）[29]测量用于比较性能-不同方法在合成图像上的差异我们...其中N是F（. ），H为高度W是特征图的宽度。用于训练UMRL网络的总损耗为，L=Ll−λ1Lc+λ2Lp，（5）其中λ1和λ2是两个参数。图6：使用UMRL网络循环纺纱背后的想法。3.2. 循环平移如前所述，循环旋转最初是为了最大限度地减少图像去噪时正交小波引入的边缘附近的伪影[5]。在这项工作中，我们采用这种想法，以进一步提高UMRL的除雨性能。图6给出了使用UMRL的循环纺纱的概述。令T cs（.，p，q）是将图像循环移位p行和q列的函数。给定一幅大小为m×n的图像，我们以p行q列的步长循环移位图像，得到移位后的图像为如图6所示。然后，我们使用UMRL网络对移动后的图像进行去雨，逆移动并平均它们，以获得最终的去雨图像。图7通常检查不同方法在真实图像上的性能，因为我们没有地面真实干净的图像。将所提出的UMRL方法的性能与几种最新的最先进的算法进行比较，例如（a）基于高斯混合模型（GMM）的[18]（CVPR16）（b）Fu等人。[7]CNN方法（TIP(d)深度详细网络（DDN）[8]（CVPR'17）（e）Zhu etal.[37]（JBO）（ICCV 17）（f）使用多流密集网络（ DID- MDN ） 的 密 度 感 知 图 像 去 训 练 方 法 [35]（CVPR'18）。4.1. 培训和测试详情UMRL网络使用[35，34]的作者创建的合成图像数据集进行训练。[35]中的数据集由12000张不同降雨水平的图像组成，如低，中和高。[34]中的数据集包含700张训练图像。使用Ts（.，p、q）以分别获得ys，xs。移位对（ys，xs）用于使用损失L来训练UMRL。使用批量大小为1的Adam优化器来训练网络。学习率设置为0.001为第一个10个时期和0.0001为其余时期。在训练期间，最初λ1和λ2分别被设置为等于0.1和1.0，但是当平均值显示了循环旋转输入图像的示例，在置信度图C×1中的所有值中，c×2和c×4对应的去雨图像。通过将循环自旋应用于我们的方法，我们能够去除原始UMRL网络引入的一些伪影。特别地，如稍后将示出的，循环纺丝可以应用于任何基于CNN的除雨方法，以进一步提高其性能。18412大于0.8，则λ1被设置为等于0.03。UMRL训练了30个epoch，总共30×12700次迭代。与以前的方法类似[35]，我们评估了使用包含来自[35]的1200个图像的测试-1和包含来自[7]的1000个图像的测试-2的数据集我们使用真实世界的雨天图像，18413PSNR：15.3 SSIM：0.71 PSNR：24.5 SSIM：0.87 PSNR：26.9SSIM：0.92(a)（b）（c）(d)（e）（f）(g)(h)（一）图8：（a）输入雨天图像。(b)使用BN + RN对图像进行去噪。(c)使用BN + RN + CN（UMRL）进行除雨。(d)、（e）和（f）是尺度×4、×2、×1下的相应置信图。(g)、（h）和（i）是相应的归一化直方图，即所有仓值之和相等到1.由Zhang等人提供。[34]和Yang et al.[31]用于测试基于UMRL的循环纺丝方法。测试图像使用T cs（.，.，. ）并作为输入馈送到UMRL进行去训练，进一步地，这些去训练的图像被逆移位并平均以得到最终输出。PSNR：23.01 SSIM：0.81 PSNR：25.69 SSIM：0.88(a)（b）第（1）款PSNR：26.31 SSIM：0.90 PSNR：27.10 SSIM：0.92(c)（d）其他事项图9：使用（a）DDN [8]，（b）DID-MDN [35]，（c）UMRL和（d）UMRL +循环纺纱。4.2. 消融研究我们通过在测试数据集上进行广泛的实验来研究每个块对UMRL网络的贡献的性能我们从基于Unet的基本网络（BN）开始，然后每次添加一个组件，以查看每个组件在估计最终去雨图像时为网络带来的重要性。表1显示了UMRL网络上每个块的连接。注意，BN和BN+RN使用以下的线性组合来训练：L_1-范数和Lp作为损失（L_1+Lp）。UMRL使用总体损失L进行训练。从表1中可以看出，随着更多组分（即RN和CN）被添加到组合物中，基础网络，性能显著提高。基础网络，BN本身产生的效果不佳。然而，当RN被添加到BN时，性能显著改善。特别是，BN+RN已经能够产生与DID-MDN相当的结果[35]。BN、RN和CN的组合（即UMRL）产生最佳结果。此外，通过比较表1的最后两列，我们看到循环纺丝进一步提高了UMRL的性能。采用循环纺丝，可以使纤维的性能提高约0。在两个数据集上均为3dB，因为它能够去除边缘附近的伪影。通过放大从图9中，我们可以清楚地观察到循环旋转正在帮助该方法去除天空中和建筑物边缘上的小雨条纹。表1：PSNR和SSIM（PSNR |SSIM）结果对应-对消融研究的反应。数据集阴雨图像[35]第三十五话BNBN+RNBN+RN+CN（UMRL）UMRL+循环平移测试-121.15 |0.7727.95 |0.9124.25 |0.8327.65 |0.8729.42 |0.9129.77 |0.92测试-219.31 |0.7726.08 |0.9023.32 |0.8325.88 |0.8726.47 |0.9126.67 |0.92我们进行了类似的实验，以了解循环纺纱比DDN [8]和DID- MDN [35]带来了多大的改进一般来说，我们观察到大约0。如表2所示，与没有循环旋转相比，具有循环旋转的性能增益为25表2：PSNR和SSIM（PSNR |SSIM）结果与使用循环旋转的消融研究一致。数据集阴雨图像DDN [8]DDN [8]+循环平移[35]第三十五话[35]第三十五话循环平移UMRLUMRL+循环平移测试-121.15 |0.7727.33 |0.9027.52 |0.9127.95 |0.9128.19 |0.9129.42 |0.9129.77 |0.92测试-219.31 |0.7725.63 |0.8825.90 |0.8926.08 |0.9026.37 |0.9126.47 |0.9126.67 |0.92图8说明了置信度图通过施加低置信度值来引导网络清楚地学习边缘和纹理区域处的雨含量。从图8中，通过查看不同尺度下的置信度图的直方图，我们可以观察到，随着尺度的增加，置信度值在大多数像素处接近1这种行为是预期的，因为在较低的尺度下，雨条纹将是模糊的（见图3），网络对它估计的值不太有信心。这解释了为什么UMRL试图通过估计准确的残差图来增加置信度值，作为回报，CN正在计算并反馈UMRL出错的可能区域。4.3. 合成测试图像本文提出的基于循环旋转的UMRL方法与现有算法进行了定性和定量的比较。表3显示了我们方法的定量从该表中可以看出，我们的方法明显优于目前最先进的此外，我们将我们的方法与18414峰值信噪比：18.75SSIM：0.67峰值信噪比：14.25SSIM：0.59峰值信噪比：16.26SSIM：0.60峰值信噪比：15.58SSIM：0.68PSNR：14.35SSIM：0.63PSNR：20.57SSIM：0.83雨天图像PSNR：20.02SSIM：0.74PSNR：16.97SSIM：0.70PSNR：17.51SSIM：0.75PSNR：16.54SSIM：0.78PSNR：15.75SSIM：0.71PSNR：22.23SSIM：0.90Fu等人[7]（TIP'17）PSNR：26.12SSIM：0.82PSNR：21.27SSIM：0.78PSNR：25.28SSIM：0.83PSNR：23.12SSIM：0.84PSNR：23.01SSIM：0.79PSNR：26.41SSIM：0.93DDN[8]（CVPR峰值信噪比：25.27SSIM：0.82PSNR：25.39SSIM：0.88峰值信噪比：29.63SSIM：0.97峰值信噪比：25.25SSIM：0.90PSNR：27.52SSIM：0.90PSNR：27.23SSIM：0.95DID-MDN[35]（CVPRPSNR：27.95SSIM：0.87PSNR：26.57SSIM：0.9605PSNR：30.51SSIM：0.98峰值信噪比：28.29SSIM：0.93峰值信噪比：28.83SSIM：0.92峰值信噪比：28.21SSIM：0.95我们PSNR：InfSSIM：1PSNR：InfSSIM：1PSNR：InfSSIM：1PSNR：InfSSIM：1PSNR：InfSSIM：1PSNR：InfSSIM：1地面实况图10：合成数据集Test-1和Test-2的去雨结果，包括不同的降雨水平（低，中，大雨）和不同的方向。表3：UMRL与最新方法（PSNR）的PSNR和SSIM比较|SSIM））数据集阴雨图像基于GMM[18]（CVPR'16）Fu等[7]（TIP'17）JORDER[31]（CVPR'17）DDN[8]（CVPR'17）JBO[37]（ICCV'17）DID-MDN[35]（CVPR'18）UMRL+循环平移测试-121.15 |0.7722.75 |0.8422.07 |0.8424.32 |0.8627.33 |0.9023.05 |0.8527.95 |0.9129.77 |0.92测试-219.31 |0.7722.60 |0.8119.73 |0.8322.26 |0.8425.63 |0.8822.45 |0.8426.08 |0.9026.67 |0.9218415最近的ECCVRESCAN [17]实现的PSNR和SSIM值分别为24.37 和0.84，而我们的方法分别实现 了24.59和0.87。图10显示了不同的定性性能对来自Test-1和Test-2数据集的三个样本图像进行输入方法尽管Fu et al.（TIP '17）[7]能够去除一些雨条纹，但无法去除所有的雨成分。DDN [8]在某些图像上过度除雨，而在其他图像上则略微欠雨，如图10的第三列所示。[35]第35话：不好意思18416雨天图像Fu等DDNDID-MDN我们[7]（TIP'17）[8]（CVPR'17）[35]（CVPR'18）图11：真实世界图像样本的去雨结果。如图10的第四列所示，其中它删除了第二幅图像中建筑物边缘木墙上的纹理此外，它模糊了第四幅图像中水箱的边缘。通过比较第四列的第三和第四张图像，我们看到DID-MDN [35]的输出在这些图像的天空中有一个小的模糊残留条纹在图10的第五列中，我们可以直观地看到，我们的方法生成的图像没有任何人工因素。例如，在（i）中，它能够恢复木墙上的纹理，在（ii）中，它能够在第五列的第三和第四图像中产生具有晴朗天空的图像，以及在（iii）中，它能够在第二和第四图像中产生尖锐边缘。对一张尺寸为512×512的图像进行去雨处理，平均UMRL需要0.05秒，而使用循环旋转的UMRL需要5.1秒。4.4. 真实世界雨天图片我们对[34，7，35]提供的真实世界图像进行了实验结果示于图11中。与在合成图像上获得的结果类似，我们观察到用其他方法进行过去雨或欠去雨的相同趋势另一方面，我们的方法能够去除雨条纹，同时保留所得输出图像中对象的细节例如，第五列的第一幅图像中的背景和人脸此外，第五列的第二幅图像中的树木和植物，第三幅图像中的前排男子所有这些实验清楚地表明，我们的方法可以处理不同的不同形状和规模的雨（低，中，高）补充材料中提供了更多关于合成和真实世界图像的结果5. 结论针对单幅图像去雨问题，提出了一种基于循环旋转的UMRL方法。在我们的方法中，我们引入了不确定性引导的残差学习，其中网络尝试学习不同尺度下的残差图和相应的置信度图，然后将其反馈到后续层以指导网络。除了UMRL之外，我们还分析了使用最近提出的各种深度去雨网络在去雨中使用循环旋转的好处大量的实验表明，UMRL是强大的，足以处理不同级别的雨内容的合成和真实世界的雨图像。确认本研究基于国家情报总监办公室（ODNI）、英特尔高级研究项目活动（IARPA）支持的工作，通过IARPA研发&合同编号：2014-14071600012.本文中包含的观点和结论是作者的观点和结论，不应被解释为必然代表ODNI、IARPA或美国的官方政策或认可（无论是表达还是政府的引用[1] H S Bhadauria和M L Dewal.稀疏编码的在线字典学习。上一篇：International Conference on Machine18417学习（ICML），第689-696页[2] H S Bhadauria和M L Dewal.循环旋转对脑ct图像小波和曲波去噪方法的影响分析，2014年。[3] Duan-Yu Chen，Chien Cheng Chen，and Li Wei Kang.基于自学习的图像分解及其在单幅图像去噪中的应用IEEE Transactions on Circuits and Systems for VideoTechnology，第1430 - 1455页[4] Y. Chen和C. Hsu.时空相关雨带的广义低秩出现模式。2013年IEEE计算机视觉国际会议，第1968-1975页[5] R R Coifman 和 D L Donoho 。 平 移 不 变 去 噪 。 In ：Antoniadis A.，奥本海姆湾(eds)波浪和统计。统计学讲义，第103卷。Springer，New York，NY，第125-150页，1995年。[6] D. L. Donoho和M. E.雷蒙多一种快速小波图像去模糊算法。在Rob May和A. J. Roberts，编辑，Proc. of 12 thComputational Techniques and Ap- plications ConferenceCTAC-2004 ， 第 46 卷 ， 第 C29- C46 页 2005 年http://anziamj.austms.org.au/V46/CTAC2004/Dono。[7] X Fu，J Huang，X Ding，Y Liao和J Paisley。 Clearingthe skies一个用于单图像除雨的深度网络架构。IEEETransactions on Image Processing，26：2944[8] X Fu，J Huang，D Zeng，X Ding，Y Liao和J Paisley。通过深度细节网络从单个图像重新移动雨。2017年IEEE计算机视觉和模式识别会议（CVPR），第1715-1723页[9] K Garg和S K Nayar。视觉与雨In：International Journalof Computer Vision，75：3[10] 黄大仁、康立文、王永芳、林志文.基于自学习的图像分解及其在单幅图像去噪中的应用IEEE Transactions onMultimedia，16：83[11] J约翰逊，A Alahi和L Fei-Fei。实时风格转换和超分辨率的感知损失在欧洲计算机视觉会议（ECCV），第694-711页[12] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失2016年。[13] 康立伟，林志文，傅永华。通过图像分解自动去除基于单 幅 图 像 的 雨 条 纹 。 IEEE Transactions on ImageProcessing，21：1742[14] 亚历克斯·肯德尔和亚林·加尔贝叶斯深度学习在计算机视觉中需要哪些不确定性？神经信息处理系统进展30（NIPS），2017年。[15] Alex Kendall Yarin Gal和Roberto Cipolla使用不确定性来权衡场景几何和语义损失的多任务学习。在IEEE计算机视觉和模式识别会议（CVPR），2018年。[16] 李明翰、谢七、赵千、薇薇、古书航、景涛、梦德玉。基于多尺度卷积稀疏编码的视频雨纹去除。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。[17] Xia Li，Jianlong Wu，Zhouchen Lin，Hong Liu，andHongbin Zha.循环压缩激励上下文聚合网络用于单图像去噪。在：欧洲计算机视觉会议（ECCV），第262-277页[18] Y Li，R T Tan，X Guo，J Lu，and M S Brown.使用图层先验去除雨带在：IEEE计算机视觉和模式识别会议（CVPR），第2736-2744页，2016年。[19] Guangcan Liu ， Zhouchen Lin ， Shuicheng Yan ， JuSun，Yong Yu，and Yi Ma. 基于低秩表示的子空间结构鲁棒恢复。IEEE Transactions on Pattern Analysis andMachine Intelligence，35：171[20] Jiaying Liu，Wenhan Yang，Shuai Yang，and ZongmingGuo.擦除还是填充？深关节复发性降雨清除和重建的视频。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。[21] Y Luo，Y Xu，和H Ji。基于判别稀疏编码的单幅图像去雨算法。在：IEEE国际计算机视觉会议（ICCV），第3397-3405页，2013年。[22] 作者：Rui Qian，Robby T.杨文涵，苏嘉俊，刘洁英.用于从单个图像中去除雨滴的注意生成对抗网络。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。[23] Douglas A Reynolds，Thomas F Quatieri，and Robert BDunn.基于自适应高斯混合模型的说话人确认。数字信号处理，10：19[24] O. Ronneberger，P.Fischer，and T.布洛克斯”。U-net：用于生物医学图像分割的卷积网络。在Medical ImageComputingandComputer-AssistedIntervention（MICCAI）[25] Varun Santhaseelan和Vijayan Asari。利用局部相位信息从 视 频 中 去 除 雨 水 。 In ： International Journal ofComputer Vision，112，2015.[26] K Simonyan和A Zisserman。用于大规模图像识别的非常深的卷积arXiv：1409.1556，2014。[27] 王晓龙，Ross Girshick，Abhinav Gupta，和Kaiming He.非局部神经网络。CVPR，2018年。[28] Y Wang，S Liu，C Chen，and B Zeng.提出了一种在单色图像中分层除雨雪的方法，年龄IEEE Transactionson Image Processing，26：3936[29] Zhou Wang，A. C. Bovik，H. R. Sheikh和E.西蒙·切利。图像质量评价：从误差可见性到结构相似性。IEEETransactions on Image Processing，13（4）：600[30] Tao Xu ， Pengchuan Zhang ， Quyuan Huang ， HanZhang ， Zhean ， Xiaeli Huang ， and Xiaodong He.Attngan：使用注意力生成对抗网络生成细粒度文本到图像。在IEEE计算机视觉和模式识别会议，2018年6月。[31] W Yang，R T Tan，J Feng，J Liu和S Yan。从单个图像中检测和去除深度关节雨。在IEEE计算机视觉和模式识别会议论文集，第1357-1366页18418[32] 张航和克里斯汀丹娜多样式用于实时传输的生成网络。arXiv预印本arXiv：1703.06953，2017。[33] H. Zhang和Vishal M Patel.基于卷积稀疏和低秩编码的雨纹 去 除 。7 IEEE Winter 计 算 机 视 觉 应 用 会 议（WACV），第1259-1267页[34] He Zhang和Vishal M Patel.使用条件生成对抗网络的图像去雨。arXiv预印本arXiv：1701.05957，2017。[35] H. Zhang和Vishal M Patel.使用多流密集网络的密度感知单图 像去 噪。 在IEEE计算 机视 觉和模 式识 别会议（CVPR），abs/1802.07412，2018。[36] Xiaopeng Zhang ， Hao Li ， Yingyi Qi ， Wee KhengLeow，and Teck Khim Ng.结合节奏和色彩特性去除视频中的雨水在：IEEE多媒体和博览会国际，第461-464页[37] L Zhu，C W Fu，D Lischinski，和P A Heng.单图像雨纹去除的联合双层优化。在：IEEE计算机视觉和模式识别会议，第2536-2534页