基于深度注意的单幅图像去雨算法及其应用

8022基于深度注意的单幅图像去雨算法Hu Xiaowei1，Chi-Wing Fu1，Zhu Xiaowei 1，Zhu Lei2， 1， Zhang Xiaowei，and Pheng-AnnHeng1， 21香港中文大学计算机科学与工程系2中国科学院深圳先进技术研究院广东省计算机视觉与虚拟现实技术重点实验室摘要雨是一种常见的天气现象，物体的可见度随着距离相机的深度而变化，远处的物体在视觉上更多地被雾而不是雨条纹阻挡然而，现有的用于去除雨水的方法和数据集忽略了这些物理特性，从而限制了雨水布雷尔012深度真实照片上的去除效率在这项工作中，我们首先(a) 输入真实照片(b) 降雨能见度深度分析雨随景物深度变化的视觉效果，建立雨纹和雾共同作用的雨成像模型;到那时，我们准备了一个新的数据集，称为RainCityscapes，其中包含真实户外照片上的雨条纹和雾。此外，我们设计了一个端到端的深度神经网络，在那里我们训练它通过深度引导的注意力机制来学习深度注意力特征，并回归残差图以产生无雨图像输出。我们进行了各种实验，以直观和定量地比较我们的方法与几种最先进的方法，以证明其优于其他方法。1. 介绍雨是一种常见的天气现象，但它的存在会极大地影响拍摄照片中物体和场景的可见度因此，它会干扰和降低许多计算机视觉和图像处理任务的性能，[17]和跟踪[40]用于监视[2]、自动驾驶[20]和驾驶员不受控制[33]。为此，雨水去除一直是计算机视觉研究中的一个然而，雨水去除是一项非常具有挑战性的任务，因为我们必须去除雨水，同时恢复被遮挡的对象和场景。在自然界中，遮挡不仅是由雨条纹造成的，也是由雨带来的雾造成的。此外，场景可见度在图像空间中在空间上变化，因为离相机较近的物体主要受雨条纹的影响，而离相机较远的物体;见图1（a）共同通讯作者图1：（a）一张真实照片，展示了场景能见度随深度的变化，以及雨条纹和雾的存在;以及（b）基于[ 13 ]中的模型的雨带强度（tr）对场景深度（d）的图。一张真实的照片。Garg和Nayar [13]的模型中也描述了这种现象（见图1（b）），该模型描述了雨带的强度及其转化为雾的情况，作为场景深度的函数。在关于单图像雨去除的文献中，现有的方法集中于通过采用各种图像先验[5，19，22，23，31，32，41，52]或通过利用深度卷积神经网络（CNN）来学习具有和不具有雨条纹的训练图像之间的映射[8，9，28，30，47，51]来去除雨条纹。50]。虽然最先进的方法已经可以在各种合成数据集上产生令人满意的结果[47，51，50]，但它们主要集中在去除雨条纹上，而忽略了雨的物理特性;因此，它们大多不能同时清除雨雾。此外，现有的雨水去除数据集仅包含雨条纹，而一些图像是室内而不是室外的，从而也限制了用于真实照片的雨水去除方法的发展;参见图2。本文首先分析了雨的物理特性，建立了一个雨带雾的雨成像过程。然后，我们准备了一个新的数据集与场景深度信息的雨水去除，并进一步设计了一个新的神经网络的单图像雨水去除通过学习深度注意力特征的深度引导的方式。总之，这项工作有以下贡献：• 首先，我们设计了一个端到端的神经网络，在那里我们制定了一个深度引导的注意力机制，雾状8023(a) 输入真实照片1（b）DID-MDN [50]（c）RESCAN [30]（d）RESCAN [30]+DCPDN [49]（e）我们的结果图2：真实照片上单个图像雨水去除结果的视觉比较（a）。（b）和（c）中的结果是通过两种现有技术的除雨方法产生的，而（d）中的结果是通过将现有技术的除雾方法进一步应用于（b）产生的。比较（e）与（b）和（d），我们的方法显然可以更好地去除真实照片中的雨水学习深度-注意力特征并基于注意力权重回归残差图以去除输入雨图像中的雨条纹和雾。• 其次，根据雨随景物深度变化的视觉效果，建立了雨的成像过程，实现了雨条纹的合成，雾，并准备一个新的数据集，以消除降雨。• 第三，我们进行各种实验来评估我们的网络和数据集。结果显示，我们的网络在合成图像和真实照片上，定量和定性地优于现有的工作。2. 相关工作早期的方法[1，19，22，32，41]通过基于低级图像统计设计手工制作的先验来去除图像中的雨条纹。Barnum等人[1]将条纹模型与降雨特征相结合由于雨条通常有相似和重复的模式，陈等。[5]根据雨痕的外观创建了Li等[31]采用基于高斯混合模型的斑块先验对背景层和雨带层进行去除。Zhu等[52]估计了主要的降雨方向，并制定了双层联合优化，以迭代地将雨条纹与背景分离。然而，手工制作的先验限制了描述和去除雨水的能力。 这种局限性被克服了通过深度学习方法，通过卷积神经网络（CNN）自动学习特征。Fu等人[8]从训练数据中学习了无雨层和降雨层之间的映射函数，而Yanget al.[47]创建了一个多任务网络来联合探测和清除雨水。后来，受图像识别的深度残差网络[16]的启发，开发了基于残差学习的网络，通过预测残差来去除雨水，即，有雨和无雨图像的区别1摄影师Mac99（Getty Images No. 182715405）Fu等人[9]利用先验知识从输入图像中制定基本层和细节层，然后通过深度网络从细节层学习残差Li等[30]用挤压和激励块来制定上下文扩张网络，以迭代地预测逐阶段残差。Zhang等人[50]开发了一个残差感知分类器来确定降雨密度，并堆叠了几个密集连接的网络来相应地估计总的来说，由于受到现有数据集的限制，最先进的方法主要集中在雨条纹在这项工作中，我们不仅准备了一个新的数据集的基础上，一个现实的雨模型的场景深度，雨条纹和雾，但也开发了一个新的深度注意力特征网络学习场景深度，并以此为指导，以消除雨条纹和雾在输入图像。其他相关作品。Garg和Nayar [12]通过考虑场景深度和光源开发了一种基于图像的雨生成算法。除了图像之外，还开发了几种方法[10，38]来去除视频中的雨水。由于我们将这项工作集中在单图像雨removal，我们建议读者参考[42]进行详细调查。除了雨之外，最近的几项工作开始探索和开发深度学习方法，以消除图像中各种形式的天气相关伪影，例如雪[36]，雨滴[34，48]和霾[3，27，29，35，46，49]。由于霾与我们的降雨模式中的雾成分有关，我们还将我们的结果与最先进的去霾网络产生的结果进行了比较;参见第5节。3. 配方和数据集3.1. 降雨模式根据Garg和Nayar [13]的说法，雨带的视觉强度取决于从相机到雨后面的底层场景对象的场景深度d在模型中，将tr表示为雨带的视觉强度，将tr0表示为tr的最大值，我们有以下情况：8024(a)无雨图像I（x）（b）雨层R（x）（c）雾层A（x）（d）雨图像O（x）图3：我们的数据集“RainCityscapes”中的两组示例图像• 对于距离相机较近的场景对象（d≤d1），其关联图像区域将以雨带为主tr=tr0，其中d1=2fa，f为焦距，a为雨滴半径，详见[13];• 对于远离相机的场景对象（d≥d2<$d1），其相关图像区域将由具有少量雨条纹的雾占主导地位，即，随着d的增加，Tr趋于零。根据第3.1节中描述的雨模型，场景深度d（x）上的;和详细地，tr（x）被建模为：tr（x）=e−αmax（d 1，d（x））.（三）其中α是控制雨带强度的衰减系数。此外，tr0（这是最大值-• 随着d从d增加到d，雨带最小雨痕强度）等于e−αd1，而1 2tr（x）以tr开始然后逐渐下降到零，雾的强度会上升，看到情节在图1（b）中，总结了变化。3.2. 我们的雨图像公式在这项工作中，我们将雨图像视为无雨图像、雨层和雾层的组合，并将像素x处的观测雨图像O（x）表示为：O（x）=I（x）（1−R（x）−A（x））+R（x）+A0A（x），（1）其中I（x）表示具有清晰场景辐射的无雨图像;R（x）∈[0，1]表示雨层;A0是大气光，它被假定为遵循[ 37 ]的全局常数; A（x）∈[0，1]表示雾层;I（x）、R（x）、A（x）和O（x）的例子见图3。对于R（x）和A（x），大值表示雨带或雾的强度高 ， 而 零 值 表 示没 有 雨 带 或 雾 。 因 此 ， （ 1-R（x）-A（x））在公式的第一项中与I（x）相乘，因为场景可见性随着R（x）+A（x）而降低。还要注意，我们遵循[37]，并且在I（x）项上不使用A0，因为I（x）已经受到大气光的影响此外，我们对R（x）和A（x）建模如下：• 对于降雨层R（x），我们将其分为两部分进行建模：R（x）=Rpattern（x）<$r（x），（2）其中Rpattern（x）∈[0，1]是图像空间中均匀分布的雨条纹的强度图像;t r（x）是雨带强度图，取决于80250d（x）超过了d1;再次参见图1（b）。• 根据模拟图像退化过程的标准光学模型[25]，与雨不同，雾的视觉强度随场景深度呈指数增加因此，我们将雾层A（x）建模为A（x）=1−e−βd（x），（4）其中β是控制雾的厚度的衰减系数，并且较大的β指示较厚的雾，反之亦然。最后，还要注意的是，我们假设场景中的大气是均匀的，因此雨和雾的传输都取决于d，如方程中的指数公式所描述的。（3）和（4）。3.3. 我们的RainCityscapes数据集拍摄一对有雨和无雨的真实照片进行训练几乎是不可能的，因为场景对象可能会移动，环境照明和相机曝光可能会改变。因此，现有的雨水去除数据集[47，51，50]通常是通过在照片上合成添加2D雨条纹层来准备的，其中最近的深度网络只是在其上训练以去除雨水。显然，物理降雨模型被忽略了，所以现有的方法往往无法用于真实照片;参见图2的示例。在这项工作中，我们重新审视了单图像雨去除的问题，我们首先根据第3.2节中的公式准备了一个新的雨和雾数据集。为此，我们采用Cityscapes数据集[6]中的照片作为无雨图像，并使用相机参数和场景深度8026时间复杂度O（x）监督深度导引注意机制注意力权重{W1，W2，深度图D（x）监督逐元素乘法*1x1conv+F无雨图像I（x）深度注意特征残差图像Res（x）图4：DAF-Net的示意图：（i）卷积神经网络（蓝色），用于从输入中提取多分辨率特征;（ii）解码器分支（绿色），用于预测深度图;（iii）深度引导注意力机制（橙色），用于学习注意力权重;（iv）另一个解码器分支（黄色），用于产生深度注意力特征和注意力权重;（v）最后，我们在深度注意力特征（粉红色）上使用一组群卷积[ 45 ]来预测残差图，并将其添加到输入中以产生输出无雨图像。在图中，我们将特征图描述为块，其中较厚的块具有更多的特征通道。数据集中的信息来合成照片上的雨和雾。我们将数据集命名为“RainCityscapes”，以Cityscapes数据集命名;与以往的数据集相比，我们的数据集都是室外照片，每张照片都有深度图，而且雨图像表现出不同程度的雨雾。为了准备数据集，我们首先从Cityscape的训练和验证集中挑选了262张训练图像和33张测试图像作为我们的无雨图像，其中天气是阴天，没有明显的阴影，深度图是合理的。然后，我们使用深度去噪方法[37]来细化拾取图像的深度图，并使用等式从每个深度图生成雨条纹强度图 tr（x）和雾层A（x）。（3）（4）。在这里，我们使用了三组参数{（0. 02，0。010 005），（0. 010 005，0。01），（0。03，0。015，0。对于衰减系数α和β，和雨滴半径a来模拟不同程度的降雨还有雾接下来，我们使用引导滤波方法[14]，以无雨图像作为引导来平滑tr（x）和A（x），采用[31]中的雨片来合成等式中的雨条纹图案R图案（2），然后使用等式（1）生成观测到的降雨图像（一）. 总的来说，我们的RainCi类型数据集有9，432张训练图像和1，188张测试图像;参见图3中的一些示例。3.4. 降雨成像过程的局限性雨成像过程假定雨雾层是均匀分布的，且相互独立。然而，在现实世界中，雨和雾的视觉效果与雨的强度相关[44];雨的外观取决于相机参数[11]（例如，曝光时间）;降雨量的强度变化更为复杂[13]。同时，摄像机的自我运动会分散雨的分布并在图像空间中引起额外的运动模糊。虽然我们的雨模型是一个近似的，缺乏一个光学模型，合成的图像确实有助于改善结果相比，以前的工作和数据，忽略了雨的性质，我们探索;定性和定量比较结果见第5节。4. 方法图4显示了我们的深度网络的架构，具有深度注意力特征（名为“DAF-Net”），用于单图像雨水去除。它是一个端到端的网络，以降雨图像作为输入，预测深度图，然后生成无雨图像作为输出。总之，该网络首先利用卷积神经网络（CNN）从输入图像中提取低级细节和然后，它采用两个解码器分支，每个解码器分支对特征图进行渐进上采样，并将其与相同分辨率的CNN特征图组合以产生新的特征图;请参见图4中蓝色、绿色和黄色块中特征图之间的折线。在顶部解码器分支中，我们进一步回归深度图（参见第4.1节），并通过深度引导注意力机制学习一组注意力权重。在底部解码分支中，我们首先生成最终（最高分辨率）特征图，然后将其与顶部分支的注意力权重相结合，以产生深度注意力特征（见4.2节）。最后，我们对这些特征应用一组群卷积[45]，预测残差图，并将其添加到输入图像中以产生输出的无雨图像。8027c=1我nC图5：深度引导注意机制的详细结构：最后一个卷积块的输出是一组未归一化的注意力权重{A1，A2，.，A n}。一般来说，每个权重对应于某种类型的雨带和雾。然后，我们应用Softmax函数（等式2）。（7）对权重进行归一化，生成注意力权重{W1，W2，...，Wn}，每一个都与一组特定的雨带和雾相关联：{A1，A2，…{\fn方正黑体简体\fs18\b1\bord1\shad1\3cH2F2F2F}=Bconv（D;θ），以及（6）eax，c4.1. 回归深度贴图wx，c = Σnc=1 eax，c，（7）在图4所示的顶部解码器分支中，当上采样特征图的宽度达到输入的四分之一时，我们添加一个监督信号并回归关于输入图像的深度图。请注意，较低分辨率的深度图足以作为学习注意力权重的指导，因此我们回归了四分之一宽度的深度图，以减少计算和内存开销。通常，场景深度具有巨大的空间范围。因此，不是直接回归网络中的原始深度值，而是通过如下变换监督信号（训练数据集中的输入深度图）中的深度值来回归深度值的对数D（x）=e−0。1d（x），（5）其中d（x）表示像素x处的场景深度（遵循我们在第3节中的公式），D（x）是网络中的监督信号。因此，网络中的回归深度图实际上是对数深度值的图。还要注意，该策略与我们的场景深度公式相匹配，场景深度 实 际 上 是 以 对 数 尺 度 存 储 和 处 理 的 ; 参 见 等 式（3）、（4）第三节。4.2. 深度注意特征如前所述，在观测到的雨图像中雨条纹和雾的视觉效果取决于场景深度;因此，雨带和雨雾，以及雨水的清除过程，都与深度有关。因此，我们首先在网络中回归深度图，并以此为指导学习一组注意力权重。然后，我们可以使用这些权重来整合来自底部解码器分支其中，Bconv表示所示的三个卷积块，在图5中，它将D（x）作为输入，并学习一组参数θ以产生未归一化的注意力权重{A1，A2，… An}; ax，c∈ A c表示A c（c={1，2，.，n}）;并且w x，c∈ W c表示所得到的注意力权重，其通过经由softmax对{ax，c}n进行归一化而获得;见等式（7）。生成的最高分辨率的特征图Fb从底部解码器分支（见图4中的黄色块）有256个特征通道。接下来，我们将其划分为256个通道上的n个子映射，因此每个子映射F b（i=1，2，...，n）有256个通道，分辨率与原始特征图F b相同;实际上，我们将n设为64。然后，我们以逐元素的方式将Wc与第c个子图Fb的每个特征通道相乘，以产生深度注意力特征。现在，我们将深度注意特征分成n个不同的部分。因此，我们可以在n组中分别对深度注意特征的每个部分进行组卷积[45]，以增强特征的表达能力。通过采用组卷积，每组中的特征只负责去除某种雨纹和雾，且具有较小的类内方差。最后，我们合并所有的功能，从不同的使用1×1卷积进行分组以产生残差图Res（x），我们将输入雨图像O（x）添加到残差图Res（x）以产生输出无雨图像I（x）。4.3. 培训和测试策略损失函数我们通过在输出无雨图像I（x）中的像素和深度图D（x）中的像素上最小化以下损失函数L来训练网络：在我们的网络中形成雨条纹的残留图，雾此外，我们将残差图添加到雨图像以产生输出的无雨图像;参见图4。L=ωi Σx∈XΣl∈{R，G， B}|2|2为了有效地从卷积特征图构建残差图，我们制定了深度引导注意力机制，以从+ωdΣx∈X4|2、（8）|2,(8)回归深度图D（x）。图5显示了该机制的详细结构，其中我们首先采用三个卷积块在每个3×3卷积层之后使用ReLU非线性运算[26]处理D（x）其中ω i和ω d是权重; X和X4分别表示输出图像和深度图的图像域;I（x）l和I<$（x）l分别表示像素的第l个RGB颜色通道中的预测值和真实值3x3转换3x3转换速率2上采样3x3转换3x3转换速率2上采样3x3转换3x3转换率21x1转换Softmax802816(a) 输入真实照片（b）DID-MDN [50]（c）RESCAN [30]（d）RESCAN [30]+DCPDN [49]（e）我们的结果图6：真实照片上的更多视觉对比结果;也参见图2。同样，（b）和（c）中的结果是通过两种现有技术的除雨方法产生的，而（d）中的结果是通过将现有技术的除雾方法进一步应用于（b）产生的比较我们的结果（e）与（b）到（d），我们的方法可以再次更好地去除真实照片中的雨水表1：用户研究结果。 平均评分（从1（假）到10（真实））由参与者在各种数据集上给出。数据集评级（平均标准差）真雨照片8. 93 ±1。66RainCityscapes（我们的）六、38 ±2。52[第51话]3 .第三章。69 ±2。58[50]第五十话二、90 ±2。39[第47话]1 .一、46 ±1。18X中的x;D（x）和D<$（x）分别表示像素x处的预测深度 值和地面实况深度值; I（x）l、I<$（x）l、D（x）和D<$（x）的值被归一化为[0，1]。注意，无雨图像I（x）的大小与输入图像相同，但是深度图D（x）的大小仅为单个网络参数的输入速率：对于频繁更新的参数，学习率更高，反之亦然。我们将基本学习率设置为10−5，将其降低了一个因子，0的情况。316在70，000次迭代后，停止了学习af-称为100，000次迭代。最后，我们在单个NVidia TitanXp GPU上训练了我们的网络，小批量大小为1，没有数据论证。该网络已实施基于CF-Caffe [18，21]。 培训时间约为11。5在RainCityscapes的训练集上花了几个小时。推理。在测试中，我们将降雨图像作为网络的输入，并以端到端的方式获得预测的无雨图像平均而言，我们的DAF网络只需要大约0的情况。09秒处理256×512图像。5. 实验结果1，但我们仍然将权重ωi和ωd都放在当量（8）作为一个经验。训练参数。我们采用在ImageNet [7]上训练的VGG网络[39]的权重来初始化我们网络的编码器部分的权重，并应用[15]中的方法来初始化其他网络部分的权重此外，我们使用Adam [24]来优化网络，第一个动量值为0。9、第二动量值为0。99，重量衰减为5×10−4。这种优化策略可以自适应地调整学习过程，5.1. RainCityscapes数据集我们进行了一项用户研究，以评估质量（即，如何现实），我们的数据集相比，现有的三个- ing雨去除数据集和真实照片与雨。为了做到这一点，我们首先收集了50张图像：（i）通过关键字搜索“大雨照片”从互联网下载的十张真实照片8029DID-MDN [50]和Rain 100 H [47]），从每个数据集中随机选择10个图像。第二，我们招募了34名参与者：年龄16 ~ 30岁，平均24.5岁。然后，我们以随机顺序向每位参与者展示了50张图像，并要求他们每个人在1（假）到10（真）的范围内对每张图像的真实性进行评级。 因此，我们获得了340个评分（34名参与者×10图像每类）共为每个类别：真正的照片，我们的数据集和其他三个数据集。表1报告了结果，表明与其他三个数据集相比，我们数据集上的评级更接近真实照片的评级。这清楚地表明，与其他数据集相比，我们的数据集具有更真实的雨图像，并且我们的方法能够在照片上合成真实的雨;再次参见图3。然而，我们的评分仍然落后于真实照片;在用户研究结束时，一些参与者报告说，对于我们的雨图像，他们没有看到像真实照片那样的水溅在地上。5.2. 使用真实照片进行比较与最先进的除雨方法相比。首先，我们从互联网上下载了129张然后，我们应用我们的网络来生成无雨图像。此外，我们采用了以下最先进的方法来去除真实照片中的雨水：[50][52][53][54][55][56][57][58][59][5 到进行公平的比较，对于基于深度学习的方法DID-MDN和RESCAN，我们通过使用它们的实现与发布的训练模型获得了无雨图像结果对于其他方法JOB、GMMLP和DSC，我们下载并应用它们的公共代码和推荐的参数来生成无雨图像结果。图2 -6显示了我们的比较结果，其中第一列显示了输入的真实照片，而第二，第三和第五列分别显示了DID-MDN，RESCAN和我们的方法产生的无雨从这些结果中，我们可以看到，现有的方法往往失败的大小雨条纹在雨的照片和错过了雾，伴随着雨。相比之下，我们的方法设计了一个更真实的雨模型，因此能够去除雨条纹以及输入雨照片中的雾。与降雨+除霾相比。观察到现有的除雨方法倾向于错过随雨而来的雾（再次参见图2-6中的第二列和第三列），因此我们有动力尝试最先进的除雾方法，即，DCPDN [49]，以发布其除雨结果。类似于雨水清除表2：在RainCityscapes测试集上使用PSNR和SSIM与最新技术进行比较。方法PSNRSSIMDAF-Net（我们的）30.060.9530[50]第五十话28.430.9349除雨RESCAN [30]工作[52]24.4915.100.88520.7592GMMLP [31]17.800.8169DSC [32]16.250.7746去雾DCPDN [49]28.520.9277AOD-Net [27]20.400.8243方法采用DCPDN的公开实现和发布的训练模型进行去雾。图2和图6的第四列显示了使用RESCAN然后使用DCPDN的雨+霾去除结果，与我们在第五列中的结果一致。显然，进一步移动雾霾会减少雾，但随后，雨条纹（没有被去除）会变得更加明显。5.3. 使用RainCityscapes进行比较接下来，我们使用可用的无雨图像作为地面实况，在RainCityscapes数据集上定量比较不同方法的性能评估指标。采用峰值信噪比（PSNR）和结构相似性（SSIM）指标，以无雨图像为基础，定量评价了不同方法的去雨效果;参见[43]关于PSNR和SSIM的定义。虽然不完全正确，但较大的PSNR或SSIM通常表示更好的结果。比较结果。表2显示了与现有技术的雨水去除方法的比较结果，[50]，RESCAN [30]，JOB [52]，GMMLP，[32]《易经》。其中，DID-MDN [50]和RES-CAN [30]使用深度神经网络通过从训练数据中学习下雨和无雨图像之间的映射函数来恢复背景，而其他人则使用手工制作的先验来去除雨条纹。此外，由于我们的网络也能够去除雨图像中的雾，我们进一步将我们的方法与两种最先进的去雾方法进行了比较，DCPDN [49]和AOD-Net [27];它们都是基于深度学习的方法，所以我们重新训练了它们的模型以去除雨水。为了进行公平的比较，我们在RainCityscapes的训练集上重新训练了所有基于深度学习的模型，并在RainCityscapes的测试集上测试了结果如表2所示，其中我们的DAF-Net在PSNR和SSIM方面优于所有其他算法。实验结果表明，我们的网络具有学习到的深度注意特征，能够以深度依赖的方式去除雨纹和雾。我们用视觉对比来说明-8030地面实况输入[50]第五十话RESCAN [30]DCPDN [49]我们PSNR：infSSIM：1.0000峰值信噪比：19。18SSIM：0。8287峰值信噪比27。02SSIM：0。8955峰值信噪比：23。60SSIM：0。8663峰值信噪比27。45SSIM：0。8970峰值信噪比：30。64SSIM：0。9370图7：我们的方法与RainCityscapes上最先进的方法产生的比较结果表3：在Rain100H数据集上使用PSNR和SSIM与最新技术进行比较[47]。方法PSNRSSIMDAF-Net（我们的）28.440.8740[50]第五十话25.000.7543RESCAN [30]26.450.8458JBO [52]16.090.5149GMMLP [31]14.260.5444DSC [32]15.660.4225结果如图7所示，我们的方法可以清楚地去除雨条纹和雾，而其他方法往往会在图像上产生伪影或无法去除大的雨条纹，这也在相应的数值中显示出来。5.4. 使用Rain100H数据集进行比较除了RainCityscapes之外，我们还使用我们从其项目网站下载的最近的Rain100H数据集[47]将我们的网络由于深度图在此数据中不可用，因此我们假设恒定深度值为0。5、整个图像，即我们简单地忽略深度，并在无雨输入照片上添加雨条纹作为2D叠加。表3报告了比较结果，其中我们的方法也优于其他雨水去除方法。5.5. 网络设计成分分析我们在RainCityscapes数据集上进行了一项消融研究，以评估深度注意力特征（Depth-attentionalfeatures，缩写为EAF）的有效性。表4的第一行示出了来自基本模型的结果，该基本模型是通过移除图4中的顶部解码器分支而构建的，因此网络仅从底部解码器分支获取特征图以生成无雨图像而不进行去噪。比较表4中的第一行和第四行，我们可以看到，我们的完整网络与ESTA可以产生更忠实于地面真相的无雨图像。体系结构分析在我们的网络内部，我们经验性地确定了n的值，它对应于深度注意特征（dth）中注意权重（n）的数量;见4.2节。从概念上讲，大的n意味着我们学习更多独立的雨条纹和雾模式的深度水平，具有更小的类内方差;但表4：对DAF网络的评价。基本模型是没有深度注意特征（DAF）的DAF网络;参见等式。（6）和第4.2节，了解n的定义和细节。方法nPSNRSSIM基本-28.560.94571629.900.9527DAF网络326429.9430.060.95280.953012829.930.9524折衷是相应地减少每个级别中的特征通道的数量表4给出了结果，表明当n为64时实现了最佳性能。因此，我们在网络中设置n为646. 结论在这项工作中，我们探讨了雨的视觉效果受场景深度和制定雨成像模型与雨条纹和雾。基于该模型和Cityscapes数据集，我们合成了更真实的雨图像与地面实况无雨照片，并准备新的RainCi- tyscapes数据集用于除雨。此外，我们制定了一个端到端的神经网络，设计了深度引导的注意力机制，并训练网络学习深度注意力特征，以消除输入的雨图像中的雨条纹和雾最后，我们在真实照片和各种数据集上测试了我们的网络在未来，我们计划进一步探索我们的深度注意力功能的潜力，以消除其他天气相关的文物和调查高层次的se-mantic场景理解从雨图像。致谢本工作得到了国家基础工程973计划的资助。2015CB 351706）、深圳市科技计划（项目编号：JCYJ20170413162617606）、香港研究资助局（项目编号：香港中文大学14225616&香港中文大学14203416）及香港中文大学2018/2019年度研究直接补助金。胡晓伟是由香港博士资助的奖学金8031引用[1] P. C. Barnum，S. Narasimhan和T.卡纳德雨雪天气的频率空间分析。International Journal of Computer Vision，86（2-3）：256，2010. 2[2] N. Buch，S. A. Velastin和J.奥威尔城市交通分析的计算机 视 觉 技 术 评 述 。 IEEE Transactions on IntelligentTransportation Systems，12（3）：920-939，2011。1[3] B. Cai ， X. Xu ， K. 贾 角 ， 澳 - 地 Qing 和 D. 涛 .DehazeNet：一个端到端的系统，用于消除单个图像的雾 。IEEE Transactions on Image Processing ， 25（11）：51872[4] L- C. Chen，G.帕潘德里欧岛科基诺斯角墨菲和A. L.尤尔。Deeplab：使用深度卷积网络、atrous卷积和完全连接的CRF进行语义图像分割。IEEE Transactionson Pattern Analysis and Machine Intelligence，40（4）：834-848，2018。5[5] Y.-- L. Chen和C. T. Hsu.时空相关雨带的广义低秩出现模式。ICCV，第1968-1975页，2013年。一、二[6] M.科德茨，M。奥姆兰，S。拉莫斯，T.雷费尔德，M。恩茨韦勒R.贝南森，美国弗兰克，S。罗斯和B。席勒用于语义城市场景理解的cityscapes数据集在CVPR，第3213-3223页，2016年。3[7] J. Deng，W.东河，巴西-地索赫尔湖J. Li，K. Li和L.飞飞。ImageNet：一个大规模的分层图像数据库。CVPR，第248-255页，2009。6[8] X. Fu，J. Huang，X.丁氏Y. Liao和J.佩斯利清除天空：用于单图像雨去除的深度网络架构。IEEE Transactionson Image Processing ，26（6 ）：2944-2956，2017。一、二[9] X. Fu，J.Huang，黄氏拟谷盗D.Zeng，Y.Huang，X.丁宁和J.佩斯利通过深度细节网络从单个图像中去除雨水在CVPR中，第1715-1723页，2017年。一、二[10] K. Garg 和 S.K. 纳 亚尔 从 视频 中 检 测和 去 除雨 水 在CVPR，第1卷，第I-I页，2004中。2[11] K. Garg和S. K.纳亚尔 相机什么时候能看到雨？在ICCV，第1067-1074页，2005年。4[12] K. Garg和S. K.纳亚尔雨条纹的真实感渲染。在ACMTrans. on Graphics（SIGGRAPH），第25卷，第996-1002页中。ACM，2006年。2[13] K. Garg和S. K.纳亚尔视觉与雨International Journal ofComputer Vision，75（1）：3-27，2007. 一、二、三、四[14] K. 他 ， 孙 杰 ， 还 有 X 。 唐 引 导 图 像 滤 波 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，（6）：1397-1409，2013。4[15] K.他，X。Zhang，S. Ren和J. Sun.深入研究rec- tifiers：在ImageNet分类上超越人类水平的性能。在CVPR中，第1026-1034页，2015年。6[16] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。CVPR，第770-778页，2016年。2[17] X. Hu，X. Xu，Y. Xiao，H. Chen，S. He，J. Qin，andP. - A.衡SINet：一种用于快速车辆检测的尺度不敏感卷积 神 经 网 络 。 IEEE Transactions on Intel- ligentTransportation Systems，20（3）：1010-1019，2019. 18032[18] X.胡湖，加-地朱春W. Fu，J. Qin和P. - A.衡用于阴影检测的方向感知空间上下文特征。在CVPR中，第7454-7462页，2018年。6[19] D.- A.黄湖W.康，Y.- C. F. Wang和C.- W.是林书基于自学习的图像分解及其在单幅图像去噪中的应用。IEEETransactions on Multime-dia，16（1）：83-93，2014年。一、二[20] J. Janai，F. Guéne y，A. Behl和A. 盖格河自动驾驶汽车的计算机视觉：问题、数据集和最新技术。arXiv预印本arXiv：1704.05519，2017。1[21] Y. Jia、E.Shelhamer，J.多纳休S.Karayev，J.隆河，西-地Gir- shick，S. Guadarrama和T.达雷尔。Caffe：用于快 速 特 征 嵌 入 的 卷 积 架 构 arXiv 预 印 本 arXiv ：1408.5093，2014。6[22] L- W.康角，澳-地W.林和Y H. Fu.通过图像分解自动去除 基 于 单 个 图 像 的 雨 条 纹 。 IEEE Transactions onImage Processing，21（4）：1742，2012。一、二[23] J. - H.金角，澳-地李，J. - Y. Sim和C.- S. Kim.使用自适应非局部均值滤波器的单图像去噪。在ICIP，第914-917页，2013年。1[24] D. P. Kingma和J. BA. Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。6[25] H.科施米德尔水平磁场理论。Beitrage zur Physik derfreien Atmosphere，pages 33-53，1924. 3[26] A.克里热夫斯基岛Sutskever和G. E.辛顿基于深度卷积神经网络的ImageNet分类。在NIPS，第1097-1105页，2012中。5[27] B. Li，X.彭，Z.Wang，J.Xu，和D.峰AOD-Net：一体化去雾网络。在ICCV，第4770-4778页二、七[28] G. Li，X.他，W。Zhang，H.昌湖，澳-地Dong和L.是林书用于单幅图像去雨的非局部增强编码器-解码器网络。arXiv预印本arXiv：1808.01491，2018。1[29] R. Li，J. Pan，Z. Li和J. Tang。通过条件生成对抗网络的单图像去雾。在CVPR，2018年。2[30] X. Li，J.Wu，Z.Lin，H.Liu和H.扎。用于单幅图像去训练的循环在ECCV，第262-277页，2018年。一二六七八[31] Y.利河，巴西-地T. Tan，X. Guo，J. Lu，and M. S.布朗使用层先验去除雨痕。在CVPR，第2736- 2744页，2016年。一、二、四、七、八[32] Y. Luo，Y. Xu和H.纪基于判别稀疏编码的单幅图像去雨算法。在ICCV，第3397- 3405页，2015中。一、二、七、八[33] J. C. McCall和M. M.特里维迪用于驾驶员辅助的基于视频的车道估计和跟踪：调查、系统和评价。IEEETransactions on Intelligent Transportation Systems ， 7（1）：20-37，2006。1[34] R.钱河，巴西-地T.谭，W。Yang，J. Su，and J.刘某用于从单个图像中去除雨滴的注意生成对抗网络。在CVPR，2018年。2[35] W.伦湖，澳-地马建，张建，J.平移X