没有合适的资源?快使用搜索试试~ 我知道了~
4753基于非配对学习的深度图像去噪杨柳1子玉岳1金山畔2志勋苏11大连理工大学2南京理工大学https://lewisyangliu.github.io/projects/UDRDR摘要通过研究雨图的性质,提出了一种简单有效的基于非配对学习该算法主要由半监督学习部分和知识提取部分组成。半监督部分估计雨图,并基于良好建立的层分离原则重建已确定的图像为了促进雨removal,我们开发了一个雨方向正则化约束的雨估计网络的半监督学习部分。利用半监督学习部分的估计雨图,我们首先通过添加到基于叠加模型的无雨图像来合成新的配对集真实的雨天图像和得到的结果构成了另一个配对集。然后,我们开发了一种有效的知识提取方法来探索这两个配对集,从而提取半监督学习部分的去训练模型。我们提出了两个新的雨天数据集,命名为RainDirection和Real3000,以验证所提出的方法的有效性。定量和定性的实验结果表明,该方法取得了良好的效果对国家的最先进的方法在基准数据集和真实世界的图像。1. 介绍单图像去噪的目的是从雨天图像中估计出无雨图像。它是一个经典的图像处理问题,在过去的十年里,它一直是视觉和图形社区的一个活跃的研究课题。作为许多现实世界的任务(例如,交通检测和环境监测)需要高质量的图像,并且多雨的环境通常导致废弃的图像,因此开发一种有效的算法来恢复无雨图像是非常有意义的雨是一种复杂的大气现象。有雨的图像可能会失去色彩保真度,并且由于雨条纹(水滴)移动通过背景场景而遭受视觉在数学上,降雨过程可以通过以下线性叠加模型来公式化:O(x)=B(x)+R(x),(1)其中0是下雨图像,B是无雨图像,并且R是雨图,它描述了雨的分布和运动。x表示像素坐标。由于只有O可用,我们需要同时恢复B和R这个问题是高度不适定的,因为许多不同的B和R对产生相同的O,例如,R的几乎全零矩阵和B的雨图像,其中由于雨的复杂分布和运动,网络不能成功地估计雨图。为了使图像去盲问题良定,现有的方法通常对雨图和无雨图像做一些假设。例如,已经提出了低秩表示模型[1]、稀疏表示模型[14]、高斯混合模型[11]来对雨图或无雨图像进行建模以帮助雨去除。Jiang等人[7]探索基于稀疏先验的梯度算子用于雨图。代替对雨图和无雨图像进行一些假设,几种方法专注于开发用于图像去训练的端到端可训练网络[2,3,30,22,19,10]。为了更好地探索主知识,若干基于深度学习的方法以不同的视角对雨图或/和被导出的图像施加约束,例如,[26]中的联合雨位置检测,[29]中分配的雨密度标签,[21]中描述雨条纹的重复局部图案的雨核。这些方法通常需要成对的数据来训练深度神经网络。然而,在这些方法中使用的逐像素内容损失倾向于平滑细节,而基于GAN的损失可能生成假结构。在[19,13]中,负SSIM损失用于对derained图像和地面真实图像之间的局部结构相似性进行建模然而,这种只对图像施加约束的方法忽略了雨条纹的分布和运动。因此,有必要探索雨图的属性,以更好地去除雨水。我们发现,雨地图的自然下雨的图像通常有一个线性的形状与相似的方向在一个局部的图像补丁。雨图通常具有高对比度和尖锐边缘,因为被雨覆盖的像素呈现高强度,而没有雨的像素接近于零。因此,我们提出了一个雨方向正则化模型的雨图估计的雨图的属性,使一致和尖锐的雨结构可以保留。的4754所提出的雨方向正则化器提取梯度,其对应于雨图的平行和垂直方向,以真实地保持雨图结构的局部一致性和锐度。为了进一步提高处理真实下雨图像的泛化能力,几种方法[23,28,24,13]揭示了合成和真实下雨图像之间存在的差距,这是Wang等人。[22]通过融合雨天图像序列构建成对的真实雨数据集。然而,我们观察到结构和细节不对齐被带入该数据集。Lin等人[13]使用过滤后的图像合成真实的雨图,以提取雨图估计网络,但根据其发布的实验结果,得出的结果低于同期的最先进方法为了处理真实图像,我们开发了一个半监督学习方法与知识蒸馏策略。半监督学习估计由雨方向正则化器约束的雨图和去雨图像。利用估计的雨图,我们可以通过应用估计的雨图来合成新的配对集合,以基于降雨模型(1)参考清晰图像。然后,知识提取部分提取 半 监 督 学 习 部 分 中 的 derained 模 型 , 以 促 进 雨removal任务。此外,考虑到现有数据集的雨方向标签的 不 可 用 性 , 我 们 构 造 了 一 个 新 的 数 据 集RealDirection,其中每个下雨的图像被分配一个方向标签。Real3000数据集也提出了现有的公开可用的真正下雨的数据集是小规模的。我们进行了全面的实验,并表明所提出的方法取得了可喜的成果,雨水清除任务。本工作的主要贡献如下:• 我们提出了一个简单而有效的雨方向regularizer的雨图的局部性质的基础上,保持的结构和清晰度的雨图。• 本文提出了一种基于半监督学习和知识蒸馏策略的非配对学习方法。给定一组不成对的合成和真实的雨天图像。半监督学习部分估计雨图和去雨图像。知识提取部分进一步完善了推导结果。• 我们提出了RainDirection数据集和Real3000数据集来训练所提出的方法。在基准数据集和真实图像上的定量和定性评价都证明了该方法的有效性2. 相关工作近年来,我们已经目睹了单图像去噪的重大进展在这项工作的范围内进行了全面审查。我们提出一个简短的审查在本节的适当上下文中最相关的单幅图像去噪是一个经典的不适定问题。各种方法对分离后的雨图和无雨图做了一些假设和调整。Chen和Hsu [1]揭示了一个雨景通常在不同的局部斑块中包含相似的雨条纹图案。然后,他们提出了一个低秩模型来描述雨条纹的出现。Luo等人[14]引入了一种基于稀疏性的正则化策略来帮助雨去除,该策略假设雨图和无雨图像都可以稀疏建模。Li等人[11]表明,雨天图像补丁主要包含雨条纹的恼人效果。然后,他们学习一个雨条纹层之前的层分离的基础上GMM。其中一个限制是,它们往往会过度平滑所得到的图像。与Fastderain [7]中使用的梯度算子不同我们用准确的方向标签合成一个大的数据集。我们提出的雨方向正则化器是可微的,可以自然地插入到网络中,与现代深度学习技术联合训练最近,基于深度学习的方法[2,3,26,29,17,18,21,6]在图像去水印问题上取得了显着进展。许多正则化器和先验知识已被应用到网络中,以更好地估计雨图和derained图像。在[26]中,雨位置信息被认为有助于估计雨条纹。在[29]中,每个下雨的图像都被分配了一个密度标签,用于在训练过程中监督降雨残差。Wang等人。[21]介绍了描述雨条纹重复局部模式的雨核。由于基于每像素亮度值的损失倾向于平滑边缘,因此在[19,13]中对derained图像采用负SSIM损失以提高结构相似性。我们注意到,现有的方法很少明确探索的雨方向信息的雨图估计的任务,实际上编码的重要结构和运动信息的雨条纹。上面讨论的基于深度学习的方法主要以完全监督的方式用成对的合成数据进行训练已经提出了几种最近的基于半监督学习的方法[23,28,24半监督学习策略背后的基本思想是以监督的方式用合成数据和以无监督的方式用真实数据训练网络,并且在两个阶段中共享架构和参数。这些方法的监督部分是相似的。网络直接学习从合成的雨天图像到相应的地面实况无雨图像的映射,其中基于损失的每像素亮度值至于无监督部分,[23]引入了具有K-L正则化器的GMM似然项,而[28]使用高斯过程,并且在[24]中使用GAN。 [22]建议通过融合多帧降雨图像来获得成对的真实降雨数据集4755Σ----×个F--老化并开发了一个基于注意力的监督网络来解决这个问题。与这些方法不同的是,我们引入了一个雨方向正则化,以帮助雨地图估计与不成对的蒸馏策略,以进一步提高雨水去除的性能。我们注意到,我们的方法与最近提出的用于在模型制定、求解过程和学习目标中合成真实雨的方法[13我们的方法相对于这些方法实现了有利的结果,如在Sec. 4.第一章3. 该算法我们提出的图像去盲算法包含其中f通常取为L1-范数。然而,这种常用的内容损失(4)没有考虑雨条纹的局部结构,并且倾向于生成过度平滑的结果,如[9,15]中所示。我们注意到,雨地图的自然下雨的图像的-10观察到的线性形状在一个局部图像补丁具有相似的方向。此外,雨图通常具有高对比度,具有尖锐的边缘,因为被雨覆盖的像素呈现高强度,而没有雨的像素接近于零。因此,我们提出了一个雨方向正则化,以帮助保持雨图的结构和形状。所提出的正则化子被定义为:半监督学习和知识提取部分,主要包括三个阶段。图1显示了该算法的概述。 首先,我们提出了一个降雨方向-L方向=kd∈{k,k}f(kdzsyn-kdzgt)(5)基于雨条纹的属性的正则化器,以约束深度神经网络估计雨图。其次,重建网络使用估计的雨图恢复所确定的图像。在第一和第二阶段中的合成和真实输入的网络以半监督学习的方式进行训练。第三,与估计的雨地图,我们合成一个新的成对数据的真实图像和开发的知识蒸馏方法来探索这两个成对的集合,这样的derain- ing模型在半监督学习部分被提炼。所有这三个阶段都是用一组不成对的合成图像和真实的雨天图像进行联合训练的。我们在下文中呈现我们的算法的每个组件的细节。3.1. 用方向正则化器估计雨图我们所提出的算法的第一阶段是从未配对的输入下雨图像xsyn;xreal估计雨图,其中xsyn和xreal分别表示从两个独立数据集随机挑选的合成下雨图像和真实下雨图像如[26,3,17]中所指出的,雨图通常对雨图像内的雨条纹(水滴)的高频细节(残差)和位置信息进行编码,其可以经由一系列参数化映射函数来解码深度CNN考虑到在建模残差信息和近似映射函数方面的良好能力,我们使用有效的残差网络[5,12]来直接从雨天图像估计雨图。形式上,估计雨图的过程可以公式化为:zsyn=F1(xsyn),(2)zreal=F1(xreal),(3)其中F1是取xsyn和xreal的深度残差网络是用于通过卷积运算提取局部梯度的方向滤波器核我们提出的RainDirection数据集包含雨图像与相应的雨方向标签。在训练期间,两个预定义的核对应于平行(表示为k)和垂直(表示为k)。雨条纹的双曲(记为k)方向图用于计算(5)。f取为L1-范数。提出的雨方向正则化器可以模拟雨图的邻域信息,从而更真实地保留雨图的局部我们预定义了18个11(1= 5)大小的方向滤波器核,其对应于角度0◦,10◦,…,170◦其中,证明了该方法对降雨方向的鲁棒性,且变化较小。滤波器核kd是可微分的,并且可以自然地插入到网络中以联合地利用现代深度学习技术进行训练。我们注意到,基于一阶差分方法的垂直和水平图像梯度算子是我们的雨方向调节器的一个虽然图像梯度算子也有助于保留边缘信息,但雨运动信息,即,雨的方向,没有被考虑。图2给出了两个简单的案例来说明我们的动机。由于雨方向正则化器,所得到的雨图(b,e)相对于(a,d)更接近地面实况(c,f)(b,e)保持雨带真实而清晰的结构。3.2. 图像重建利用第一阶段学习的雨图,第二阶段中的重构网络可以根据雨模型(1)来恢复所确定的图像我们将该过程实现为:ysyn=F2(xsyn−zsyn),(6)yreal=F2(xreal−zreal),(7)作为输入;zsyn和zreal是网络输出分别是xsyn和xreal的估计雨图其中深度残差网络F2取Xsyn -z同步 和为了正则化网络1,常用的方法是通过以下方式确保估计的雨图z_syn接近地面实况雨图z_gt:L含量=f(zsyn−zgt),(4)x realz real作为输入; y_syn和y_real是网络输出,其分别是x_syn和x_real的估计的derained图像。利用重构损失对网络F2与监督干净的图像ygt:4756F----LLLL--FFF{} F联系我们--联系我们合成雨图像降雨方向调节器(zsyn,zgt)合成雨扭曲的形象GT干净图像x同步真雨图像z同步zgt真雨y同步ygt扭曲的形象X雨量估测网重建网络房z房y房扭曲的形象真雨图像蒸馏(xreal,yreal;xref,ygt)y实数干净图像x实数参考雨像xref =雨模型(ygt,zreal)ygt蒸馏网络x参考图1.所提出方法的概述给定不成对的输入雨图像xsyn;xreal,第一阶段是估计由雨方向正则化器约束的雨图然后第二阶段根据(1)的逆过程重建具有zsyn;zreal的去噪图像估计的雨图zreal用于通过等式1生成新的雨图像xref(九)、这样的两个成对的集合{x_real,y_real}和{x_ref,y_gt}用于提取第三级,以便于实际的除雨任务。其中f和g都被取为L1范数;3表示深度残差网络;φ是平衡每个部分的重要性的正权重参数注意,xreal和yreal是教师部分的输入和输出图像。(a)(b)(c)(d)(e)(f)图2.简单的案例来说明我们的动机。(a,d)、(b,e)和(c,f)表示仅用内容估计的所得雨图,含量+λ方向和地面实况。λ是权重参数。雨方向正则化器方向有助于保持雨纹的结构一致性和清晰度。Lrecons=f(y syn− y gt),(8)其中f在我们的实验中被取为L1-范数。3.3. 知识蒸馏除雨我们使用来自降雨估计和重建网络的结果(即,半监督部分)以提取第三阶段的网络。前两个阶段作为教师部分,而第三个阶段是学生部分。在雨方向正则化器的帮助下,教师部分可以从由ygt监督的xsyn学习适当的derained图像ysyn,并且经由半监督的方式从xreal学习zreal以及yreal。给定参考干净图像ygt,我们使用估计的雨图zreal通过以下方式生成新的雨图像xref=ygt + zreal.(九)因此,我们获得新的图像对x_ref,y_gt。我们的知识升华是通过以下方式实现的:Ldistill=f(F3(xreal)−yreal)+φg(F3(xref)−ygt),知识蒸馏用于探索由xreal,yreal教导的xref,ygt中的有用信息,从而可以进一步改进针对真实世界情况的除雨过程第5.2节将说明其有效性。3.4. 用合成图像和真实图像进行我们的方法采用合成和真实的降雨图像,在训练期间交替更新降雨估计网络1、重建网络2和蒸馏网络3。每一级将来自前一级的输出作为输入。 给定未配对的输入雨天图像x syn;x real,首先用合成图像xsyn训练1和2,合成图像x syn分别由(4)和(5)以及(8)中定义的损失正则化。 由于地面实况雨图和真实雨图像x real的干净图像不可用。 类似于[23,4],我们在所定义的图像y_real上使用TV正则化项L_T_V来约束背景场景的平滑度。还采用了周期一致的正则化器L cycle[32],使得加回到估计的雨图z real的derained图像yreal的结果应该接近输入的雨图像xreal。在获得未配对图像对x real、y real和x ref之后,通过在(10)中定义的蒸馏损失以完全监督的方式训练ygt,3,其中Φ = 10。我们网络的总体目标是L 内容+1。2L方向+L侦察+0。001L TV+0。01L循环+L蒸馏。 所有的加权参数都是通过灵敏度分析来设置的,例如,当λ=1时,我们在图8中的方法实现了最高的PSNR值。2为L方向。(十)4757----×个FFF×× ×× ××F FF我们设计了半监督的部分来提取第三阶段,只有知识提取部分用于测试。我们注意到,半监督部分可以替换为其他预训练的最先进的图像derain- ing模型与雨方向正则化,以进一步改善雨图估计。对于用于训练知识提取部分的数据集,仅需要真实世界的雨天和干净图像的未配对集合,即,x实数和ygt是不成对的。并且可以在训练期间合成未配对图像对xreal,yreal和xref,ygt。这种策略有效地促进了实际的除雨任务。4. 实验结果我们将我们的方法与公开可用的基准数据集和我们提出的数据集上的最先进的图像deraining方法进行比较。由于进行了全面的实验,我们只显示了一小部分的主要文件中的结果。请访问homapege以获得更广泛的结果,我们在那里向公众发布我们的源代码,训练模型和数据集。4.1. 数据集用于训练和测试的数据集是双重的。Rain 100 H[26],Rain 100 L [26],DID-Data [29]和我们提出的RainDirection包含合成的雨天图像和地面真实无雨图像,而SIRR-Data [23],Real 200 [24]和我们提出的Real 3000 包含真实 的雨天图像, 没有无雨图像 。Rain100H和Rain100L数据集在[26]中提出,涵盖了不同的雨纹分布。DID数据集[29]包含雨密度标签信息,例如,小雨、中雨和大雨条件。我们提出了一个新的数据集命名为RainDirection数据集,以验证雨方向正则化的有效性现有的大尺度数据集虽然能较好地反映降雨天气状况,但缺乏相应的降雨方向标注信息。RainDirec- tion中的雨天图像是通过将来自Flick 2K和DIV 2K数据集[20]的干净图像与根据雨模型(1)的合成标记雨图相加而获得的每个下雨的图像被分配有方向标签。这些方向标签用于在训练期间计算(5)。RainDirection的训练集和测试集分别包含2920和430张图像。我们还提出了另一个新的数据集名为Real3000数据集。虽然在以前的工作中已经提出了几个真实的数据集,但数量很小,例如,SIRR数据[23](147张图像)和Real200 [24](200张图像)。很难说这样的小规模数据集足以训练具有数百万个可训练参数的网络。大规模的Real3000数据集包含3000个真实的雨天图像,没有地面实况图像,这些图像主要从互联网上收集,并由佳能EOS 6D相机拍摄。训练集和测试集分别包含2700和300个不同的自然户外图像。Real3000数据集涵盖各种降雨条件,例如:不同方向和形状的稀疏和密集的雨。4.2. 实现细节雨图估计网络1、重建网络2和蒸馏网络3可以是任何现有的深度CNN。我们在我们的方法中采用小规模EDSR [12]网络,并且对于1,2和3共享相同的架构,其中残差块的数量为16,滤波器的数量分别为64,64和128在学习过程中,我们使用ADAM优化器[8]其中参数β1=0。9,β2=0。999,且ε=10−4。小批量大小设置为12。学习率初始化为8 10−4,每40个epoch减半。参数随机初始化,网络控制器采用自适应控制策略。在200个纪元之后就接近了我们根据经验将三个阶段的权重参数设置为1.0。整个网络使用Pytorch框架进行训练。在训练期间,以不成对的方式随机裁剪合成图像和真实图像。对于大小为hwc的RGB图像,下雨图像0、雨图R和无雨图像B的大小保持为hwc。我们的方法中使用的数学运算和CNN在训练和测试期间不会改变维度。4.3. 与最先进技术的为了评估所提出的算法的性能,我们将其与包括GMM [11] 、 Clear [2] 、 DDN [3] 、 JORDER [26](JORDER-2010)的最新算法进行了E [25])、DID-MDN [29]、UMRL [27]、PReNet [19]、SIRR[23] , 我们采用了4个测量指标,包括PSNR、SSIM、学习感知图像块相似性(LPIPS)[31]和自然图像质量评估器(NIQE)[16]。较高的PSNR和SSIM值指示较高的图像质量,而较低的LPIPS和NIQE值指示较高的感知质量。我们严格地对YCbCr空间中的Y通道上的所有评估方法采用与先前工作类似的相同设置,除了针对DID数据集采用RGB空间的三个通道。在基准数据集和真实图像中,所提出的方法可以实现对最先进的方法有前途的结果。基准数据集与地面真相。 表1示出了对不同基准数据集的定量评估,其中使用相应的公开可用的代码和模型来获得最先进方法的结果以进行公平比较。所提出的方法实现了良好的derained图像,以及对国家的最先进的方法在PSNR,SSIM和LPIPS雨图。所有比较的方法都使用相同的设置进行严格评估。我们还发现表1中我们重新测试的方法的一些结果比他们发表的论文更好例如,我们在UMRL [27]的DID数据集上测试的PSNR/SSIM 为 30.54/0.93 , 而 他 们 的 论 文 中 为29.77/0.92。图3和图4显示了由评估的Rain100H和Rain100L数据集得出的一些结果。4758表1. 对基准数据集Rain100H [26],Rain100L [26],DID数据[29]和拟议的RainDirection数据集在PSNR,SSIM和LPIPS方面的最先进的deraining方法进行定量评估。我们的方法对国家的最先进的图像deraining方法表现良好。粗体值表示最佳性能。(The使用其TPAMI版本[25]的代码对RainDirection数据集上的 JORDER [ 26 ]的结果Derained图像PSNR/SSIM/LPIPSPSNR/SSIM/LPIPSPSNR/SSIM/LPIPSPSNR/SSIM/LPIPSGMM [11]15.23/0.4511/0.57329.06/0.8720/0.22424.50/0.8320/0.22922.92/0.7709/0.355透明[2]13.85/0.4430/0.55727.39/0.8748/0.21522.05/0.8396/0.16222.25/0.8428/0.248DDN [3]17.90/0.5621/0.45929.73/0.9171/0.15128.37/0.8999/0.13628.04/0.8746/0.223[26]第二十六话26.69/0.8347/0.19136.72/0.9739/0.02625.52/0.8759/0.17930.10/0.9064/0.165DID-MDN [29]17.36/0.6103/0.44325.76/0.8597/0.24827.97/0.9107/0.10425.70/0.7974/0.350UMRL [27]18.21/0.5354/0.46527.44/0.8717/0.22530.54/0.9308/0.07426.08/0.7947/0.342PReNet [19]29.46/0.8979/0.12237.42/0.9784/0.01926.42/0.8889/0.14728.94/0.8972/0.181RCDNet [21]31.28/0.9081/0.10439.97/0.9856/0.01227.69/0.8973/0.13230.39/0.9054/0.170我们32.62/0.9230/0.0940.54/0.9872/0.00933.07/0.9536/0.07631.35/0.9181/0.153降雨图PSNR/SSIMPSNR/SSIMPSNR/SSIMPSNR/SSIMGMM [11]15.26/0.393229.11/0.797126.30/0.686422.57/0.6889透明[2]14.24/0.234428.83/0.801625.16/0.656923.85/0.7337DDN [3]17.91/0.528729.75/0.838030.35/0.828227.46/0.8383[26]第二十六话26.54/0.908336.61/0.946725.79/0.685829.29/0.8816DID-MDN [29]17.51/0.622025.93/0.715230.19/0.837626.43/0.7812UMRL [27]18.21/0.537727.52/0.760132.84/0.877926.73/0.7790PReNet [19]29.45/0.935837.41/0.953625.69/0.678528.28/0.8627RCDNet [21]31.27/0.948339.95/0.971629.59/0.814029.53/0.8827我们32.62/0.959040.53/0.974134.88/0.901430.48/0.8978(a) 输入图像(b)GMM [11](c)DDN [3](d)JORDER [26](e)DID-MDN [29](f)UMRL [27](g)PReNet [19](h)RCDNet [21](i)Ours(j)Ground Truth图3.Rain100H数据集的示例结果[26]。我们的方法恢复一个更干净的图像与真实的脸结构。(a)输入图像(b)GMM [11](c)DDN [3](d)JORDER [26](e)DID-MDN [29](f)UMRL [27](g)PReNet [19](h)RCDNet [21](i)Ours(j)Ground Truth图4.Rain100L数据集的示例结果[26]。我们的方法重建更准确和一致的结构。方法.基于高斯混合模型(GMM)的方法[11]不能很好地恢复被破坏的图像,并且生成具有显著雨残留的结果。 DDN[3] 开发了一个用于除雨的深度细节网络。然而,该方法不能很好地恢复人脸或重要结构,如图3(c)和图4(c)所示JORDER [26]联合估计降雨位置和降雨图并获得有效结果,但结果中仍然存在明显的伪影(图3(d))。DID-MDN [29]引入了雨密度标签,而UMRL [27]开发了雨条纹位置信息,以帮助去除雨水。然而,这两种方法都不能很好地从输入图像中去除雨水。数据集Rain100HRain100LDID-数据降雨方向4759(a) 输入图像(b)GMM [11](c)DDN [3](d)JORDER [26](e)DID-MDN [29](f)UMRL [27](g)PReNet [19](h)RCDNet [21](i)Ours(j)Ground Truth图5.RainDirection数据集上的示例结果我们的算法恢复一个高质量的图像,更清晰的结构和细节。(a)输入图像(b)GMM [11](c)Clear [2](d)DDN [3](e)DID-MDN [29](f)UMRL [27](g)PReNet [19](h)SIRR [23](i)图6.真实世界图像中的示例结果。在这种具有挑战性的情况下,我们的方法有效地去除了雨条纹(滴),与比较方法相比,雨残留物更少。表2.在NIQE方面,对所提出的Real3000数据集(300个真实测试图像)上的比较方法进行定量评价方法GMM [11]DID-MDN [29]PReNet [19]SIRR [23]3.7119 3.8162 3.8363 3.2664 3.5511 3.4530 3.1973 3.4401 3.0558PReNet [19]通过一个浅而有效的ResNet逐步解决多个阶段的脱轨问题RCD- Net [21]还引入了迭代算法。该方法在20个阶段后收敛良好然而,伪影仍然存在,并且结构没有很好地恢复,如图3(h)和图4(h)中所示。相比之下,我们提出的方法恢复更干净的图像与真实的结构。图5显示了我们建议的RainDirection数据集的一些结果。我们在建议的RainDirection数据集上微调其他基于CNN的方法的预训练模型,并选择它们的最佳模型进行评估。我们注意到,最先进的方法不能很好地去除相比之下,该算法恢复高质量的图像与真实的图像细节和结构对其他人。真实的例子。我们进一步评估[30]中的另一个真实例子,其中空中的大雨条纹和地面上的雨滴都存在。图6示出了现有技术的方法[11、2、3、29、27、19、23、13、25、21]不能很好地恢复所述图像,并且结果包含雨水残留或颜色失真。相反,我们的方法表3. 100个512 x 512像素的RGB图像的平均运行时间比较(以秒为单位)。方法SIRR [23]JORDER-E [25]RCDNet [21]我们平台TensorFlowPyTorchPyTorchPyTorchAvg. 时间0.150.360.790.17型号尺寸0.06M4.2M3.2M4.9M有效地去除了雨纹和雨滴,并恢复了有希望的失真图像。表2总结了在拟定的Real3000数据集上使用无参考评分NIQE的定量评价。表2表明,我们的方法可以实现高质量的图像对国家的最先进的方法对现实世界的图像。运行时间。我们在一台配备英特尔酷睿i9- 9940 X CPU和NVIDIA TITAN RTX GPU的计算机上随机选择100张512 x 512像素的RGB图像,表3显示,由于模型大小较大,与SIRR [23]相比,我们的方法需要稍微更多的运行时间。JORDER-E [25]和RCDNet [21]比我们需要更多的时间,因为他们的网络有多个阶段。我们的方法只需要在测试中评估蒸馏网络。4760×× ××个----40.24039.839.639.439.23938.838.638.438.20.0010.01 0.05 0.10.20.30.4 0.45 0.5 0.55 0.60.70.80.911.2 1.5(a)实际降雨输入(b)不含(10)(c)我们的图8.知识提炼在一个真实案例中的有效性表5. 知识蒸馏策略(10)在Rain100L [26]数据集上用于除雨任务的有效性。方法w/o(10)我们的PSNR/SSIM/LPIPS39.15/0.9662/0.01340.54/0.9741/0.009图7.雨方向正则化子超参数λ和方向滤波核大小的敏感性分析表4. 降雨方向正则化器(5)在RainDirection数据集上用于除雨任务的有效性。方法w/o(5)我们的PSNR/SSIM/LPIPS30.34/0.9083/0.16631.35/0.9181/0.1535. 分析和讨论在本节中,我们通过进行消融研究进一步分析了组件的有效性。5.1. 降雨方向调节器我们引入了一个雨方向正则化,以帮助保持雨图的结构和形状。 为了证明雨方向正则化器的有效性,我们分析了雨方向正则化器的折衷参数λ和方向滤波器核大小的灵敏度。 我们提出的雨方向正则化子L方向和L内容是不同的,尽管它们定义的f都是L1-范数。图7示出了我们的方法对验证集上的宽范围内的超参数λ的变化不敏感。 当λ = 0时,我们的方法简化为仅使用L含量,结果减少了近1.6 dB平均值PNSR。与仅使用L内容或3 3内核大小的方向滤波器(减少到使用水平和垂直梯度算子)相比,55或7 7内核大小有助于实现更好的性能。表4表明,使用降雨方向正则化器可以在RainDirection数据集上实现更好的PSNR、SSIM和LPIPS方面的图像这些实验表明,雨方向正则化有效地帮助保持图像雨去除的结构和形状。5.2. 知识提炼半监督部分充当教师部分。知识蒸馏策略(10)从合成的成对数据x_ref,y_gt和x_real,y_real探索有用的信息。为了证明其有效性,我们禁用(10)在所提出的方法中,并利用相同的设置进行再训练以进行公平的比较。图8(c)示出了使用知识蒸馏的结果,其中雨条纹被很好地去除。相比之下,结果w/o(10)包含如图8(b)所示的伪像和颜色失真的表5中的比较表明,使用知识蒸馏可以在Ran100L [26]数据集上实现PSNR、SSIM和LPIPS方面的更好的图像蒸馏网络受益于在合成数据内编码的补充信息,从而进一步改善除雨任务的结果。5.3. 与最相关方法的最近,已经提出了一种用于除雨任务的数据蒸馏方法[13]。这种方法开发了一种数据蒸馏策略,以学习真正的降雨图,用于除雨任务。我们的方法是显着不同的,从这个approach在模型制定,求解过程和学习目标。我们不同地采用一个半监督策略与一个有效的雨方向正则估计雨图和derained图像。知识提取部分和雨估计模块是解耦的,探索合成的伪配对数据内的互补信息,并在一个不成对的学习方式,纳训练图6和表2中的定量评估进一步证明,所提出的方法对于除雨任务比包括该方法的现有技术算法更有效。6. 结论在本文中,我们提出了一种有效的基于非配对学习的图像去雨方法。所提出的方法根据线性叠加模型探索了简单且公认的层分离原理。它主要由半监督部分和知识提取部分组成我们已经开发了一个雨方向正则化,以帮助雨图估计和保持当地的一致性和清晰度的雨 条 纹 。 两 个 新 的 数 据 集 命 名 为 RainDirection 和Rain3000,以验证的有效性。定性和定量实验表明,该方法取得了可喜的成果,并表现出良好的对国家的最先进的方法对基准数据集和真实图像。鸣 谢 : 本 工 作 得 到 国 家 自 然 科 学 基 金 项 目 ( No.61976041 ) 、 国 家 重 点 & 研 发 计 划 ( No.2018AAA0100300)。仅L含量L内容+ L方向(3x3)L内容+ L方向(5x5)L内容+ L方向(7x7)Avg. PSNR4761引用[1] 陈怡蕾,徐秋婷。时空相关雨条纹的广义低秩出现模式。ICCV,第1968-1975页,2013年。一、二[2] Xueyang Fu , Jiabin Huang , Xinghao Ding , YinghaoLiao ,and John W Paisley. Clearing the Skies - A DeepNetwork Architecture for Single-Image Rain Removal.IEEE TIP,26(6):2944-2956,2017。一、二、五、六、七[3] Xueyang Fu,Jiabin Huang,Delu Zeng,Yue Huang,Xinghao Ding,and John W Paisley.通过深度细节网络从单幅图像中去除雨水。在CVPR中,第1715-1723页一、二、三、五、六、七[4] 史国,严子飞,张凯,左王梦,张磊。真实照片的卷积盲去噪。在CVPR中,第1712-1722页,2019年。四个[5] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。CVPR,第770-778页,2016年。三个[6] Kui Jiang,Zhongyuan Wang,Peng Yi,Chen Chen,Baojin Huang,Yimin Luo,Jiaoyi Ma,and Junjun Jiang.多尺度渐进融合网络在单幅图像去噪中的应用。在CVPR中,第8346-8355页,2020年。二个[7] Tai-Xiang Jiang,Ting-Zhu Huang,Xi-Le Zhao,Liang-Jian Deng,and Yao Wang. Fastderain:一种新的视频雨条纹去除方法,使用方向梯度先验。TIP,28(4):2089-2102,2019. 一、二[8] Diederik P Kingma和Jimmy Ba。亚当:一种随机优化方法。arXiv,2014. 五个[9] Christi anLedig , LucasTheis , FerencHusza´r , JoseCaballero , Andrew Cunningham , Alejandro Acosta ,Andrew Aitken,Alykhan Tejani,Johannes Totz,ZehanWang,and Wenzhe Shi.使用生成对抗网络实现照片真实的单图像超分辨率。arXiv,2016. 三个[10] 放大图片作者:Robby T.谭和张龙发 所有在一个坏天气去除使用建筑搜索。在CVPR,第3175-3185页,2020年。一个[11] Yu Li,Robby T Tan,Xiaojie Guo,Jiangbo Lu,andMichael S Brown.使用图层先验去除雨痕。在CVPR,第2736-2744页,2016年。一、二、五、六、七[12] Bee Lim , Sanghyun Son , Heewon Kim , S
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功