没有合适的资源?快使用搜索试试~ 我知道了~
7742基于反馈的鲁棒表示学习的单幅图像去重Chenghao Chen1和Hao LiXiang 1,21. 上海交通大学自动化系,上海,200240。2. 上海交通大学-巴黎高等理工学院{1049164518,haoli} @ sjtu.edu.cn摘要一个去覆盖网络可以被解释为一个条件生成器,旨在消除图像中的雨条纹。现有的图像去水印方法大多忽略了模型的不确定性所引起的模型误差,从而降低了嵌入质量。与现有的直接将低质量特征嵌入到模型中的图像去水印方法不同,我们用潜在的高质量特征代替低质量特征在自动控制领域中,闭环反馈的精神提出了一种新的在基准数据集和特定真实数据集上的实验表明,该方法优于最近的最先进的方法。代码可在:https://github.com/LI-Hao-SJTU/DerainRLNet1. 介绍室外视觉系统被广泛地使用,例如在智能车辆上和用于监视。他们有时会遭受雨水污染,这在实践中是不可取的。为了解决这一问题,人们对图像去噪进行了研究,目的是去除图像中的雨条纹。一些方法利用特定的先验知识来清洁图像。例如,[8]引入了暗通道;[7] 最大化不同目标图像区域之间的对比度然而,稀疏雨条纹不能很好地消除这些方法。一些基于物理特性的derain方法旨在通过区分性稀疏编码[1,20,32]、字典学习[14]和高斯混合模型[18]将雨水层与背景层分离。然而,特定的先验知识为基础的方法是容易受到复杂的,多样的,多变的情况。近年来,基于深度学习的图像去伪方法正在兴起。一个反编码网络可以被解释为一个条件生成器,并输出高质量的图像。上海交通大学青年人才基金资助项目(WF220426002)。* 通讯作者:李浩(Email:haoli@sjtu.edu.cn)[33]第三十三话[17]第十七话图1.图像脱轨。DID [33]倾向于under-derain,而RESCAN [17]倾向于删除干净图像的细节。如果条件嵌入特征可以表征目标图像内容,则可以生成[24]。大多数基于深度学习的去重方法专注于设计新颖的网络结构和引导特征,例如基于残差的DDN[6],基于密度的DID [33],基于递归结构的RES-CAN[17],这些都可以被视为嵌入增强的策略。此外,[24]将混合特征层嵌入到模型中,并将其解码为干净的图像。不考虑不确定性引起的模型误差的方法①的人。为了处理不确定性引起的模型误差,我们提出了一种鲁棒的表示学习与反馈的图像去训练。给定带有雨条纹的图像,目标是输出残差图。然后,如图2所示,可以通过从雨天图像中减去残差图来获得干净的图像。由于嵌入引导残差图的生成,根据[16]中的图像表示理论,我们试图找到基本嵌入特征与潜在映射空间中的最佳嵌入特征之间的函数设计了误差检测器和特征补偿器来处理模型误差,以逼近最优嵌入特征。本文的贡献有三个方面:1) 我们分析了训练过程中不确定性的影响以及通过卷积神经网络重新映射模型误差的可能性。77431我¨¨2) 基于闭环控制的思想,设计了误差检测器和特征补偿器,通过反馈机制对模型误差进行补偿。3) 与现有的直接将低质量特征嵌入到模型中的图像去水印方法不同,我们用潜在的高质量特征代替低质量特征。这为提高反跟踪性能提供了一个新的视角。2. 相关工作2.1. 单个图像去重单图像去噪是去噪的基础。与基于视频的方法分析相邻图像之间的差异不同,由于缺乏时间信息和不适定性,很难从单个图像中去除雨条纹。对于更具挑战性的单张图像去噪,基于特定优化方法的传统方法[10,27,3,32,14]往往会由于有限的映射变换而产生退化图像。最近,在CNN的帮助下,[6]首先关注用于去除雨条纹的高频降雨信息,并展示了负雨条纹映射网络的令人印象深刻的恢复性能受深度残差神经网络[13]的启发,[5]提出了一种也在高频域中训练的深度细节网络,以减少从输入到输出的中间变量的范围考虑到训练过程中的不确定性造成的细节损失。与结构改进不同,置信度指导方法[31]研究了残差图及其置信度的益处。然而,文献[31]简单地使用权系数作为置信度属性,没有考虑合适的置信度表示、误差分布复杂性和误差补偿。因此,这种方法往往会错过细节或引入光晕伪影。3. 基于反馈的表示学习3.1. 问题公式化在[15,4]中,作者解释了两种类型的不确定性即认知不确定性,也称为模型不确定性或系统不确定性,以及任意不确定性,也称为统计不确定性捕获观测中固有的噪声。变分推理可以将认知不确定性公式化,计算方差。最大后验或最大似然推理可以表述任意不确定性。为了简洁地描述我们的条件优化任务,我们对两个输出(条件输出和目标输出)进行建模,并假设每个输出满足高斯。ian分布最小化目标-t iv e,P=−logp y1,y2|fW(x),g iv en为:..好吧ΣP=−logp y1|f W1 x,f W2(x)−logp y2|f W2(x)为了处理暴雨条纹,Li等人分解了一个图像分为背景层和不同深度的几个雨层,并提出了一种循环CNN来去除∝ 1-y−fW1.2σ2 1¨x,f¨W2(x)(一)[2017 - 12 - 17 ][2017 - 12 -17 ][2017 - 12][2017 - 11 -17 ]]类似地,在[23]中,使用与分类单元相结合的上下文聚合网络来逐阶段地去除雨纹。2.2.表示学习如果条件嵌入特征能够描绘残差图的内容,则可以生成高质量残差图。Yang等人[30]将一幅降雨图像分解为背景层和雨痕层,并通过二值图定位雨痕。然而,在干净的图像上去除的细节和剩余的雨条纹都反映了简单的二进制地图引导的局限性与[30]不同的是,Zhang等人[33]考虑了雨密度来指导网络学习。与降雨密度标签仅代表图像级降雨特征的不足相比,Qian等人[22]提出使用注意力图来指导残差图生成。我们解释说,有效性主要来自雨纹特征的引入,该特征引导网络更多地关注雨纹区域。后来,Wei等人。[28]介绍了组合的多流卷积结构可以更好地描述上下文信息。尽管性能有所提高,但这些方法学习了图像级或像素级表示,+1<$y−fW2(x)<$2+logσ σ。2σ22 1 22其中p(·)表示概率函数,fWi(·)(i =1或2)是对应网络的函数,x是输入rain y图像,并且yi(i=1.或2)是该输出。 We表示分布p i 的 平 均 值|fWi(·)(i=1或2)为yi,方差为σ2。带下标的运算标签2被引入以生成嵌入残差图中描绘的内容是残图的真相。通过引入下标1的运算,利用嵌入残差图生成最终残差图,并从雨天图像中减去残差图得到干净图像由于训练过程中的不确定性,改变网络中的各个模块的效果是有限的。因此,我们通过寻找潜在映射空间中基本嵌入残差映射与最优嵌入残差映射之间的函数关系来提高去盲性能。反馈机制。在模型训练之后,一些具有大误差的嵌入通常会增加不确定性,从而降低去盲性能[15]。为了获得高质量的特征,闭环反馈的精神被纳入CNN。在自动控制系统中,闭环控制能够通过积分来7744图2.简要概述了拟议的鲁棒表示学习网络结构(RLNet)。图3.鲁棒表示学习网络结构(RLNet)。Conv和GN之后的ReLU函数块是隐藏的,以便保存。−x→表示信息流,其中inde xx,ΔE是误差补偿,ΔC是级联操作,×是pix el的乘法,放大以查看更好的小块。功能和反馈。 为了应用闭环控制的思想,我们将训练数据集视为离散输入。如图2所示,在生成嵌入残差图φ1(It)之后,我们引入误差检测器(ED),其中嵌入残差图φ1(It)和雨天图像It作为输入,以学习嵌入残差图φ1(It)和对应的残差图真值Rt之间的误差。得到的误差图用于补偿嵌入残差图以获得更好的特征表示。效果分析。错误检测器的作用体现在训练过程和结果中。对于训练过程,误差补偿对嵌入残差图的影响使得能够更准确地学习R-to-R模块(连接该嵌入残差图和最终输出残差图)。随着R-to-R模块的训练收敛,最终输出损失函数对O-to-R模块(连接输入的雨天图像和该嵌入残差图)的影响较小,使得O-to-R模块的输出损失函数对O-to-R模块的输出影响较小。to-R模块主要基于嵌入特征损失函数进行学习,并充当特征指导模块。解耦学习有助于获得吸引人的结果[36]。为此,可以通过误差补偿来减小由不确定性引起的模型误差。结果表明,修正后的嵌入残差图总是更有利于产生更好的去噪结果,如图1所示。五、3.2. 基于CNN的反馈过程错误分布复杂度。一般来说,由于误差分布的复杂性,训练过程中的不确定性导致的变量误差很难通过将误差倒数抽象为在零值以上和以下波动的点,图。4抽象地表明,取误差倒数的绝对值的操作可以降低误差倒数分布的复杂性此外,上限进一步简化了误差倒数分布的复杂性ItBCFBFAFeC(一)(It)0.25不(一)1不EC0.5(It)香港海关 err下来FC1ConvFC2起来Conv我F1CF2C不BCCCC下载(16)Conv中文(简体)FA1FB1FE1下载(32)Conv中文(简体)起来(It)EerrF1CF2C(一)CFA2FB2Fe21不转换FFRB3×3FFRB 3×3FFRB 3×3FFRB 3×3GN转换FFRB3×3FFRB3×3FFRB3×3FFRB3×3U-FFRBGNF1(一)0.5不F2(一)0.25不特征补偿器1(FC1)特征补偿器2(FC2)F1CF2CFA1CFA3FB1CFB3CCFE1Fe3FA2FB2Fe2我t≤0.5FA3FB3Fe3(a)主网FRt×C×(b)特征融合残差块(c)剩余块(d)特征补偿器中文(简Conv下载(8)中文(简体)Conv(4)转 换转 换转换ConvGNFFRB 3×3ConvRBRBRBRBRBL1损失Conv转换FFRB3×3FFRB 3×3FFRB3×3U-FFRBGN错误检测器UPFFRBUPFFRBReLU起来FFRB下来GNConvConv上FFRB 3×3上FFRB 5×5上FFRB 7×7FFRB下降上FFRB 3×3上FFRB 5×5上FFRB 7×7FFRB下降起来FFRB 3×3下来起来FFRB 5×5下来起来FFRB 7×7下来FFRB乙状FCReluFCGAPFFRB 3×3向下FFRB 5×5向下FFRB 7×7向下GNConvConvFFRB 3×3向下FFRB 5×5向下FFRB 7×7向下FFRB 3×3GNConvGNConvFFRB 5×5FFRB 7×7Conv7745不11对结果影响不大的小误差(对应于大误差倒数)被上限截断,这有利于重新映射误差图。错误检测器。具体地说,我们采用绝对误差的倒数乘以阈值参数θ1作为训练值来训练误差检测器,在错误检测器的末尾执行函数。在这种情况下,y0(一)y0(b)第(1)款误差检测器输出的上限是1,并且只要误差较大,误差检测器输出就更接近于0。对于嵌入残差映射和误差检测器,相应的优化问题是:minΔRt×0. 5−φ1(It)φ1,(2)φ1(·)θ1图4.从特征点(X轴)到误差倒数(Y轴)的抽象映射。(a)99个随机误差倒数在一定范围内的分布。(b)取绝对值和上限截断后随机误差倒数的分布对于网络卷积是相似的。因此,嵌入残差图φ1(It),(0≤φ1(It)≤1)可以描述相应误差的变化趋势注意,最小值(·)|Rt×0。5-φ1(一)|−(It×0. 5,φ1(It))φ1,(3)嵌入残差图值的误差比价值观我们将绝对误差映射乘以系数-其中It是雨天图像,It×0。5是It的0.5比例尺大小的雨天图像,Rt表示残差图真值,Rt×0. 5是Rt的0.5比例尺大小下的残差图真值,φ1(·)是训练成将It映射为残差图(×0. 其中θ1表示阈值参数,θ2(·)是误差检测器r的函数。 由于雨条的稀疏性,将残差图的大小减小一半,可以很好地代表原始残差图(见图5(d)(f)),并可以大大减少计算量。请注意,(·)的最后一部分是S形函数,小误差会被上限截断。此外,还应强调,|Rt×0. 5−φ1(It)|在优化问题中(3) 误差的绝对值取倒数的运算对于降低误差分布的复杂性是非常重要绝对误差图(在等式中命名为err。4)通过以下校正过程计算校正后的嵌入残差图:err=θ1−θ,(4)It×0. 5,φ1(It))1φ′(It)= φ1(It)− err(1 − 2φ1(It))。(五)其中1是全一矩阵,φ′(It)表示校正嵌入残差映射。一般来说,绝对误差(见等式4)不能很好地补偿功能。为此,我们介绍了一种合理使用绝对误差的方法。对于生成的干净图像,由于训练过程中涉及大雨区域,本应无雨的区域总是存在雨条纹具体而言,对于具有由雨和背景组成的局部相似输入的局部最优解,残差图的小像素值和大像素值连续地拟合网络,77462cient(1−2φ1(It)),表示绝对误差图的置信度图为此,转换后的误差图(见图1)。5(e))用于补偿嵌入残差图,如等式5(e)所示。五、从小到大的嵌入残差图值对应于从负到正的误差图值的概率。(a)(b)( c ) 第(1)款(d)(e)(f)图5. (a)下雨的画面。(b)RLNet的结果。(c)地面实况。(d)嵌入残差图(×0. 5)不被错误检测器重新校正。(e)误差图乘以10以便于可视化。(f) 最终生成的残差图。特征补偿器。同样,我们在特征补偿器中的目标是设计一个轻量级模块来获得高质量的嵌入残差图,以指导其他嵌入残差图。在这种情况下,需要由错误检测器校正的嵌入残差图变得更准确,以降低错误重映射的难度根据等式1,我们希望获得受不确定性影响较小的嵌入残差图 回顾CNN是复杂的非线性函数,我们采用基于CNN的模块(见图1)。3(d))来变换残差映射真值Rt以进行误差补偿,这可以如下学习它们中的每一个都在训练期间,这表明残差图的较小像素值更可能由网络生成,由于minφi(·),ωi(·)<$Rt×i+θ2ωi(Rt×i)Rt×i−φi(It)<$1(6)训练期间的大雨像素,特别是当输入的雨天图像的背景相似时,其中P=P(ωi(Rt×i))=λ×<$ωi(Rt×i)<$2,P(·)表示正则化子,λ是设置参数,Rt×i表示7747¨¨¨¨在i(i=0. 25或0。5)Rt的尺度大小。φi(·)是被训练为将It映射为i尺度大小的变换残差图的函数(如图1B所示) 6(d)(e)),ωi(·)表示变换函数, θ2是确 定 变 换 水 平 的变换参数。由于ωi(·)通过变换特征来约束误差,因此将减少由不确定性引起的细节损失。(a)(b)( c ) 第(1)款(d)(e)(f)图6. (a)下雨的画面。(b)RLNet的结果。(c)地面实况。(d)嵌入残差图(×0. 25)由特征补偿器输出。(e)嵌入残差图(×0.5)由特征补偿器输出。(f)最终生成的残差图。3.3. 网络架构特征融合残差块。我们采用组归一化[29]和SE块[17]进行更好的特征融合。如图3(b)所示,特征融合残差块(FFRB)被公式化为:FFRB(x)=SE(GN(Conv(Res(x),(7)其中X是输入信号,并且Res(·)表示包含组归一化(GN)的残差块。由于组归一化的性能优于批归一化,功能.属于其相应流的FFRB的核大小分别被设置为3、5和7,以找回丢失的细节。根据图3(a),多流架构可以描述为:M(x)= [U3×3(x),U5×5(x),U7×7(x)],(9)其中Ui×i(·)表示具有内核大小i的U-FFRB模块,并且[·]是级联操作。误差检测器和特征补偿器。对于特征补偿器,附加的特征变换模块被引入以自适应地变换残差图真值,并且如图3(d)所示构造简洁的编码器-解码器分支以学习变换后的残差图。对于不同流之间的相关性,学习的变换后的残差图被复制成三个副本,并分别嵌入到如图3(a)所示的具有跳跃连接的三个流中。 对于误差检测器,构造两个包含FFRB的简洁分支来学习残差图和误差图。注意,为生成错误映射而构造的分支之一包含编码器-解码器模块。误差图用于补偿相应的嵌入残差图(参见图3(a))。完善模块。细化模块的主要目标是精细地调整聚集在一起的特征图。我们使用空间金字塔池化[9]来进一步获得多尺度特征。比例因子分别设置为4、8、16和32。对于不同尺寸的特征图,采用逐点卷积缩减通道,采用最近邻插值的上采样操作恢复原始尺寸。如图3(a)所示,上下结构可以公式化为:当批量较小[29]时,组归一化用于减少内部协变量偏移。通过使用SE块[17],D(x)=[(Conv(x↓4))↑4,(Conv(x↓8))↑8,(Conv(x ↓16))↑16,(Conv(x↓32))↑32,x].(十)具有更多上下文信息的信道将被SE块提供的更大的权重系数增强。在数学上,SE块可以表示为:S(x)= Sigmoid(FC(Relu(FC(GAP(x)Σ x,(8)其中GAP(·)是全局平均池化,FC(·)是全连接层。多流残差架构。所提出的去训练网络建立在图像去训练中广泛采用的编码器-解码器架构上[24,31]。由编码器-解码器模块U-FFRB诱导的大的感受野能够获得上下文信息。由于雨条纹通常具有不同的形状,密度和规模,因此仅使用单流CNN [23,24,31]可能会丢失一些有用的信息。受多尺度卷积核[33,28]的有效性的启发,我们使用多流残差网络来提取多尺度集中的接下来的七个重块与组归一化[29]如图3(c)所示。3.4.损失函数均方误差(MSE)的平方罚值使大误差趋于平均化,并容忍小误差,这往往会产生过度平滑的图像。因此,使用平均对于纠正嵌入残差映射的错误检测器,我们最小化以下两个损失函数:Le1= ΔRt×0。5−φ1(It)φ1,(11)¨ ¨¨θ1¨Le2=−(It×0. 5,φ1(It)),(12)|Rt×0. 5− φ1(It)|1注意|Rt×0. 5−φ1(It)|由方程式 12是固定的。 F或7748特征补偿器、损失函数和正则化器77492[17]第26话:我的世界,我的世界,我的世界[17]Mst1 M2ndthM3 M4 M6 M7图7. 1专栏:雨天影像。2-12分类:Derained ImagesM1至M7(不包括M5)是消融研究的可视化公式如下:Σ集Deraining方法在合成数据集Rain200H上进行训练,但在真实图像上进行测试。Lc=i∈{0. 25,0。(五)<$Rt×i+θ2ωi(Rt×i)Rt×i−φi(It)<$1,(十三)Lp=<$ωi(Rt×i)<$2,(14)培训详情。在训练过程中,图像对(或其水平翻转)的大小调整为512×512进行训练。我们在Titan Xp GPU上实现了所有实验,并使用批量大小为1。第一阶段用于训练错误检测器在所提出的模型中,通过使用以下损失函数来细化最终输出残差图:Lf=<$Rt−f(It)<$1,(15)其中f ( ·)表示整个网络函数。 此外,出于生成derained图像以近似其地面实况图像的目标的动机,我们利用SSIM函数[37]作为生成的干净图像的附加评估度量其表述如下:LSSIM=−SSIM(Bt,It−f(It)),(16)其中Bt是干净图像真值。基于MAE的损失函数和SSIM损失函数的组合可以在保持全局结构的同时保持每像素的相似性。用于训练拟议RLNet的总体损失函数公式如下:Lall=Lf+LSSIM+λLp+λ1Le1+λ2Le2+λ3Lc,(17)其中λ、λ1、λ2和λ3是设置参数。4. 实验和结果4.1. 实验设置数据集。为了公平起见,我们使用与其他方法相同的基准数据集。Zhang等人[33]提供的不同雨级的DID数据包含12000张训练图像和1200张测试图像,Zhang等人[34]收集的Rain800包含700张训练图像和100张测试图像。Yang等人[30]合成了两个数据集,即Rain200H和Rain 100L。Rain200H(具有大雨条纹)由1800张训练图像和200张测试图像组成,Rain100L(具有小雨条纹)由200张训练图像和100张测试图像组成。此外,[23,26]提供了一些真实世界的下雨图像作为测试7750以及具有初始值λ = 0的特征补偿器。01,λ1=0。6,λ2=0,λ3=0。6,θ1=0,θ2=0。05:亚当用作优化器来训练模型,并在九十个纪元。 初始学习率为0.0002,当达到50、65、80个epoch时除以5。 当达到20个历元时,θ2设置为0.15。 当达到30个时期时,λ2被设置为6。通过使用在第一阶段中获得的预训练权重,初始值λ=0的微调训练过程。01,λ1=0。6,λ2=0,λ3=0。6,θ1=0。十五岁,θ2=0。初始学习率为0.0002并且每30个时期除以2总共240个纪元当达到30×K(K=1,2,3,4,5,6)个历元时,λ2为设置为0。当达到30×K+15(K=0、1、2、3、4、5)epoch,λ2被设置为0.6。质量比较。 峰值信噪比(PSNR)[11]和结构相似性指数(SSIM)[37]是用于评估不同方法在基准数据集上的性能。由于真实世界数据集中没有地面实况图像,因此采用NIQE[21]来评估不同方法在真实数据集上的泛化能力。4.2. 消融研究由于降雨200H的暴雨条纹分布不均匀,我们在其上进行了所有的烧蚀试验绝对值操作。利用非绝对误差映射直接与嵌入残差映射相加,构造了一个具有简单误差补偿的RLNet网络。由于作为可变目标的误差图难以拟合,因此即使我们将RLNet-的误差检测器的参数加倍,所得的27.70 dB也仅超过表2中的原始大小模型RLNet-0.13dB。阈值参数θ1。为了获得一个轻量级的误差检测器,采用绝对值运算,并引入阈值参数θ1,动态调整误差倒数的上限,以获得更好的误差图重映射。12. 我们保持一定的θ2=0。157751表1.四个基准数据集上的PSNR和SSIM比较红色和蓝色分别用于指示第一和第二等级表示该方法的一些度量是从[19]复制表示由于作者没有提供预训练权重,因此重新训练模型公平地说,UMRL [31]和MSPFN[12]在Rain100L测试集上进行评估时,使用Rain100L训练集进行了微调方法[第18话]DSC [20]DDN [6][第33话]Spanet [26]RESCAN [17]○UMRL [31]PReNet [23]MSPFN [12]RCDNet [25]RLNetDID-data [33]22.46/0.80121.44/0.78927.33/0.85327.93/0.86122.96/0.72029.12/0.88030.35/0.89130.40/0.89130.34/0.88129.81/0.85932.62/0.917Rain200H [30]14.26/0.42015.66/0.54420.12/0.63515.54/0.52013.27/0.41225.92/0.82323.01/0.74427.64/0.88424.30/0.74828.83/0.88628.87/0.895Rain100L [30]29.11/0.88124.16/0.86633.50/0.94423.79/0.77327.85/0.88136.58/0.97032.39/0.92136.28/0.97933.50/0.94838.60/0.98337.38/0.980[34]第三十四话20.46/0.72918.56/0.59921.16/0.73221.22/0.75021.22/0.68723.90/0.82823.24/0.80822.83/0.79025.52/0.83024.59/0.82127.95/0.870表2.阈值参数θ1的影响。方法RLNet-θ1=0。03θ1=0。04θ1=0。05θ1=0。06PSNR27.5728.4828.5728.8728.61SSIM0.8560.8770.8820.8950.881表3.错误检测器的效果。−E表示RLNet不包含错误检测器。±E表示RLNet在训练中使用错误检测器,但在训练后将其删除。RLNet是我们包含错误检测器的默认模型。方法[31]第三十一话RLNet−ERLNet±EUMRL+ ERLNetPSNR22.3127.5128.0524.4528.87SSIM0.7670.8510.8800.7910.895固定并改变θ1,为误差检测器找到更好的参数设置。表2列出了θ 1 = 0时四个RLNet模型的PSNR和SSIM值。03,0。04,0。05,0。06.当θ1=0. 03,0。04,0。06时,RLNet的性能略劣于θ1=0时的RLNet。05. 这可以解释为θ1太大会削弱误差检测器的作用,而θ1太小会增加误差映射重映射的难度。 然后我们设置更好的参数设置(θ1=0. 0 5)的建议RLNet。表3中的结果验证了误差的影响。培训过程中的导师和结果。此外,我们将嵌入残差映射和错误检测器应用于基础网络UMRL [31]。所得到的UMRL的E-R+ E实现了2.14 dB的性能改善。Trans fParraysθ2. 我们保持一定的θ1=0的情况。05fixed并更改θ2,以找到更好的特征补偿器参数设置表4列出了θ 2 = 0时四种RLNet模型的PSNR和SSIM值。05,0。1、0. 15,0。二、 RLNet,θ2=0。05,0。1、0. 2例患者-形式稍逊于θ2=0的RLNet。15. 由于θ2值太小削弱了特征补偿器的作用,θ2值太大增加了特征分布的复杂性,所以这些结果是合理的表4中。因此,我们设置θ2=0。15、关于网络网络架构。如表5所示),M1表示没有其他模块的单流U网(内核大小为3)。基础网络M1本身启用PSNR和SSIM分别达到26.91dB和0.830%。M2用用于M1的FFRB替换残差块。FFRB使PSNR增加0.22 dB,SSIM增加0.3%。此外,M3将M2的单流机制修改为多流机制,M3超过M2,0.29 dB和1.4%。当与M3相比时,具有未校正的嵌入残差图的M4几乎没有提高每比特率。M6将错误检测器添加到M4。通过比较M6和M4,可以看出,错误检测器本身可以表4. 转换参数θ2的影响。方法θ2=0。05θ2=0。1θ2=0。15θ2=0。2PSNR28.7428.8128.8728.85SSIM0.8890.8900.8950.893表5.不同模块的消融研究模型M1M2M3M4M5M6M7基础网络CCCCCCCFFRBCCCCCC多流CCCCC嵌入CCCC电子探测器CCCLe2CCLc+LpCPSNR26.9127.1327.4227.3927.4028.6928.87SSIM0.8300.8330.8470.8460.8470.8810.8951.29dB和3.4%。表5中的M5)是通过去除面向错误检测的损失函数Le2但保持所有其他条件不变而从M6获得的。实验结果表明,M5不再达到与M6相同的性能,但性能下降为M4。这意味着所提出的错误检测机制确实在提高模型性能方面发挥了重要作用此外,表3中的RLNet±E在训练中使用错误检测器,但在训练后将其删除,最终将与根本不使用错误检测的RLNet具有相同的模型大小,但前者优于后者。M7将Lc+Lp加到M6(即, θ2从0变为0.15)。 结果表明,经过特征补偿后的M7比M6分别提高了0.18dB和1.4%。在Rain200H上测试时,M4(无错误检测器)、M5(无Le2)和M6(有错误检测器)的LPIPS[35]值分别为0.053、0.052和0.041。 从图7中可以看出,误差检测器和特征补偿器进一步改善了去同步性能。4.3. 基准数据集上的实验本文将目前广泛采用的10种方法与我们的网络进行了比较DSC[20]和LP[18],以及八种最先进的基于深度学习的方法,即,DDN[6]、DID[33]、RESCAN[17]、SPAN[26],UMRL[31],PReNet[23],MSPFN[12]和RCD-Net[25].我们的方法和其他方法的结果在表1中给出。我们从四个基准数据集中选择了七个图像,以直观地验证定性性能。不同方法的区别。具体地说,在图10的第二列和第三列中可以看到,尽管可以通过SPAN et [26]和DID [33]去除小雨条纹,但是剩余的雨条纹具有丢失的图像去除。7752(a)雨天图像(b)Spanet [26] (c)RESCAN [17](d)DID [33](e)UMRL [31](f)MSPFN [12](g)Ours(h)Groundtruth图8.联合去同步和分段的示例采用DeepLabv3+[2]进行分割。放大以查看详细信息。(a)(b)多雨图像[33](c)MSPFN [12](d)RESCAN [17](e)UMRL [31](f)RCDNet [25](g)Ours图9.来自真实世界数据集的样本图像的视觉质量比较放大以查看详细信息。表6.不同方法的时间复杂度(以秒为单位)和性能测试图像的大小为512×512。RLNet−E表示RLNet不包含错误检测器。方法DSCUMRLRCDNet重新扫描MSPFNRLNet−ERLNetPSNR21.9028.7128.9927.3128.6630.1931.34平均值时间371.138.8313.0230.9521.0400.3330.373表7.NIQE在真实世界数据集上的比较,较小的分数表示更好的图像质量。方法斯潘内特做MSPFNUMRLRCDNet重新扫描RLNetNIQE↓5.1095.0685.5615.2574.7014.6314.498雨天图像 Spanet [26][第33话]重新扫描[17]UMRL [31]MSPFN [12]我们GroundTruth图10.来自基准数据集的样本图像的视觉质量比较。放大以查看详细信息。当雨下得很大时,尾巴通常会出现。通过比较图10的第四、第六和第七行,UMRL [31]、RESCAN [17]和MSPFN [12]难以检测不同区域中不均匀分布的雨条纹并 很 好 地 恢 复 干 净 的 图 像 细 节 。 我 们 还 通 过DeepLabv3+ [2]测试了derained图像,如图8所示。此外,我们随机选择了400个图像对(512×512)来评估不同方法的平均时间和性能,如表6所示。该错误检测器运行时间短,性能得到了显著提高。本文介绍了RESCAN 、 MSPFN 、 RCD-1 的 浮 点 数 ( 单 位 为×1011),并对它们的性能进行了比较Net、RLNet±E和RLNet分别为1.3、24.2、7.8、1.6和2.0。4.4. 真实雨区图像的实验使用裁剪为481×321的真实世界数据集[26],我们将建议的RLNet与其他方法进行了比较,如表所示。7 .第一次会议。此外,从图9中可以观察到RLNet,UMRL [31]和RESCAN [17]优于DID[33][34][35][36][37][38][39]真实的雨天画面具体而言,从图9中可以看出,DID[33]和MSPFN [12]的结果中或多或少存在可见的雨条纹,而RLNet,UMRL [31]而RESCAN [17]可以生成干净的图像。对于图9的第四、第五和第六列,UMRL [31]和RESCAN [17]的结果中存在缺失图像细节的模糊和光晕伪影,而RLNet的雨纹去除结果是高质量和清晰的。5. 结论我们已经提出了RLNet单图像derain- ing。基于不确定性条件下的CNN,提出了一种新的错误检测和特征补偿方法,用于潜在的高质量表示学习。提出了一种利用图像先验和校正项展开图像优化和误差优化的实验结果表明,该网络具有较好的鲁棒性,能够有效地检测出非均匀的雨条纹,并恢复出真实雨图像的细节信息。考虑到可移植性,所提出的错误检测和特征补偿方法可以有选择地并入基于学习的图像去盲网络。7753引用[1] D. Chen C.,马缨丹属Chen和L.康 基于稀疏编码的视觉深度引导彩色图像雨纹去除。IEEE Transactions onCircuits and Systems for Video Technology,24(8):1430[2] Liang-Chieh Chen,Yukun Zhu,George Papandreou,Florian Schroff,and Hartwig Adam.用于语义图像分割的具有粗糙可分离卷积的编码器-解码器。在ECCV,2018年。[3] Y. Chen和C. Hsu.时空相关雨带的广义低秩出现模式。IEEEInternational Conference on Computer Vision , 第1968- 1975页[4] R. Cipolla,Y.Gal,和A.肯德尔使用不确定性来权衡场景几何和语义损失的多任务学习在IEEE计算机视觉和模式识别会议上,第7482-7491页[5] X. Fu,J. Huang,X.丁氏Y. Liao,and J. Paisley. Clear-ing the skies:一个用于单图像除雨的深度网络架构。IEEE Transactions on Image Processing,26(6):2944[6] X. Fu , J.Huang , 黄 氏 拟 谷 盗 D.Zeng , Y.Huang ,X.Ding和J.佩斯利。通过深度细节网络从单个图像中去除雨水在IEEE计算机视觉和模式识别会议上,第1715-1723页[7] N. Hautiere,J. Tarel,and D.奥伯特通过对比度恢复实现无雾车载视觉系统。在IEEE计算机视觉和模式识别会议上,第1-8页[8] K. 他,J。太阳和X。唐基于暗通道先验的单幅图像去雾 IEEE Transactions on Pattern Analysis and MachineIntelligence,33(12):2341[9] K. 他,X。Zhang,S.Ren和J.太阳用于视觉识别的深度卷积网络中的空间金字塔IEEE Transactions on PatternAnalysis and Machine Intelligence,37(9):1904[10] D.黄湖,澳-地康,Y。F. Wang和C.是林书基于自学习的图 像分 解及其 在单 幅图像 去噪 中的应 用。 IEEETransactions on Multimedia,16(1):83[11] Q. Huynh-Thu和M.甘巴里图像/视频质量评估中的有效范围。Electronics Letters,44(13):800[12] K.姜,Z. Wang,Y.彭角,澳-地陈湾,澳-地Huang,Y.黄氏Y. Luo,J.Ma和J.Jiang。多尺度渐进式融合网络用于单幅图像去噪。在IEEE计算机视觉和模式识别会议上,第8346-8355页[13] 何克,张X,任S,孙杰。用于图像识别的深度残差学习IEEE计算机视觉与模式识别会议,2016年6月。[14] L.康角,澳-地Lin和Y. Fu.通过图像分解自动去除基于单 图 像 的 雨 条 纹 。 IEEE Trans-actions on ImageProcessing,21(4):1742[15] A. Kendall和Y.加在计算机视觉的基础深度学习中,我们需要哪些不确定性?神经信息处理系统进展,第5574-5584页。2017.[16] K. Lenc和A.维达尔迪通过测量它们的等方差和等价性来理解图像表示。在IEEE计算机视觉和模式识别会议上,第991-999页[17] X. Li,J.Wu,Z.Lin,H.Liu和H.扎。循环挤压和激励上下文聚合网络用于单个图像去训练。在欧洲计算机视觉会议上,第262-277页[18] Y. 利河,巴西-地T. Tan,X.Guo,J.Lu和M。S. 布朗使用图层先验去除雨痕在IEEE计算机视觉和模式识别会议上,第2736-2744页[19] X.梁湾,澳-地Qiu,Z.苏C. Gao、X. Shi和R.Wang. Rainwiper:一种增量随机布线网络,用于单个图像去重。计算机图形论
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功