没有合适的资源?快使用搜索试试~ 我知道了~
1基于深度多模型融合的单幅图像去雾ZijunDeng1,*,LeiZhu3,*,Xiao weiHu2,Chi-WingFu2,XuemiaoXu1,5,6,†,Qing Zhang7,Jing Qin8,and Pheng-Ann Heng2,41华南理工大学2香港中文大学3中国科学院深圳先进技术研究院广东省计算机视觉与虚拟现实技术重点实验室4中国科学院深圳先进技术研究院中国科学院人机智能-协同系统重点实验室5亚热带建筑科学6计算智能与网络空间信息7中山大学8香港理工大学摘要本文提出了一种深度多模型融合网络,将多个模型集中到不同的层次,提高了单图像去雾的性能。 为此,我们首先制定注意力特征整合模块,以最大化不同CNN层处的卷积神经网络(CNN)特征的整合,并生成注意力多级整合特征(AMLIF)。然后,从AMLIF中,我们进一步预测大气散射模型以及四个雾层分离模型的无雾结果,然后将结果融合在一起以产生最终的无雾图像。为了评估我们的方法的有效性,我们将我们的网络与两个广泛使用的去雾基准数据集以及两组真实世界的模糊图像上的几种最先进的方法进行了比较。实验结果表明,我们的方法在国家的最先进的明确的定量和定性的改进。1. 介绍在有雾的条件下,大气中的悬浮颗粒吸收和散射光,从而扭曲了光的含量,降低了随后的视觉分析的准确性。为了克服这些问题,已经提出了许多方法[8,11,23,28,36,35]来从单个模糊输入恢复基础的无模糊图像。由雾度引起的图像退化通常用于-邓子君和朱磊是本书的第一作者†通讯作者(xuemx@scut.edu.cn)(a) 输入图像(b)我们的结果(c)DCPDN [36](CVPR '18)(d)PDNet [ 35 ](ECCV'18)图1:在重霾下的真实世界照片上的霾去除。(b)-(d)中的结果通过使用NTIRE去雾挑战的训练集训练这些网络来由大气散射(AS)模型模拟[36,35]:I(p)=J(p)×T(p)+A(p)×(1−T(p)),(1)其中I是观察到的模糊图像;p是像素位置;J是要恢复的底层场景辐射图像;T是透射图,其表示影响到达相机传感器的光的分数的距离相关因子;A是全局大气光,指示环境光强度。早期的去雾方法采用基于干净图像的统计数据的手工先验来估计透射图T[5,9,30,2],例如局部最大对比度[31],暗通道先验[13],颜色线先验[10]和颜色衰减先验[44],然后使用大气散射24532454模型来恢复基本的无雾结果。虽然提高了整体场景可见性,但是使用手工制作的先验往往会引入不期望的伪影,诸如颜色。 或者是扭曲[19]。最近,基于学习的方法,例如基于卷积神经网络(CNN)的框架,通过从标记的数据集学习透射图[6,27,19],或者通过直接学习从输入模糊图像到无模糊对应物的映射[23,28,36,35],已经显示出显著的改进。然而,大多数现有的去雾网络仅基于与雾相关的大气散射模型(等式(1))。(1))学习透射图或无雾图像,因此倾向于过度去雾或去雾不足的输入图像;参见图1(c)-(d)。类似于其他图像恢复任务(例如,图像去噪[33,12,38,41]、图像平滑[42]和图像去噪[43,37,16]),我们可以通过将输入模糊图像考虑为多层的组合来将图像去模糊建模为层分离问题。图像去雾将输入雾度图像(I)分离成无雾度层(J)和另一层(H),其包含雾度信息。信息:I= Φ(J,H),(2)其中,Φ表示复杂雾化过程的层分离函数,我们探索了函数Φ的四种特定层分解;详见第3节。在这项工作中,我们开发了一个端到端的深度多模型融合网络,将从大气散射模型和雾层分离模型恢复的去雾结果集成到一个单一的网络架构中,以提高去雾性能。为此,我们首先利用CNN生成具有不同尺度的特征图,然后通过整合来自不同CNN层的特征来生成注意力多层次整合特征(AM-LIF)图。基于AMLIF,我们得到了一个大气散射模型的去雾结果和四个具有不同降雾层结构的层间分离模型的去雾结果。最后,我们开发了一个注意力融合模块,将这些结果整合到我们的最终结果中。总的来说,我们总结这项工作的主要贡献为:• 首先,我们通过融合大气散射模型和雾层分离模型来开发端到端深度神经网络,以提高除雾性能。• 其次,我们开发了基于注意力机制的模块来整合来自不同卷积层的特征。然后基于大气散射模型和几种特定的层分离公式,从综合特征中预测去雾结果,以充分利用不同雾模型之间的互补信息。• 第三,我们评估了两个广泛使用的去雾基准数据集和各种现实世界的模糊的图像,通过比较它与国家的最先进的dehaz- ing方法。实验结果表明,在所有基准测试和真实雾天图像上,去雾网络的去雾效果优于其他方法。总体而言,该方法在单图像去雾方面具有新的先进性能。2. 相关工作手工制作的先验方法研究来自模糊和干净图像的图像先验,用于估计用于单图像去模糊的透射图,诸如He等人中的暗通道先验(DCP)。[13],Fattal [ 10 ]中的彩色线,以及Berman等人的Haze-line。[4]参见Zhang etal.[36]详情这些方法倾向于引入不期望的伪像(例如,颜色失真)在结果中[28],因为它们来自人类观察的手工制作的先验并不总是保持在不同的真实世界图像中。通过见证卷积神经网络(CNN)在许多计算机视觉任务中的成功,已经开发了用于单图像去雾的基于深度学习的方法[26,14,7]。(1))用于恢复干净的图像。Ren等人[27]首先设计了一个粗尺度网络, 预测一个整体的传输图,然后用一个精细的网络来细化传输图。Cai 等 人 。 [6] 对 配 备 基 于 BReLU 的 特 征 提 取 层 的DehazeNet进行了分解,用于传输映射预测。因此,传输图估计的不准确性倾向于降低去雾结果的质量。最近,端到端CNN已经被设计为从模糊输入中直接学习干净图像以进行去模糊。Yang等人。[35]将雾度成像模型约束和图像先验学习集成到单个去雾网络中,用于清洁图像预测。Li等人。[23]将VGG [29]特征和L1正则化梯度先验引入到条件生成对抗网络(cGAN)[17]中,用于干净图像估计。Ren等人。[28]设计了一个编码器-解码器网络(GFN)来从三个派生输入中学习置信度映射,并将它们融合到最终的去雾结果中。然而,这些深层模型所模拟的是一个不相交的优化过程,因此无法捕捉到透射图、大气光和去雾效果之间的关系,影响了整体去雾效果。与他们不同的是,Zhang et al.[36]提出了一个单一的去雾网络(DCPDN),以联合学习传输地图,大气光和无雾图像,以捕捉它们之间的关系。尽管DCPDN [ 36 ]提高了去雾性能,但由于在设计CNN时仅考虑了大气散射模型,因此DCPDN [ 36 ]仍然存在去雾不足或去雾过度的输入模糊图像;参见图1(c)。为了进一步提高清晰图像预测,我们将去雾过程视为层分离模型2455监督AFIMሺ ͳሻଵ监督ଵAFIMଵଵ监督AFIMଶଶଶ监督ଷ监督ସ监督ଶconcatAFIMଷସMLF特征提取1 1转换AFIMସ ሺ ͳସሻ关注机制33conv33conv11conv分裂softmax图2:开发的DM2 F-Net的概述:(i)它通过从不同的CNN层生成多层特征(MLF)开始;(2)我们开发了一个注意力特征集成模块(AFIM)(见图3)来细化MLF,然后通过开发基于散射模型的模块(见图5)从细化的特征预测去雾结果;(3)我们制定了四个特定的雾层(4)我们融合这些去雾结果以通过学习加权图(W0、W1、W2、W3和W4)产生我们的最终结果。请注意,五个AFIM中的卷积参数是不共享的。MLF3× 3转换3× 3转换1 1转换&softmax注意力地图(地图)总和3× 3转换3× 3转换1 1转换AMLIF图3:关于图2的注意特征整合模块(AFIM)的示意图。(see当量(2)),并通过充分融合大气散射模型和层分离的去雾结果,开发有效的端到端去雾网络。3. 我们的方法图2显示了我们的网络的架构(表示-edas DM2 F-Net),它融合了大气散射(AS)和层间分离模型用于除雾。给定一幅模糊图像,我们开发了注意特征整合模块(AFIM;参见第3.1节),以通过学习注意力图来利用不同CNN特征之间的互补信息来产生特征图(表示为AMLIF)。然后,我们预测的AS模型为基础的结果(记为J0)从AMLIF的联合学习。此外,我们还计算了另外四个AM-LIF的四层分离公式的四个去雾结果(记为J1,J2,J3和J4)最后,我们学习注意力地图来对所有这些去雾结果进行加权,以生成最终结果;参见第3.2节。3.1. 注意特征集成模块请注意,卷积神经网络(CNN)中的浅层特征负责发现输入模糊图像的精细细节信息,但缺乏语义信息。因此,根据这些特征的去雾预测可以捕获大部分背景细节,但是许多非雾度细节也被雾度破坏。另一方面,深CNN层的特征负责捕获语义信息以去除输入图像中的大部分模糊,但由于它们的接收场比浅层相对较大,因此不知何故缺乏非模糊背景细节。因此,我们设计了一个注意力 特 征 集 成 模 块 ( Attentional Feature IntegrationModule,简称AITF),通过自动学习注意力图来对来自不同CNN层的级联特征进行加权,从而利用不同CNN层之间的互补性来进行干净图像预测;参见图3,了解APDL体系结构。为 此 , 将 来自 不 同 CNN 层 的 级 联 特征 ( 表 示 为MLF)作为输入,AFIM首先使用三个卷积层和一个softmax函数来产生注意力权重Ωx(见图3):x=Softmax(σ(Θ <$ MLF+b)),(3)其中Θ和b是MLF上的三个卷积层的权重和偏置;三个卷积核大小为3×3、3×3和1×1; σ是ReLU活动。vation函数[18]。那么,注意力映射Ωx是多-以逐层方式施加到级联特征(MLF),然后将相乘的特征跨信道方向加在一起。在此之后,我们采用剩余块[14]来产生输出注意力级联2456(b)ଶ33conv33convସ ሺ ͳସሻ33conv33convଶଶ33conv33convଵଵ(a)ଵ33conv33convଷଶସAMLIF的优势简体中文关于AMLIF简体中文(c)一般(d)一般图4:关于如何使用四层分解制剂产生去雾结果(表示为J1、J2、J3和J4)的示意图(参见图4(a)-(d))。注意,R1、R2、R3和R4的通道为3。联营金融&公司乙状其中p表示像素位置;I是输入模糊图像;并且T0是估计的传输映射。3× 3转换AMLIF3× 3转换&乙状ሺ ͳ ሻ3.2.2分层模型除了大气散射模型(见方程。1)、图5:关于如何使用AS模型产生去雾结果(表示为Jo)我们的AFIM的多层次特征(AMLIF)。在残差块中,我们使用两个3 × 3和一个1 × 1卷积层来产生残差分量;请参见图3。3.2. 除雾预测本节展示了如何预测大气散射模型(第3.2.1节)和层分离模型(第3.2.2节)的去雾结果,以及如何将它们合并为最终结果(第3.2.3节)。3.2.1基于大气散射模型的为了预测大气散射(AS)模型的去雾结果,我们开发了一个APDL来生成AMLIF(见第3.1节),然后通过将AS模型嵌入到网络中来联合估计透射图、大气光和AMLIF的去雾结果。图5示出详细的架构。具体来说,我们使用两个3 ×3卷积层和AMLIF上的sigmoid函数用于计算透射图。然后,我们在AMLIF上使用全局平均池化[15],然后是两个完全连接的层和S形函数来估计大气光。之后,我们通过在等式中重新公式化AS模型来计算去雾结果(表示为J0)(1)此说:I(p)−A0×(1−T0(p))我们将来自层分离模型的去雾结果进行积分。ELS一起用于改进去雾性能,因为这些模型可以学习散射模型的补充去雾信息。请注意,图像模糊处理相当复杂,并且单个图像去模糊任务中的精确层分解是重要的。在这方面,我们经验性地探索了四种特定的层公式(对层组成进行常见的数学运算)作为分解基础,并使用注意力机制将这四种基础线性组合,以分别获得去雾结果;图4显示了如何使用四层分解基础预测去雾结果(表示为J1、J2、J3和J4)。对于特定层分解,我们应用开 发的AFIM 生成 AMLIF ,然 后使用 分解公 式从AMLIF获得去雾结果。具体来说,我们首先考虑hazing层分解模型的层倍增机制:J1(p)=I(p)×R1(p),(5)其中p是像素位置;I是模糊输入;并且J1和R1表示两个层,其使用等式I从I分解。(五)、图4(a)示出了基于等式1预测去雾结果(表示为J1)的架构。(5)以AMLIF和I为输入。具体地说,我们在AMLIF上应用两个3×3卷积层来预测R1,然后通过使用等式计算去雾结果J1。(5)利用估计的R1和输入I.J0(p)=、(四)T0(p)其次,我们将去雾层分离建模为2457PSNR=32.79 PSNR=30.82 PSNR=29.97 PSNR=30.19 PSNR=29.72 PSNR=37.33SSIM = 0.9138 SSIM = 0.9452 SSIM = 0.9558 SSIM = 0.9590 SSIM = 0.9429 SSIM = 0.9789(b)J0(c)J1(d)J2(e)J3(f)J4(g)我们的结果(a)输入图像(h)W0(i)W1(j)W2(k)W3(l)W4(m)地面实况图6:大气散射(AS)模型(J0)和四层分离模型(J1-J4)预测的去雾结果的可视化,以及在五个去雾模型中学习的相应注意力权重:W0,W1,W2,W3和W4。(a)输入模糊图像;(b)-(f):J0至J4;(g)我们的结果;(h)-(l):W0至W4;以及(m)无模糊地面实况。经典的线性组合与加法运算:J2(p)=I(p)+R2(p),(6)其中,J2和R2表示在执行等式中的层分解之后的两个层。(六)、与方程中的线性组合公式(6)、我们估计了去雾首先利用AMLIF上的两个3×3卷积层计算R2,然后将R2添加到输入I中,如图4(b)所示。第三个公式是探索用于将模糊输入I分离成J3和R3的取幂运算:J3(p) =(I(p))R3(p),(7)图 4 ( c ) 示 出 了 如 何 获 得 等 式 3 的 去 雾 结 果 J3 。(七)、具体来说,我们在AMLIF上使用两个3×3卷积层来预测R3,然后根据等式计算J3(七)、我们用于图像去雾的最后一层分离由下式给出:J4(p)=log(1 +I(p)×R4(p)), (8)其中J4和R4是等式的两个分解层(八)、我们在AMLIF上使用两个3×3卷积层来估计R4,然后使用Eq.(8)计算J4;见图4(d)。3.2.3最终结果在获得不同欺骗模型的结果后,我们利用注意力机制[21,40]来整合这些预测,以获得我们网络的最终结果为了做到这一点,通过执行1 × 1卷积层、两个3×3卷积层、1×1卷积层和softmax层,从多层集成特征(AMIF)中为不同预测生成五个注意力图;参见图2。 然后,最终结果(表示为Jf)计算为:其中,W0、W1、W2、W3和W4分别是去雾结果J0、J1、J2、J3和J4的学习注意力图。3.3. 更多的分析不同模型的结果可视化。图6(b)-(f)展示了大气散射(AS)模型(J0)和四层分离模型(J1至J4)的去雾结果。可以看出,AS模型(J0)可以比其他层分离模型(J1至J4)更好地恢复输入模糊图像,这也通过其更高的PSNR/SSIM值得到验证更重要的是,在去雾时,AS模型倾向于对部分非雾背景细节进行过平滑处理,而这些细节分别保留在层分离模型的去雾结果中,这说明我们的层分离模型可以学习AS模型的补充去雾信息注意力地图可视化。图6(h)-(i)可视化了五个去雾模型的学习注意力权重(W0、 W1、 W2、 W3和W4)。显然,对于每个去雾模型,学习的注意力图在其模糊区域上具有较小的权重,同时自动突出显示这些区域,这些区域通过该图像去雾模型被更好地恢复。此外,由于五种去雾模式的去雾结果之间存在互补信息,因此注意力图(W0、W1、W2、W3和W4)可以自动选择所有五种去雾结果中最好的一个,以通过突出显示输入图像的不同区域来预测我们方法的最终结果,如W0、W1、W2、W3和W4所示。因此,我们的方法通过在我们的方法中使用这些学习到的注意力来集成这五个去雾模型,从而获得更好的图像去雾性能,如图6(g)所示(与图6(m)中的无雾地面实况为什么只有四个模型我 们 的 层 分 离 的主要目标-Jf=W0×J0+W1×J1+W2×J2+W3×J3+W4×J4+W5×J5,(九)定量模型是将输入模糊图像分成两个层(参见等式(1))。2):一个是无雾背景细节-2458PSNR/SSIM= 15.911/0.665 20.221/0.737 15.879/0.721 23.964/0.815 24.377/0.820 25.529/0.834λ/1(a)输入图像(b)NLD [4](c) AOD-Net [18](d) (e)GFN [27](f) DCPDN [35](g) 我们的方法(h)地面实况图7:在O-HAZE中通过各种方法对真实世界照片进行雾度去除的结果[1]。请放大以便看得更清楚而另一层仅包含雾度信息。我们的四层分离模型(见图2)包含两层组合的常见数学运算,它们是J3和J4中的对数。此外,为了更好地-在有雾的情况下模拟数学公式,我们使用注意力机制来产生权重图,用于在最终的无雾预测中线性组合所有这四个模型,并且当最小化我们的网络的训练损失时,这些权重被优化,这是从训练集的许多有雾和无雾图像对计算的。我们在真实世界和合成基准测试中的卓越性能证明了我们的四层分离模型对图像去雾的有效性。3.4. 培训战略损失函数如图2所示,我们的网络对来自大气散射模型和层分离模型的去雾结果(J0,J1,J2,J3和J4)以及我们的最终结果(Jf)添加了无雾监督。当基于散射模型预测去雾结果时,我们还在估计的透射图上添加透射图监督并且在计算的大气光上添加大气光总损耗Θ为:Θ = α0J0−GH1+α1||J1−GH||1+α2||J2−GH||1+α3||J3−GH||1+ α4||J4−GH||1+ α4||Jf−GH||1+α6||T0−GT||1+ α7||A0−GA||1、(十)其中GA、GT和GH表示大气光、透射图和单图像去雾的地面实况; 表示用于计算预测与对应的地面实况之间的差异的基于L1范数的损失α0、α1、α2、α3、α4、α5、α6和α7为权重每一个L1的损失。我们根据经验将α6设置为10,而其他在训练和测试阶段,权重都固定为1训练参数。我们通过ImageNet上预先训练的ResNeXt [34]初始化基本CNN的参数,和其他参数的高斯随机噪声。我们从整个训练图像中随机裁剪了256×256个图像块,并采用Adam优化器和迭代器。20,000人参加培训。学习率由poly策略[24]调整,初始学习率为0.0002,幂为0.9。 我们使用16和4小时的小批量来 训练 我们的 模型 ,使 用基于 PyTorch 库的 单个NVIDIA GTX 1080Ti GPU。处理640× 480的图像需要大约0.032秒。4. 实验结果我们将我们的去雾网络与最先进的方法进行比较,包括DCP [13],NLD [4],MSCNN [27],DehazeNet [6] , AOD-Net [19] , GFN [28] , DCPDN[36],[35]《易经》。此外,我们采用三种广泛使用的指标进行定量比较,它们是峰值信噪比(PSNR)[41]、结构相似性指数(SSIM)[32]和CIEDE2000 [39]。我们的代码,训练模型和基准数据集上的去雾结果可在https://github上公开获取。com/zijundeng/DM2F-Net.4.1. 真实世界图像NTIRE 2018户外除雾挑战赛(O-HAZE)。根据O-HAZE挑战的最终排名[1],前5名的PSNR/SSIM结果为24.598/0.777(团队:BJ-TU),24.232/0.687(团队:KAIST-VICLAB),24.029/0.775(Team:猩红骑士)、23.877/0.775(队伍:FKS)和23.207/0.770(团队:Ranjanisi)。我们使用O-HAZE数据集[3]的训练数据来训练我们的网络并对其测试数据进行测试,表1报告了我们的网络和最新技术的PSNR和SSIM 结 果 。 显 然 , 我 们 的 方 法 ( PNSR/SSIM :25.188/0.777)在PSNR和SSIM方面的表现优于前5名团队,并在很大程度上比较了去雾方法。它表明,我们的方法可以更好地恢复室外真实世界的朦胧场景,这也通过图7中的视觉比较得到了验证。2459(a)输入雾度图像(b)全国民主联盟[4](c)DehazeNet [6](d)AOD-Net[19](e)PDNet [35](f)GFN [28](g)DCPDN [36](h)我们的方法CVPRTIPECCVCVPRCVPR图8:使用各种方法(b)-(h)对真实世界模糊照片进行去雾请放大以便看得更清楚表1:真实世界合成去雾数据集的比较。O-Haze [3]HAZERD [39]第三十九届测试A-DCPDN [36]SOTS [28]方法PSNRSSIMCIEDE2000SSIMPSNRSSIMPSNRSSIMDM2 F-Net(我们的)25.1880.77712.92850.65635.610.982934.290.9844DCPDN [36]22.7770.74214.62510.54629.270.953328.130.9592GFN [28]22.5780.73716.36190.51125.590.939822.300.8800PDNet [35]17.4030.65816.93600.49521.980.908322.830.9210AOD-Net [19]19.5860.67916.67430.50020.460.837920.860.8788DehazeNet [6]16.2070.66617.12610.47919.920.857521.140.8500[27]第二十七话19.0680.76513.79520.62417.980.820317.570.8100全国民主联盟[4]16.6100.75016.40100.57716.950.795917.270.7500Li等人[22日]14.430.58315.910.62315.340.78117.050.794Meng等人[25日]23.920.72516.850.57824.330.90423.490.936DCP [13]16.5860.73517.90140.53413.910.864216.620.8179危险。HAZERD数据集[39]只有15个具有更真实雾度的雾度户外图像用于测试。因此,我们在合成RE-SIDE数据集[20,28]上训练我们的网络和竞争对手,并在HAZERD数据集上进行测试。表1给出了定量结果,与其他竞争者相比,我们的网络具有更大的SSIM和更小的CIEDE2000,表明我们的方法对HAZERD的真实图像具有更好的去雾性能。收集真实朦胧的照片。此外,图8显示了我们收集的真实世界朦胧照片的视觉比较。如图8所示,NLD遭受颜色 失真 , 而DehazeNet 、 A0 D-Net 、PDNet 、 GFN 和DCPDN再次倾向于留下雾度或使一些区域变暗。S.首先,我们的方法在有效地去除雾度同时产生真实的颜色方面预测了更好的去雾结果,如图8的这些放大视图所示。4.2. 合成图像我们在两个综合基准上评估我们的网络:“TestA-DCPDN”[ 36 ]和“SOTS”[ 20,28 ],并使用相同的训练策略报告我们的结果。 [36、28]。 为了进行公平的比较,我们得到了以下结果:通过获得它们发布的代码并使用两个去雾基准的训练集重新训练深度网络来比较方法。表1还报告了“TestA-DCPDN” 和 “SOTS” 上 不 同去 雾 方 法的 平 均 P-SNR 和SSIM值。基于深度学习的去噪竞争对手的PNSR和SSIM值大于手工制作的基于先验的方法(DCP NLD)。此外,在所有去雾网络中,我们的方法在TestA-DCPDN[ 36 ]和SOTS [ 20,28 ]上具有最大的PSNR和SSIM值,这表明我们的方法在恢复两个去雾数据集的干净图像方面具有优越的性能。图9呈现了两个基准的合成图像上的视觉比较。NLD高估了雾层厚度,从而导致颜色失真。尽管比NLD改进了去雾性能,但是这些去雾网络(例如,AOD-Net、GFN、PDNet和DCPDN)倾向于在结果中留下一些剩余的模糊或使若干区域变暗;参见图9(c)-(f)。相比之下,我们的去雾结果(图9(g))最接近无雾地面实况图像(参见图9(h))。总体而言,我们的网络去雾结果具有更高的视觉质量和更少的色彩2460PSNR / SSIM = 14.08 / 0.410314.42 / 0.694918.86 / 0.810819.93 / 0.811623.73 / 0.941135.69/0.9788∞/1(a)输入图像(b)NLD [4](c) AOD-Net [19](d) PDNet [35](e) GFN [28](f) DCPDN [36](g)我们的方法(h)地面实况图9:合成模糊照片上的模糊去除。 请放大以便看得更清楚.表2:消融研究中的平均PSNR和SSIM值。测试A-DCPDN [36]SOTS [28]方法PSNRSSIMPSNRSSIM基本+AS34.360.967932.420.9717碱性+J130.570.955828.930.9486碱性+J231.700.965630.920.9654碱性+J332.300.971432.640.9758碱性+J429.980.951028.850.9446我们的,不含附件34.710.981033.930.9823DM2 F-Net(我们的)35.610.982934.290.9844输入雾度图像我们的方法图10:失败案例的示例。失真,这也通过图9中我们的方法的最大PSNR和SSIM值来验证。4.3. 消融研究我们进行消融研究实验,以验证我们的网络的主要组成部分。在这里,我们考虑了六个基线网络,并在TestA-DCPDN [36]和SOTS [20,28]上报告了它们的结果。第一条基线(记为“基本+AS”)仅使用我们网络的大气散射模型(见图2)进行去雾处理;然后,我们分别仅使用J1(“基本+J1“)、J2(“基本+J2“)、J3(“基本+J3“)和J4(“基本+J4“)作为我们网络的结果来构建另外四条基线。最后一个基线(表示为“我们的w/oAesthetic”)是通过从我们的网络中删除注意特征整合模块(Aesthetic)来构建的(图2),以验证Aesthetic。表2将我们的方法与六个基线进行了比较。最后,与“basic +AS”方法相比,该方法具有更好的去雾效果S. 同样,我们的方法具有优越的PSNR和SSIM结果表明,与所有四种特定层分解(“基本+ J 1”,“基本+ J 2”,“基本+ J 3”和“基本+ J 4”)相比最后,我们的方法具有比“我们的w/o April”更大的PSNR和SSIM值,这表明利用April来整合不同CNN层的特征以进行干净图像预测也可以帮助我们的方法获得超级或去雾结果。故障案例。像其他作品一样(例如,[23]),我们的方法可能不适用于夜间朦胧图像;参见图10中所示的示例输入和结果。 因为存在-训练数据集不包含类似的模糊条件。这可以通过收集更多的数据样本来缓解。5. 结论本文提出了一种多模型融合网络来增强单幅图像的去雾效果。我们的核心思想是设计一个新的深度多模式融合框架,允许我们同时探索多个去雾模型(包括一个大气散射(AS)模型和四个去雾模型),以结合它们的优势,最大限度地提高方法的去雾能力。相反,现有的去雾方法主要检查AS模型,并且在各种现实世界的复杂雾情况下往往失败。实验结果表明,我们的方法优于国家的最先进的性能。致谢。本研究获香港中文大学研究委员会直接拨款资助(项目编号:4055103)、香港特别行政区研究资助局(编号:2009 - 010)、香港中文大学研究委员会资助(项目编号:2009 - 010)及香港中文大学研究委员会资助(项目编号:2009 - 010)资助。广州市科技计划项目(编号:201704020141)、深圳市科学与技术委员会(编号:14201717)、深圳市科学与技术委员会(编号 : 201704020141 )技 术 计 划 ( 项 目 编 号 :JCYJ20170413162617606),国家自然科学基金(批准号:61772206,U1611461,61472145),广 东 省 科 技 & 发 展 重 点 项 目 ( 批 准 号 :2018B010107003)、广东省高层次人才计划(批准号:2016TQ03X319)、广东省国家自然科学基金会(批准号:2017A030311027)和广州市工业技术重点项目(批准号:201802010027)。2461引用[1] Cosmin Ancuti,Codruta O.安库蒂和拉杜·蒂莫夫特。N-TIRE 2018图像去雾挑战:方法和结果。在CVPR研讨会,第891-901页,2018年。6[2] Codruta Orniana Ancuti和Cosmin Ancuti。基于多尺度融 合 的 单 幅 图 像 去 雾 IEEE Transactions on ImageProcessing,22(8):3271-3282,2013。1[3] 科德鲁塔岛Ancuti,Cosmin Ancuti,Radu Timofte,and Christophe De Vleeschouwer.O-Haze:具有真正的朦胧和无雾户外图像的去雾基准在CVPR研讨会,第754-762页六、七[4] Dana Berman,Shai Avidan,等.非局部图像去雾。在CVPR,第1674二、六、七、八[5] Dana Berman , Tali Treibitz , and Shai Avidan. 使 用Haze-lines进行空气光IEEEInternational Conference onComputational Photography ( ICCP ) , 第 1-9 页 。IEEE,2017年。1[6] 蔡 博 伦 、 徐 祥 民 、 贾 奎 、 青 春 梅 、 陶 大 成 。DehazeNet:一个端到端的系统,用于消除单个图像的雾IEEE Transactions on Image Processing,25(11):5187-5198,2016. 二六七[7] Liang-ChiehChen , GeorgePapandreou , IasonasKokkinos,KevinMurphy,andAlanLYuille.DeepLab:使用深度卷积网络、无纹理卷积和全连 接 CRF 进 行 语 义 图 像 分 割 IEEE Transactions onPattern Analysis and Machine Intelligence,40(4):8342[8] Ziang Cheng,Shaodi You,Viorela Ila,and HongdongLi. 语 义 单 图 像 去 雾 。 arXiv 预 印 本 arX- iv :1804.05624,2018。1[9] Raanan Fattal单一图像去雾。ACM Trans. on Graphics(SIGGRAPH),27(3):72:1-10,2008. 1[10] Raanan Fattal使用颜色线进行去雾处理。ACM Trans.on Graphics(SIGGRAPH),34(1):13:1-14,2014. 一、二[11] Adrian Galdran、Aitor Alvarez-Gila、Alessandro Bria、Javier Vazquez-Corral 和Marcelo Bertalmıo。Retinex 与图像去雾的二重性在CVPR中,第82121[12] 古书航、张磊、左王梦、向楚风。加权核范数最小化及其在图像去噪中的应用。在CVPR中,第28622[13] 何开明,孙建,唐晓鸥。使用暗通道前去除单个图像IEEE Transactions on Pattern Analysis and MachineIntelligence,33(12):2341一、二、六、七[14] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。CVPR,第770-778页,2016年。二、三[15] 杰虎,李申,孙刚。挤压-激发网络。在CVPR中,第7132-7141页,2018年6月。4[16] Xiaowei Hu,Chi-Wing Fu,Lei Zhu,and Pheng-AnnHeng.用于单图像雨去除的深度注意特征在CVPR中,第8022-8031页,2019年。2[17] Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,and AlexeiA E-fros.使用条件对抗网络的图像到图像翻译在CVPR中,第1125-1134页,2017年。22462[18] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络进行ImageNet分类神经信息处理系统进展(NIPS),第1097-1105页,2012年。 3[19] Boyi Li , Xiulian Peng , Zhangyang Wang , JizhengXu,and Dan Feng. AOD-Net:用于除雾及其他功能的一体化网络。在ICCV,第4770-4778页,2017年。二、六、七、八[20] Boyi Li ,Wenqi Ren,Dengpan Fu ,Dacheng Tao ,Dan Feng,Wenjun Zeng,and Zhangyang Wang.对单图 像 去 雾 及 其 他 方 面 进 行 基 准 测 试 。 IEEETransactions on Image Processing , 28 ( 1 ) : 492-505,2019。七、八[21] 李冠斌、元燮、梁琳、益州余。实例级显著对象分割。在CVPR中,第2475[22] Kunming Li,Yu Li,Shaodi You,and Nick Barnes.恶劣天气下数据驱动道路场景照片级真实感模拟在ICCV研讨会,第4917[23] Runde Li,Jinshan Pan,Zechao Li和Jinhui Tang。基于条件生成对抗网络的单幅图像去雾。在CVPR中,第8202-8211页,2018年6月。一、二、八[24] Wei Liu,Andrew Rabinovich,and Alexander C Berg.ParseNet:Looking wider to see better。ICLR,2016年。6[25] 孟高峰,王颖,段江永,施明,潘春红.有效的图像去雾与边界约束和上下文正则化。在ICCV,第617-624页7[26] 任少卿、何开明、罗斯·格尔希克、孙健。更快的R-CNN:用区域建议网络进行实时目标检测。神经信息处理系统(NIPS),第91-99页,2015年。2[27] Wenqi Ren , Si Liu , Hua Zhang , Jinshan Pan ,Xiaoxun Cao,and Ming-Hsuan Yang.基于多尺度卷积神经网络的单图像去雾。ECCV,第154- 169页,2016年。二六七[28] Wenqi Ren , Lin Ma , Jiawei Zhang
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功