没有合适的资源?快使用搜索试试~ 我知道了~
10551基于对比学习的紧凑型单幅图像去雾吴海燕1人,曲燕云2人,林绍辉1人,周建3人,乔瑞芝3人,张志忠1人,谢元1人,马丽庄1人,1华东师范大学计算机科学与技术学院,上海,中国2福建厦门大学信息科学与工程学院3中国上海腾讯优图实验室51194501183@stu.ecnu.edu.cn,yyqu@xmu.edu.cn,您可以访问以下网址:{shlin,yxie,zzzhang,lzma}@ cs.ecnu.edu.cn,{darnellzhou,ruizhiqiao}@ tencent.com摘要由于图像信息退化严重,单帧图像去雾是一个具有挑战性的不适定问题。然而,现有的基于深度学习的去雾方法仅采用清晰图像作为正样本来指导去雾网络的训练此外,他们中的大多数都集中在加强dehaz- ing网络的深度和宽度的增加,导致显着的计算和内存的要求。在本文中,我们提出了一种新的对比正则化(CR)建立在对比学习,利用这两个信息的形成模糊的图像和清晰的图像作为负和正样本,分别。CR确保恢复的图像在表示空间中被拉得更靠近清晰图像,而被推得远离模糊图像此外,考虑到性能和内存存储之间的权衡,我们开发 了 一 个 紧 凑 的 dehaz- ing 网 络 基 于 autocoder-like(AE)框架。它包括一个自适应混合操作和一个动态特征增强模块,通过自适应地混合信息流和扩大接收域来提高网络的转换能力,增强网络我们将带有自动编码器和对比正则化的去雾网络在合成数据集和真实数 据 集 上 的 代 码 在 https : //github 中 发 布 。com/Wu/AECR-Net.1. 介绍雾度是导致物体外观和对比度明显下降的重要因素。在-平等贡献。[2]通讯作者。(a) 模糊输入(b)仅L1损失[34](c)先前[42](d)KDDN [23](e)Our CR(f)Ground-truth图1.与单纯的积极导向监管相比。将在朦胧场景下捕获的图像显着影响高级计算机视觉任务的性能,例如对象检测[26,8]和场景理解[39,40]。因此,图像去雾成为图像恢复领域的研究热点,有助于开发有效的计算机视觉系统。最近,已经提出了各种端到端的基于CNN的方法[35,30,34,23,10,42],通过去雾网络直接学习模糊到清晰的图像转换来简化去雾问题。但也存在以下问题:(1)单纯采用正向去雾目标函数效果较差.大多数现有的方法[5,25,34,10]通常采用清晰的图像(也称为地面实况)作为正样本 1,以经由基于L1/L2的图像重建损失来指导去雾网络的训练,而无需任何正则化。然而,仅图像重建损失无法有效地处理图像的细节,这可能导致恢复图像中的颜色失真(见图1(b))。最近,来自Posi的更多知识-1在本文的图像去雾任务中,正样本、清晰图像和地面实况是同一个概念。10552图2. 我们的方法的最佳PSNR参数权衡。已经提出了基于动态样本的正则化[23,42,51,30例如,Honget al. [23]介绍了一个附加的教师网络,用于将知识从教师提取的正图像的中间表示转移到学生/去雾网络,作为基于正样本的正则化。尽管它们利用正图像的信息作为上界,但由于未利用负图像的信息作为下界,仍然会发生伪影或不满意的结果(参见图1(d))。(2)参数密集的去雾网络。先前的工作[30,13,34,10,29]专注于通过显着增加去雾模型的深度或宽度来提高去雾性能,而不考虑内存或计算开销,这阻碍了它们在资源有限的环境中的使用,例如移动或 嵌 入 式 设 备 。 例 如 , TDN [29] , NTIRE 2020Challenge [3]的冠军模型在去雾任务中有4618万个参数。更多关于其性能和参数的最新(SOTA)模型二、为了解决这些问题,我们提出了一种新的对比正则化(CR),其灵感来自对比学习[15,32,21,16,7]。如图3的右图所示,我们表示模糊图像,其对应的由去雾网络生成的恢复图像以及其清晰图像(即,地面实况(ground-truth)分别作为负、锚和正。在表示空间中有两种“相反的力量”,一种力量使预测更接近清晰的图像,另一种力量使预测更远离模糊的图像。因此,CR通过对比学习将锚图像约束到封闭的上界和下界此外,CR提高了图像去雾的性能,而无需在测试阶段引入额外的计算/参数,因为它可以被直接移除以进行推断。为了实现性能和参数之间的最佳权衡,我们还开发了一个紧凑的去雾网络,采用类似自动编码器(AE)的框架,在低分辨率空间进行密集卷积计算,并减少层数,如图3所示。通过自适应混叠和动态特征增强(DFE)可以弥补参数减少所带来的信息损失自适应混叠使下采样部分的浅层特征信息自适应地流向上采样部分的高层特征,有效地保持了特征。受具有强大变换建模能力的可变形卷积[54]的我们将所提出的图像去雾框架称为AECR-Net,其通过将对比正则化利用到所提出的类AE去雾网络中。我们的主要贡献概述如下:• 我们提出了一种新的ACER-Net,通过对比正则化和高度紧凑的基于自动编码器的去雾网络来有效地生成高质量的无雾图像。与最先进的方法相比,AECR-Net实现了最佳的参数-性能权衡• 所提出的对比正则化作为通用正则化可以进一步提高各种最先进的去雾网络的性能。• 自适应混合和动态特征增强模块的建议autocoder-like(AE)去雾网络,可以帮助去雾模型自适应地保持信息流和增强网络2. 相关工作2.1. 单个图像模糊消除单图像去雾的目的是从有雾的观察图像中生成无雾图像,其可以分为基于先验的方法[45,17,53,4]和基于学习的方法[5,25,51,35,23]。基于先验的图像去雾方法。 这些方法取决于物理散射模型[31],通常使用来自经验观察的手工先验来去 除 雾 度 , 例 如 对 比 度 最 大 化 [45] 、 暗 通 道 先 验(DCP)[17]、颜色衰减先验[53]和非局部先验[4]。虽然这些基于先验的方法取得了很好的效果,但先验依赖于相对分辨率和特定的目标场景,这导致鲁棒性较差10553类自动编码器的去雾网络对比正则化积极L1损失混混锚E负下采样4x上采样4xFA块DFE模块MixMixup模块E特征提取器清除图像恢复图像模糊图像正锚负图3.拟议的AECR-Net的架构它由类自动编码器(AE)去雾网络和典型正则化(CR)组成AE具有一个4倍下采样模块、六个FA模块、一个DFE模块、一个4倍上采样模块和两个自适应混合操作的光参数我们联合最小化基于L1的重建损失和对比正则化,以更好地提取恢复图像(即,锚)到净空(即,正)图像并将恢复的图像推到模糊(即,负)图像。在复杂的实际场景中。例如,DCP [17]不能很好地对天空区域进行去雾,因为它不满足先验假设。学习型图像去雾方法.与基于先验的方法不同,基于学习的方法是数据驱动的,通常使用深度神经网络来估计物理散射模型中的透射图和大气光[5,36,25,51]或直接学习模糊到清晰的图像转换[37,30,35,34,10]。早期的工作[5,36,25,51]侧重于直接估计透射图和大气光。然而,这些方法可能导致累积误差以产生伪影,因为对透射图和全局大气光的不准确估计或一些 此外,在现实世界中收集关于透射图和全球大气光的地面实况是困难的或昂贵的。最近,已经提出了各种端到端方法[37,6,35,30,23,34,10]来直接学习模糊到清晰的图像转换,而不使用大气散射模型。其中大多数[37,30,34,10]专注于增强去雾网络,并采用清晰图像作为正样本,通过图像重建损失来引导去雾网络,例如,Qinetal.[34]提出了一种特征融合注意机制网络,通过处理不同类型的信息来增强灵活性,该机制仅使用恢复图像和地面实况之间基于L1的重建损失。Dong等人[10]提出了一种增强型解码器,通过仅考虑使用地面实况作为监督的重建误差来逐步恢复无雾图像为了更好地利用来自阳性样本的知识,Honget al. [23]引入了一个额外的教师网络,以从中间表示转移知识将由教师提取的正图像传输到学生/去雾网络。虽然这些方法利用了正像的信息作为上界,但由于未利用负像的信息作为下界,仍会出现伪像或不满意的结果。此外,这些方法也是以性能为导向的,以显着增加去雾网络的深度,这导致大量的计算和参数成本。与这些方法不同的是,我们提出了一种新的对比正则化,通过对比学习来利用负图像和正图像的信息。此外,我们的去雾网络是紧凑的,通过减少层数和空间大小的基础上自动编码器的框架。2.2. 对比学习对比学习广泛用于自监督表示学习[20,46,41,16,7],其中对比损失受到噪声对比估计[14],三重损失[22]或N对损失[44]的启发。对于给定的锚点,对比学习的目标是在表征空间中将锚点以前的工作[7,16,21,12]经常将对比学习应用于高级视觉任务,因为这些任务本质上适合于建模正面和负面样本/特征之间的对比。最近,[33]中的工作表明,对比学习可以提高不成对的图像到图像翻译质量。然而,由于图像去雾任务需要构造对比样本和对比损失的特殊性,目前将对比学习应用于图像去雾的研究还很少此外,与[33]不同的是,我们提出了一种新的采样方法和一种新的逐像素对比度损失(a.k.a. 对比正则化)。105543. 我们的方法在本节中,我们首先描述符号。然后,我们提出了建议的自动编码器(AE)去雾网络,使用自适应混合更好的特征保留和动态特征增强模块融合更多的空间结构化信息。最后,我们采用对比正则化作为一种通用正则化,图4. 适应性混乱第一排和第二排在下面-加入我们的AE式除雾网络3.1. 符号端到端的单图像去雾方法[35,30,23,42]通过使用两个损失来去除雾图像,图像重建损失和恢复图像上的正则化项,其可以公式化为:采样和上采样操作。arg min<$J−φ(I,w)<$+βρ(φ(I,w)),(1) W模糊输入正规网格核其中I是模糊图像,J是对应的清晰图像,并且φ(·,θ)是具有参数w的去模糊网络。<$J−φ(I,w)<$是数据保真度项,通常使用基于L1/L2范数的损失。ρ(·)是用于生成自然且平滑的去雾图像的正则化项,其中TV范数[42,28]、DCP先验[42,28]被广泛用于正则化项。β是用于平衡数据保真度项和正则化项的惩罚参数。与以前的正则化不同,我们采用对比正则化来提高恢复图像的质量3.2. 自动编码器,如Dehazing Network。受具有高效FA块的FFA-Net [34]的启发与FFA-Net不同的是,我们大大减少了内存存储,以生成一个紧凑的去雾模型。如图3所示,类AE网络首先采用4×下采样操作(例如,一个步长为1的常规卷积层和两个步长为2的卷积层),使密集FA块学习低分辨率空间中的特征表示,然后采用相应的4×上采样和一个常规卷积生成恢复图像。请注意,我们只使用6个FA块(与FFA-Net中的57个FA块为了改善层间的信息流并融合更多的空间结构化信息,我们提出了两种不同的连接模式:(1)自适应混合动态融合下采样层和上采样层之间的特征,以保持特征(2)动态特征增强(DFE)模块通过融合更多的空间结构化信息来增强变换3.2.1基于特征保持的自适应混合算法低层特征(例如边缘和轮廓)可以被捕获在CNN的浅层中[49]。但随着图5. 动态特征增强模块。随着网络深度的增加为了解决这个问题,几个复杂的作品[38,18]集成了浅层和深层特征,通过添加或连接操作的跳过连接来生成新特征。实际上,FA块[34]也使用基于加法的跳过连接来融合内部输入和输出特性。然而,在我们的图像去雾网络中,来自下采样层和上采样层的特征之间缺少连接,这导致浅特征(例如,边缘和角落)丢失。因此,我们应用自适应混合操作[50]来融合来自这两个层的信息以进行特征提取(参见图4)。在我们的情况下,我们考虑两个下采样层和两个上采样层,使得混合操作的最终输出可以公式化为:f↑2=Mix(f↓1,f↑1)=σ(θ1)<$f↓1+(1−σ(θ1))<$f↑1,(二)f↑=Mix(f↓2,f↑2)=σ(θ2)<$f↓2+(1−σ(θ2))<$f↑2,其中f↓i和f↑i分别是来自第i个下采样和上采样层的f↑是最终输出。σ(θi),i=1,2是用于融合来自第i个下采样层和第i个下采样层的输入的第i个上采样1,其值由参数θi上的S形算子σ确定。在训练过程中,我们可以有效地学习这两个可学习的因子,这比常数因子实现了更好的性能(见第4.3节)。3.2.2动态功能增强以前的工作[35,30,34,23,10,42]通常采用固定的网格内核(例如,3x3)如图所示5中,这限制了感受野,并且不能利用特征空间中的结构化信息[47]。或者,引入扩张的卷积层[48]来扩展感受野。但是,这可能会导致电网-↓ 1/4↓ 1/2↑ 1/4↑ 1/2↑原创↓原创......10555我我破坏文物另一方面,感受野的形状对感受野的扩大也有重要如图5右侧所示,可变形卷积可以捕获更多因此,整体去雾损失函数Eq.(3)可以进一步公式化为:达恩·D G(J),G(φ(I,w))重要的信息,因为内核是动态的和灵活的。事实上,这项工作[47]已经证明,空间-min<$J−φ(I,w)<$1+βi=1ωi·.(4)D Gi(I),G i(φ(I,w))不变卷积核会导致图像纹理受损和过度平滑伪影,因此提出了可变形2D核来增强图像去噪的特征。因此,我 们 通 过 变 形 卷 积 [9] 引 入 动 态 特 征 增 强 模 块(DFE),以自适应形状扩展感受野,并提高模型的变换能力,以实现更好的特别是,我们采用两个可变形卷积层来实现采样网格的更自由形式的变形,如图3所示。因此,网络可以动态地关注感兴趣区域的计算,以融合更多的空间结构化信息。我们还发现,DFE部署后的深层实现更好的性能比浅层。3.3. 对比正则化受对比学习的启发[15,32,21,16,7],它旨在学习一种表示,以在一些度量空间中拉出我们提出了一种新的对比正则化(CR),以产生更好的恢复图像。因此,在认知识别中需要考虑两个方面的问题:一是构造在我们的CR中,正对和负对由清晰图像J和其恢复图像J_n的组通过类AE去雾网络φ产生,而J_n和a_n的组通过类AE去雾网络φ产生。其中Gi,i=1,2,· · ·n提取第i个隐藏特征从固定的预训练模型。D(x,y)是x和y之间的L1距离。ωi是权重系数。当量(4)可以通过优化器(例如,Adam)在端到端方式与我们的CR相关,感知损失[24]通过利用从预训练的深度神经网络中提取的多层特征来测量预测与地面真实情况之间的视觉差异与正向正则化的视觉损失不同,我们还采用模糊图像(去雾网络的输入)作为负向来约束解空间,实验表明我们的CR在图像去雾方面优于它(见4.3节)。4. 实验4.1. 实验装置实施细节。我们的AECR-Net是由PyTorch 1.2.0和MindSpore 以 及 一 个 NVIDIA TITAN RTX GPU 实 现的。使用Adam优化器训练模型,指数衰减率β1和β2分别等于初始学习率和批量大小分别设置为0.0002和16.我们使用余弦退火策略[19]来调整学习率。我们经验性地将惩罚参数β设置为0.1,并且epoch的总数设置为100。我们在等式中设置L1距离损失。(4)在从固定的预训练的VGG-19中提取第1、第3、第5、第9和第13层的潜在特征之后,对应系数ωi,i=1,· · ·,5至1,1,1,1模糊图像I。 为了简单起见,我们称之为重-和1,分别。32168 4存储图像、清晰图像和模糊图像作为锚点,分别为正和负。对于潜在特征空间,我们从相同的固定预训练模型G中选择共同的中间特征,例如,VGG-19 [43].因此,等式中的目标函数。(1)可以改写为:数据集。我们评估所提出的方法对合成数据集和真实世界的数据集。[27]第27话大开眼界使 用 的 合 成 数 据 集 包 括 五 个 子 集 : 室 内 训 练 集(ITS)、室外训练集(OTS)、合成客观测试集(SOTS)、真实世界任务集-.测试驱动测试集(RTTS)和混合主观测试min<$J−φ(I,w)<$+β·ρG(I),G(J),G(φ(I,w)),(3)其中第一项是在恢复图像与其在数据场中的地面实况之间对准的重建损失。我们采用L1损失,因为它实现了更好的性能-福。[52]与L2骨缺损相比 第二任期ρ G(I),G(J),G(φ(I,w)) 是对比规则在相同的潜特征空间下,I,J和φ(I,w)之间存在一种相互作用,它起着将复原图像φ(I,w)拉向其清晰图像J和将复原图像φ(I,w)推向其模糊图像I的反作用力的作用。β是平衡重建损失和CR的超参数。为了增强对比能力,我们提取隐藏的特征,从不同的固定的预训练模型的层。设置(HSTS)。ITS、OTS和SOTS是合成数据集,RTTS是真实世界的数据集,HSTS由合成的和真实世界的朦胧图像组成。根据工作[30,34,23,10],我们选择ITS和SOTS室内作为我们的训练和测试数据集。为了进一步评估我们的方法在真实世界场景中的鲁棒性,我们还采用了两个真实世界数据集:Dense-Haze [1]和NH-HAZE [2]。补充资料中提供了更多详细信息评估指标和参数。为了评估我们的方法的性能,我们采用峰值信噪比(PSNR)和结构相似性指数(SSIM)作为评价指标,这通常被用来作为标准,以评估图像质量的图像去雾任务。我们比较了基于先验的方法(例如,10556表1.与SOTA方法在合成和真实世界去雾数据集上的定量比较方法SOTS [27日][1]第一章NH-HAZE [2]#参数PSNRSSIMPSNRSSIMPSNRSSIM(TPAMI15.090.764910.060.385610.570.5196-(TIP’16) DehazeNet20.640.799513.840.425216.620.52380.01M(ICCV’17) AOD-Net19.820.817813.140.414415.400.56930.002M(ICCV’19) GridDehazeNet32.160.983613.310.368113.800.53700.96M(AAAI’20) FFA-Net36.390.988614.390.452419.870.69154.68M(CVPR’20) MSBDN33.790.984015.370.485819.230.705631.35M(CVPR’20) KDDN34.720.984514.280.407417.390.58975.99M(ECCV’20) FDU32.680.9760-----我们37.170.990115.800.466019.880.71732.61M(a) 模糊输入(b)DCP [17](c)DehazeNet [5](d)AOD-Net [25](e)GridDehazeNet [30](f)(g)MSBDN [10](h)KDDN [23](i)Ours(j)Ground-truth图6.SOTS [27]数据集上的视觉结果比较放大以获得最佳视图。DCP [17]),基于物理模型的方法(例如,DehazeNet[5]和AOD-Net [25]),以及基于模糊到清晰图像转换的方法(例如,[30],FFA-Net [34],MSBDN [10]和KDDN [23])。4.2. 与现有技术方法的合成数据集上的结果。在表1中,我们总结了我们的 AECR-Net 和 SOTA 方 法 在 RESIDE 数 据 集 [27](a.k.a,SOTS)上的性能。与SOTA方法相比,我们的AECR-Net方法获得了最好的性能,PSNR为 37.17dB特别是,与具有第二高性能的FFA-Net [34]相比,我们的AECR-Net实现了0.78dB PSNR和0.0015 SSIM性能增益,显著减少了2 M参数。我们还比较了我们的AECR-Net与SOTA方法在恢复图像质量上的差异,如图6所示。我们可以观察到DCP [17]和DehazeNet [5]和AOD-Net [25]不能成功地去除密集的雾,并且遭受颜色失真(参见图6(b)-6(d))。与DCP、DehazeNet和AOD-Net相比,基于模糊到清晰图像转换的方法以端到 端 的 方 式 ( 例 如 , GridDehazeNet [30], FFA-Net[34],MSBDN [10]和KDDN [23])实现了更高质量的恢复图像。然而,它们仍然产生一些灰色斑驳伪影,如图6(e)-6(f)所示,不能完全去除某些区域的雾度(见图6(g)-6(h)的红色矩形)。我们的方法生成了最自然的图像,并在低频和高频区域实现了与地面实况相似的模式更多的例子可以在补充文件中找到。真实世界数据集的结果。我们还将我们的AECR-Net与SOTA方法在Dense-Haze [1]和NH-HAZE [2]数据集上进行了比较。如表1所示,我们可以观察到:(1)我 们 的 AECR-Net 在 NH-HAZE 数 据 集 上 以 19.88dBPSNR和0.7173 SSIM优于所有SOTA方法。(2)与SOTA方法相比,AECR-Net方法的峰值信噪比也达到了最高请注意,与我们的AECR-Net相比,MS-BDN仅实现了约0.02的SSIM,但参数为12倍。(3)与RESIDE数据集相比,Dense-Haze和NH-HAZE数据集更难去除烟雾,特别是在Dense-Haze数据集上。这是由于真正的浓雾导致信息的严重退化。我们还比较了我们的AECR-Net与SOTA方法在恢复图像质量上的差异,如图7和图8所示。显然,与其他方法相比,我们的AECR网络生成的图像最自然。DCP [17]、DehazeNet[5]、AOD-Net [25]、GridDehazeNet [30]、FFA-Net [34]和KDDN [23]等方法恢复的图像存在严重的颜色失真和纹理丢失。此外,还有10557(a) 模糊输入(b)DCP [17](c)DehazeNet [5](d)AOD-Net [25](e)GridDehazeNet [30](f)(g)MSBDN [10](h)KDDN [23](i)Ours(j)Ground-truth图7. 在密集烟雾数据集上进行视觉比较。(a)模糊输入(b)DCP [17](c)DehazeNet [5](d)AOD-Net [25](e)GridDehazeNet [30](f)(g)MSBDN [10](h)KDDN [23](i)Ours(j)Ground-truth图8. NH-HAZE数据集的视觉比较。表2. AECR-Net上的消融研究。* 表示仅使用阳性样本进行训练。SC表示跳过连接。模型CR峰值信噪比SSIM基础+DFE+混合-MSBDN恢复的图像存在较厚的雾层[10][23][24]更多的例子可以在补充文件中找到。4.3. 消融研究为了证明所提出的AECR-Net的有效性,我们进行了消融研究,以分析不同的元素,包括混淆,DFE和CR。我们首先构建了我们的基础网络作为去雾网络的基线,它主要由两个下采样层,六个FA块和两个上采样层组成然后,我们将不同的模块添加到基本网络中:(1)base+mixup:将mixup操作添加到base-线(2)base+DFE:在baseline中添加DFE模块(3)base +DFE+mixup:将DFE模块和mixup操作添加到基 线 中 , 也 称 为 我 们 的 AE 式 除 雾 网 络 。(4)base+DFE+mixup+CR*:在不使用阴性样品的情况下将CR添加到我们的AE类去雾网络中。这意味着仅使用阳性样本来训练去雾网络。(5)我们的:我们的AE类去雾网络和建议的CR的组合,它允许负样本和正样本进行训练。我们采用L1损失作为图像重建损失(即,在Eq.中的第一项。(4)),并使用RESIDE [27]数据集进行训练和测试。这些模型的性能总结见表2。自适应混合操作的效果。自适应混合操作可以通过额外的可忽略参数来改进去雾网络在表2中,它可以提高我们的基础网络的性能,例如。从基带到基带+混频和从基带+DFE到基带+DFE+混频的PSNR分别增加了0.19dB和0.7dB。此外,我们比较了我们的自适应混淆操作与跳过连接(SC)操作。这些因素(如σ(θ1)和σ(θ2)在等式中。(2)在我们的自适应混合操作中学习-基地-33.850.9820基础+混合-34.040.9838基础+DFE-35.500.9853碱+DFE+SC-35.590.985836.200.9869碱+DFE+混合+CR*碱(w/o阴性)我们的36.460.988937.170.990110558能够,而SC具有相同的信息融合。自适应混合操作在SC上实现0.61dB的PSNR增益。 DFE模块DFE模块显著改善了从base到base+DFE的性能,PSNR增加了1.65dB;从base+mixup到base+DFE+mixup的性能,PSNR增加了2.16dB。因此,DFE是比自适应混合更重要的因素,这是因为DFE具有更高的性能增益。我们还评估了6个FA块前后DFE位置的影响结果表明,在较深地层后部署DFE比在较浅地层后部署DFE的性能更好。详细性能见附录。对比规则化的效果。我们考虑了CR是否使用阴性样本的影响。CR* 表示仅使用阳性样本进行训练,这与[24 ]第24话失去知觉与基础+DFE+混合相比,在其上添加CR*(即,base+DFE+mixup+CR*)仅获得略高的PSNR和SSIM,分别具有0.26dB和0.002的增益。我们的AECR-Net采用了建议的CR,添加了阴性和阳性样本进行训练,与base+DFE+mixup+CR* 相比,显著提高了性能。例如,我们的AECR-Net实现了37.17dB的更高PSNR,与36.46dB PSNR的base+DFE+mixup+CR*相比。4.4. 泛对比正则化为了评估所提出的CR的通用性,我们将我们的CR添加到各种SOTA方法中[30,34,10,23]。如表3所示,CR可以进一步提高SOTA方法的性能。换句话说,我们的CR是模型不可知的,以有效地训练去雾网络此外,我们的CR不能增加额外的参数进行推断,因为它可以直接删除测试。CR还可以提高SOTA方法的视觉质量。例如,将我们的CR添加到SOTA方法中可以减少黑点和颜色失真的影响(参见这些示例的补充)。表3.将CR应用于SOTA方法的结果[30]第三十话32.99(↑0.83)0.9863(↑0.0027)FFA-Net [34]36.74(↑0.35)0.9906(↑0.0020)KDDN [23]35.18(↑0.46)0.9854(↑0.0009)MSBDN [10]34.45(↑0.66)0.9861(↑0.0021)4.5. 讨论我们进一步探讨了不同利率的影响(即,r)CR上阳性和阴性样品之间。如果负样本的数量为r,我们将当前雾度输入作为一个样本,并从同一批次中随机选择其他r-1个负样本到输入雾度图像。表4. 不同阳性和阴性样本率对CR的影响。基准是AECR-Net,比率为1:1。率阳性数量阴性数量PSNRSSIM1:1的比例1137.170.99011:R11037.410.9906r:110135.610.9862r:r101035.650.9861选择我们的AECR-Net以1:1的比率作为基线,并在RESIDE数据集上进行所有实验。此外,由于GPU内存大小有限,我们最多考虑10个正样本或负样本。如表4所示,将更多的阴性样本添加到CR中实现了更好的性能,而添加更多的阳性样本实现了相反的结果。我们推测这是由于不同的积极模式混淆了锚学习好的模式。对于负样本,负样本越多,离模糊图像中的最差模式越远因此,我们的AECR-Net以1:10的速率实现了最佳性能。然而,当增加负样本的数量时,需要更长的训练时间。例如,我们的AECR-网络与1:10的速度需要约200小时的总(即。2×)的培训,相比之下,总100小时的比率为1:12。5. 结论本文提出了一种新的用于单幅图像去雾的AECR-Net,它由对比正则化(CR)和类自动编码器(AE)网络组成。CR建立在对比学习的基础上,以确保恢复的图像在表示空间中被拉得更接近清晰图像,而被推得更远离模糊图像。基于自适应混合操作和动态特征增强模块的类声发射去雾网络结构紧凑,有利于自适应地保持信息流,扩大感受野,提高网络我们已经全面评估了AECR-Net在合成数据集和真实世界数据集上的性能,这证明了优于SOTA方法的性能增益。6. 确认国 家 自 然 科 学 基 金 项目61772524 、 61876161 、61972157; 国 家 重 点 研 究 发 展 计 划 项 目No.2020AAA0108301; 上 海 市 自 然 科 学 基 金 项 目No.20ZR1417700;CAAI-HuaweiMind-SporeOpenFund;浙江省实验室研究项目No.2019KD0AC02。对于阳性样品,我们选择相应的透明IM-将所选阴性样本作为阳性样本。除 表4外,所有表格和图表均报告了1:1比率的结果。方法PSNRSSIM10559引用[1] 科德鲁塔岛安库蒂,科斯明·安库蒂,马特·斯伯特,和拉杜·萨夫特。Dense haze:一个用于图像去雾的基准,包括高雾和无雾图像。在ICIP,2019年。第五、六条[2] C. O.安库蒂角Ancuti,和R.谢谢NH-HAZE:一个图像去 雾 基 准 , 具 有 非 均 匀 的 模 糊 和 无 模 糊 图 像 。CVPRW,2020年。第五、六条[3] 科德鲁塔岛Ancuti,Cosmin Ancuti,Florin-AlexandruVasluianu,and Radu Schlafte. Ntire 2020挑战非均匀除雾。在CVPRW,2020年。2[4] Dana Berman,Shai Avidan,等.非局部图像去雾。在CVPR中,第1674-1682页,2016年。2[5] 蔡 博 伦 , 徐 祥 民 , 贾 奎 , 青 春 梅 , 陶 大 成 。Dehazenet:一个端到端的系统,用于消除单个图像的雾。TIP,25(11):5187-5198,2016。一、二、三、六、七[6] 陈东东,何明明,范庆南,廖静,张立恒,侯东东,陆远,华刚.用于图像去雾和去噪的门控上下文聚合网络在WACV,第1375-1383页,2019年。3[7] 陈婷,西蒙·科恩布里斯,穆罕默德·诺鲁兹,和葛·奥弗里·辛顿.视觉表征对比学习的一个简单框架。arXiv预印本arXiv:2002.05709,2020。二、三、五[8] Yuhua Chen , Wen Li , Christine Sakaravan , DengxinDai,and Luc Van Gool.域自适应快速r-cnn用于野外目标检测。在CVPR,2018年。1[9] 戴继丰、齐浩之、宇文雄、李毅、张国栋、韩虎、魏一晨。可变形卷积网络。在ICCV,第764-773页,2017年。5[10] Hang Dong,Jinshan Pan,Lei Xiang,Zhe Hu,XinyiZhang,Fei Wang,and Ming-Hsuan Yang.具有密集特征融合的多尺度增强去雾网络。在CVPR,2020年。一、二、三、四、五、六、七、八[11] 董江 新, 潘金 山。 基于 物理的 功能 去雾 网络 。在ECCV,第188-204页,2020年。6[12] Jean-BastienGrill , FlorianStrub , FlorentAltche' ,CorentinTallec,Pierre Richemond,Elena Buchatskaya,Carl Doersch , Bernardo Avila Pires , Zhaohan Guo ,Mohammad Ghesh- laghi Azar,et al. Bootstrap your ownlatent-anewapproachtoself-supervisedlearning.NeurIPS,33,2020. 3[13] Tiantong Guo,Xuelu Li,Venkateswararao Cherukuri,and Vishal Monga.用于除雾的稠密场景信息估计网络在CVPRW,第0-0页,2019年。2[14] 我 的 迈 克 尔 · 古 特 曼 和 阿 波 · 海 沃 ·阿 里 宁 。 Noise-Contrastiveestimation : A new estimation principle forunnormalized statistical models. 在 AISTATS , 第 297-304页,2010中。3[15] Raia Hadsell,Sumit Chopra和Yann LeCun。通过学习一个不变映射进行降维.在CVPR,2006年。第二、五条[16] 何开明、范浩琪、吴雨欣、谢赛宁、罗斯·格西克。用于无监督视觉表示学习的动量对比。CVPR,第9729-9738页,2020年。二、三、五[17] 何开明,孙健,唐晓鸥。基于暗通道先验的单幅图像TPAMI,33(12):2341- 2353,2010. 二、三、六、七10560[18] 何开明,张翔宇,任少卿,孙健。用于图像识别的深度残差学习。在CVPR中,第770-778页,2016年。4[19] 何彤,张智,张航,张中岳,谢俊园,李慕.使用卷积神经网络进行图像分类的技巧包。在CVPR中,第558-567页5[20] Oli vi erJHe′ naf f,Ara vindSriniv as,Jef fre yDeFauw,AliRazavi,Carl Doersch,SM Eslami,and Aaron vanden Oord.使用对比预测编码的数据高效图像识别。arXiv预印本arXiv:1905.09272,2019。3[21] Oli vi erJHe′ naf f,Ara vindSriniv as,Jef fre yDeFauw,AliRazavi,Carl Doersch,SM Eslami,and Aaron vanden Oord.使用对比预测编码的数据高效图像识别。2020年,《国际反洗钱法》。二、三、五[22] 亚历山大·赫尔曼斯,卢卡斯·拜尔,巴斯蒂安·莱布。为了保护三重丢失的人重新识别。arXiv预印本arXiv:1703.07737,2017。3[23] 明宏,谢元,李翠花,曲燕云。利用异质任务模拟提取图像去雾在CVPR中,第3462-3471页一、二、三、四、五、六、七、八[24] 贾斯汀·约翰逊亚历山大·阿拉希和李飞飞。实时风格转换和超分辨率的感知损失。在ECCV,第694-711页,2016年。五、八[25] Boyi Li , Xiulian Peng , Zhangyang Wang , JizhengXu,and Dan Feng. AOD-net:一体化去雾网络。在ICCV,第4770-4778页,2017年。一、二、三、六、七[26] Boyi Li , Xiulian Peng , Zhangyang Wang , JizhengXu,and Dan Feng.端到端联合视频去雾和检测。arXiv预印本arXiv:1709.03919,2017。1[27] Boyi Li,Wenqi Ren,Dengpan Fu,Dacheng Tao,DanFeng,Wenjun Zeng,and Zhangyang Wang.对单图像去雾及其他方面进行基准测试。TIP,28(1):492-505,2019年。五、六、七[28] L. Li,Y.董,W。Ren,J. Pan,C. Gao,N. Sang和M.杨半监督图像去雾。TIP,29:27664[29] Jing Liu ,Haiyan Wu ,Yuan Xie,Yanyun Qu ,an
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 中文翻译Introduction to Linear Algebra, 5th Edition 2.1节
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功