没有合适的资源?快使用搜索试试~ 我知道了~
基于密度和深度分解的自增强非配对图像去雾
2037基于密度和深度分解的自增强非配对图像去雾杨阳1,王超越2,刘日升3,张林4,郭晓杰1,刘晓,陶大成2,51天津大学2悉尼大学澳大利亚悉尼3大连理工大学,辽宁4同济大学,上海,中国5JD Explore Academy,北京,中国yangyangcic@tju.edu.cn,chaoyue.wang @ outlook.com example.com,wwwrsliu@dlut.edu.cncslinzhang@tongji.edu.cn,{xj.max.guo,dacheng.tao}@wwwgmail.com摘要为了克服在合成的模糊-干净图像对上训练的去雾模型的过拟合问题,最近的许多方法试图通过在非成对数据上训练来提高模型大多数方法只是简单地模拟了去雾和再雾的周期,而忽略了现实世界雾环境的物理特性,即:雾度随密度和深度而变化。在本文中,我们 提 出 了 一 个 自 增 强 的 图 像 去 雾 框 架 , 称 为 D4( Dehazing via Decomposing transmission map intoDensity and Depth)的烟雾产生和消除。该框架不是仅仅估计透射图或清洁内容,而是着重于探索模糊和清洁图像中包含的散射系数和深度信息通过估计场景深度,我们的方法能够重新绘制具有不同厚度的模糊图像,这进一步有利于去雾网络的训练。值得注意的是,整个训练过程只需要不成对的模糊图像和干净图像,但在从单个模糊图像中恢复散射系数、深度图和干净内容方面是不成功的综合实验表明,我们的方法优于国家的最先进的不成对的去雾方法与更少的参数和FLOP。我们的代码可从https://github.com/YaN9-Y/D4网站。1. 介绍灰霾是由大气中气溶胶粒子的散射效应引起的一种自然现象它会造成视觉内容的严重不清晰,给人类观察者和计算机视觉系统都带来了通讯作者。本工作得到了国家自然科学基金项目的资助。62072327下的TSTC和在Grant no. 20JC-QNJC 01510。Chaoyue Wang博士由ARCFL-170100117支持。去雾方法旨在去除烟雾并提高真实世界烟雾图像的视觉质量,这可以使计算机视觉任务(如图像分割[4,38],烟雾天气下的目标检测[15,34])受益。雾度效应的退化可以通过Koschmieder定律[ 29,30 ]来表示I(z)=J(z)t(z)+A(1−t(z)),(1)其中I(z)指示所观察到的模糊图像的第z个像素,J(z)和A是场景辐射率和全局大气光,相对于水平。透射图t(z)=e−βd(z)由场景深度d(z)和反映雾度密度的散射系数β凭借深度神经网络的强大学习能力[12,13],也提出了许多方法来解决图像恢复任务[3,25,35,46,48,49]作为图像去雾[7,27,31,36],以监督的方式。通过对大量合成模糊图像对的训练,监督式深度去雾方法在特定测试集上取得了令人印象深刻的效果。然而,在合成的和真实世界的模糊图像之间存在相对大的域间隙。仅在成对合成图像上训练的去雾模型很容易过度拟合,并且很难推广到真实世界的朦胧条件。由于现实世界中所需的模糊干净图像对几乎无法获得,近年来,许多非配对深度学习方法被提出来探索来自非配对训练数据的去雾线索。其中,构建去雾循环和再雾循环被广泛采用[8,9,17,26,45,50],因为它提供了一种简单有效的方案,用于在执行域转换的同时保持内容一致性。如果模糊和干净的图像域可以被精确地建模,则循环框架有望在未配对的dehaz上获得有希望的性能2038除雾-再雾分公司模糊清洁模糊朦胧传输密度清洁模糊(a) 朦胧影像(b) RefineDNet(c) 我们清洁模糊清洁清洁深度1.81.20.60密度各种浑浊清洁雾-除雾(d) 清洁(g)预测深度(e) CycleGAN(h) 轻度霾(香港)(f)我们的(i) 重霾(我们的)(i) 基于CycleGAN的非配对去雾(ii) 该方法分支(iii) 结果比较图1.(i)先前的基于CycleGAN的去雾方法,(ii)我们提出的方法和(iii)结果比较的图示。与RefineDNet [51]相比,我们的方法可以更好地去除雾度。基于CycleGAN的方法只能对某些干净的图像生成具有固定密度的雾度,并且生成的雾度与深度不一致。ing.然而,我们认为,简单地从不成对的图像到图像翻译方法继承Cycle-GAN[52]框架现有的基于周期的去雾方法忽略了现实世界雾环境的物理特性,即:真实世界的雾度随密度和深度而变化 如图在图1(i)和(iii)-(e)中,基于CycleGAN的方法容易崩溃为合成具有固定密度的雾度,并且可能不正确地对雾度效应进行建模,例如,随着场景深度的增加,雾度会变厚。在本文中,我们提出了一种新的去雾框架D4,即.通过将透射图分解为密度和深度来进行去雾,用于不成对的雾合成和去除。在模糊图像形成过程之后,我们明确地对目标场景的散射系数β和深度图d(z)进行建模。如图1(ii),在Dehzing-Rehazing分支上,我们的模型被训练为从模糊图像中直接估计透射图和散射系数。根据方程.(1)、场景深度和干净的内容则可以直接导出。在Hazing-Dehazing分支中,我们的模型的目标是估计输入的清晰图像的深度信息,然后合成不同密度的模糊图像,即模糊图像。散射系数考虑到“空间变化的雾度厚度为感知场景深度提供了额外的线索”的事实类似地,在雾化-去雾分支中,雾化步骤中的随机采样散射系数β充当去雾步骤中预测的密度的伪地面实况。最后,利用我们新颖的非配对去雾框架,我们可以(i)从干净的图像估计深度图(图1)。1(g));(ii)合成具有各种密度的逼真模糊图像(数据增强)(图1(h),(i));和(iii)实现比具有较少参数和FLOP的现有技术的不成对去雾方法更好的去雾性能。总的来说,我们的贡献可以总结如下:• 我们提出了一个新的不成对的去雾框架,它明确地模拟了散射系数(即。密度)和朦胧场景的深度图。所提出的基于物理的框架在很大程度上消除了现有非成对去雾方法中存在的不适定性问题。• 灵感来自直觉:“空间变化的haze thickness反映场景深度”,我们的模型学习从haze图像预测深度信息。然后,只有不成对的模糊和干净的图像,我们的模型被训练来预测干净的图像的深度信息。• 通过估计场景深度,我们的模型能够通过改变散射系数来生成具有不同厚度的模糊图像。这种特性充当用于更好地训练去雾网络的自论证策略。• 在合成图像和真实图像上进行了大量的实验,以揭示我们设计的有效性。建议的D4框架显示出明显的优势,概括能力的国家的最先进的方法。2. 相关工作本节简要回顾了与我们密切相关的先前的去雾工作,这些工作被分为基于先验的、基于监督的和基于无监督学习的方法。基于先验的方法。 消除…预测网络物理过程2039i=1GGGGi=1X { }单图像去雾,早期的尝试集中于从统计分析或观察中发现无雾图像的先验。其中,He等人。 [14]提出了暗通道先验,该先验假设RGB通道中的局部最低强度在无雾自然图像中应接近于零Zhu等人引入了颜色衰减先验[53],他们指出像素的值和饱和度之间的差异应该与线性模型中的场景深度正相关。在[10]中,Fattal发现小块的值在RGB空间中主要沿一维线分布作为一个严重的缺点,这些方法都是建立在手工制作的先验,这并不总是符合复杂的现实环境。监督学习方法。受益于CNN的发展和大规模人工数据集的发展,基于深度学习的监督方法放宽了人工先验的限制,并占据了主导地位。例如,[2]是通过构建卷积神经网络以端到端的方式从模糊图像中估计传输图的先驱。Ren等人。 [36]提出了一种多尺度卷积网络来预测从粗到细的传输图然而,这些方法在分别估计透射率和大气光时,可能会受到累积误差的 为了解决这个问题,Li et al. [22]改革开放以来,(1)同时估计透射图和大气光。此外,许多方法[24,27,31,32]直接从模糊输入估计干净图像,而不明确建模大气散射模型。最近,几次尝试将域自适应方法引入到图像去雾任务中,它们旨在缩小合成数据和真实数据之间的域差距[39,41,42]。总的来说,尽管监督方法在合成数据集上取得了显著的性能,但它们容易过拟合到所提供的训练数据,并且很难推广到其他模糊图像,特别是对于真实世界的模糊。无监督学习方法。 与监督学习方法相比,无监督学习方法不依赖于成对监督。一些无监督的方法可以直接在模糊图像上训练。例如,[20,21]以零拍摄方式执行去雾,其将模糊图像解开成干净图像和其他分量。[11]通过最小化模糊图像上基于DCP的损失来在这些方法中,由于训练过程中不涉及干净图像,因此没有有效地考虑干净图像域的固有特性,从而限制了它们的性能。非配对去雾方法是从非配对的清晰图像和模糊图像中学习去雾除了一些方法[47,51]试图在GAN监督下将干净的组件从模糊的图像中分离出来之外,大多数方法其他具体设计。例如,CDNet [8]将光学模型引入CycleGAN。[50]采用双循环稳定训练。Cy- cleDehaze[9]应用拉普拉斯金字塔网络来处理高分辨率图像,并提出了一种循环的虚拟损失,以更好地保留结构。[26]在CycleGAN的每个分支中使用两阶段映射策略来增强除雾的有效性。然而,这些方法在产生模糊图像时通常忽略了深度信息和密度的变化。这些因素的缺乏导致不切实际的雾度产生,这将进一步影响除雾性能。为了解决这些问题,在我们提出的D4框架中,我们专注于探索模糊和清晰图像中包含的深度信息和散射系数。3. 该方法CycleGAN [52]是一种广泛采用的非配对图像到图像翻译框架。一方面,GAN损失被用来加强图像在两个域之间的转换另一方面,循环重构损失很好地维持内容一致性。对于图像去雾,基于CycleGAN的方法[8,9,26]通常包含一个去雾网络和一个再雾网络,它们从它们的对立面预测干净图像和模糊图像[9]。在这里,我们认为,这种做法可能是值得怀疑的。在这些方法中,忽略了两个关键的性质,深度和密度。因此,产生的烟雾往往缺乏真实性和多样性,这进一步影响了去雾网络的学习。为了解决这些问题,我们提出了一种新的不成对的去雾框架,称为D4(Dehazingvia Decomposing transmission map into Density andDepth)。整体框架及培训程序详述如下。3.1. 总体框架给定干净图像集XC={C}N1和模糊图像集H=HN2,其中N1和N2代表两个集合的基数。与合成的模糊-干净图像数据集不同,两个集合之间不存在配对信息。如图2,我们的D4框架由三个网络组成:去雾网络D、深度估计网络E和细化网络R。训练去雾网络D以从雾中估计透射图图像H,其可以公式化为:(βα,βt)=GD(H).(二)根据等式1,模糊图像的深度图d可以通过下式从估计的透射系数βt和散射系数βt计算:lnt(z)不成对的去雾方法基于CycleGAN,d(z)=−βˆ .(三)2040GGGGGGGGGG去雾-再雾L由LL������������������������真实朦胧德哈泽尔��� ���Densitybought���假清洁���深度估计器深度��� ���假浑浊(粗糙)优化网络假朦胧���~U(0.6,1.8)真正干净深度估计器深度��� ���假朦胧(粗)优化网络假朦胧���德哈泽尔Densitybought���假清洁���防雾-除雾L由LL���������������������������图2.我们提出的网络的架构D4.整个网络由除雾-再除雾分支和除雾-除雾分支组成。在雾度生成中考虑深度和密度信息两者。引入了两对伪监督,以确认估计的深度和散射系数的准确性。深度估计网络E旨在从干净图像C估计深度dk,其被公式化为d=GE(C).(四)请注意,我们的深度估计网络E与其他单个图像深度估计网络共享相同的功能[19,33],但我们在训练期间不使用来自现有深度估计器或地面真实深度监督的任何预训练在我们的D4框架中,网络E使用来自去雾网络GD的伪监督进行训练,更多细节将在第二节中介绍。三点三精化网络R. 与之前基于CycleGAN的方法直接从输入的干净图像合成模糊图像不同,提出的D4通过考虑两个物理属性(密度和深度)来建模再模糊过程具体来说,我们首先通过组合干净图像、其估计深度和散射系数来导出粗糙假模糊图像。然后,3.2. 训练过程如图2、我们D4的训练包含两个分支:(i)除雾-再雾化分支和(ii)雾化-除雾分支。去雾-再雾分支。通过将模糊图像H输入去雾网络,D,我们可以得到-估计的透射率图,估计的散射系数βH和计算深度dH。与此同时,可以通过下式计算结果c*c(z)=H(z)−A+A,(6)t(z)其中,Δλ是由先验估计的大气光。与去雾图像的颜色匹配,E从它预测深度d。然后,我们用预先估计的散射系数β_H和估计的d_H对去雾后的图像c_H进行再模糊。具体地,我们首先推导出具有雾度形成过程的粗糙的雾度图像HR是一个图像到图像的翻译网络,将粗糙的假模糊图像映射到后面的模糊图像Hubcoarse(z)=c(z)e−βHdH(z)+A(1−e−βHdH(z)),(7)真实模糊图像的分布,即,我们采用最亮的像素作为大气层H=GR (H粗)的情况。(五)光A用于产生雾。 然后,粗糙模糊的图像煤经过精炼网处理后,换句话说,所提出的细化网络可以被视为执行条件模糊图像生成。给定深度和密度信息,细化网络旨在生成视觉上真实的模糊图像。在我们提出的D4框架中,去雾网络D和深度估计网络E都基于EfficientNet-lite 3 [43]的结构,而细化网络���መ传输传输��� ���2041GXG最终再模糊图像H_(?)=R(H_(?)coa rs e)。哈辛-德哈辛分部 在这个分支,我们山姆-从集合C中提取干净的图像C。深度估计网络E用于从图像C估计深度图d_C。 然后,我们从一个预先准备好的样本中随机抽取一个βC定义均匀分布。在Eq.7,我们推导出了粗糙模糊图像大气层具有变化的霾密度,即,工作R具有UNet [37]结构。详细的网络架构在我们的补充材料中提供。h coarse(z)=C(z)e−βC dC(z)+A(1−e−βC dC(z))的情况。( 八)2042GGGDXXGGDGD∥ ·∥X然后,我们的模糊图像h由重新合成对于来自训练集XH的模糊图像,细网R,并由去雾网工作进一步处理D来预测透射系数C、散射系数β<$C。最后,我们可以使用等式中给出的相同计算来重建干净的输入。六、值得值得注意的是,在这个分支中,由于βC是从预定义的范围中采样的,因此我们的模糊化过程可以被视为用于去模糊化网络的后续训练的数据增强操作3.3. 培养目标在建议的D4框架中,我们训练建议的散射系数不可用。因此,我们交替地采用随机采样的散射系数和相应生成的模糊图像来训练所提出的去雾网络。伪深度监督损失。根据“空间变化的雾度厚度为感知场景深度提供了额外的线索”的观察结果 然后,我们训练深度估计网络GE从去雾图像估计深度图d_Hc.即,dH=GE(c).然后,我们定义训练损失,三个网络一起执行去雾和再雾循环。与CycleGANs类似,L深度=dH-dH1.(十二)损失和对抗性训练损失分别被用于对内容一致性和数据分布进行归一化。随后,我们提出了新的伪散射系数监督损失和伪深度监督损失,用于从不成对的模糊和清晰图像中学习物理属性(密度和深度)。周期一致性损失要求从一个域传输到另一个域的中间图像应该能够总的来说,深度估计网络E仅通过深度损失L深度来优化。其余模块利用循环损失、对抗损失和伪散射系数损失的加权组合联合优化为:Ltotal=λcycLcyc+λadvLadv+λscattLscatt,(13)其中λcyc、λadv和λscatt是平衡不同项的权重。在我们的实验中,根据经验设置λcyc=转回来在我们的D4框架中,干净的图像C和模糊的图像H应与1,λAdv=0。2和λ 散射 =1工作得很好。它们的输入对应物C和H。我们的D4中的循环一致性损失可以写为:Lc yc=EC<$XC<$C−C<$1+EH <$XH <$H−H<$1,(9)其中1表示1范数。对抗学习损失评估生成的图像是否属于特定领域。换句话说,它使我们的去雾和再雾图像在视觉上应该是真实的,并且遵循与训练集H和C中的图像相同的分布。 我们采用LSGAN [28]是因为它有前途的稳定性和视觉质量。对于去噪网络D和相应的Dk,对抗性损失可以表示如下:Ladv(Dc)=E[(Dc(c)−1)2]+E[(Dc(c))2],Ladv(GD)=E[(Dc(c)−1)2],(10)其中c是来自干净图像集C的真实干净样本,D,c是判断输入图像是否属于干净域的阈值模糊细化网络R和相应的模糊细化网络H的对抗损失具有相同的形式。伪散射系数监督损失惩罚βC(在雾化-去雾化分支)和βαC(从所生成的模糊图像估算的散射系数),L散射=(βC−βC)2。(十一)4. 实验4.1. 实验配置数据集。在这项工作中,我们采用RESIDE [23]数据集,I-HAZE [1]数据集和Fattal的数据集[10]来训练和评估我们的模型和其他候选模型的性能。RESIDE数据集[23]是广泛使用的大规模去雾基准数据集,其包括以下子集:(i)ITS/OTS,其包含13990/313950个具有用于训练的地面实况的合成室内/室外模糊图像。(ii)SOTS-室内/室外,其中包括500个合成的室内/室外模糊图像与地面实况进行测试。(iii)RTTS和URHI,两者都包含超过4000个真实的模糊图像,没有地面真实的干净图像。I-HAZE [1]数据集包含35对模糊和相应的无模糊室内图像。此数据集中的雾度由专业雾度生成器生成Fattal事实上,它被广泛用于视觉比较。竞争对手。我们比较我们的方法与几个国家的最先进的去雾算法。在这些方法中,一些使用配对数据进行训练,包括EPDN[32],HardGAN [6],FFANet [31],DADehaze [39]和PSD [5]。 当其他方法在没有我们的情况下训练时-使用配对数据,包括DCP [14],CycleGAN [52],Cy-cleDehaze [9],DisentGAN [47],YOLY [20]和RefineD-Net [51]。采用PSNR、SSIM [44]和CIEDE2000(简称CIEDE)[40]等指标对性能进行定量评价。2043××[31]第五届中国国际汽车工业展览会[20]第五届中国国际汽车工业展览会图3.对来自SOTS-室内、SOTS-室外和I-HAZE数据集的样品的雾度去除的视觉比较。FFANet仅在第一和第二种情况下表现良好。PSD、YOLY和CycleDehaze的所有结果都是模糊的。RefineDNet的第一、第二和第四种情况是模糊的,第三种情况是过度去模糊的。我们的方法在所有情况下都能很好地去雾。实作详细数据。在训练阶段,我们应用[16]中提出的具有补丁大小的训练器。30 30亚当优化器[18],β1=0。9,β2=0。999,学习率l r= 10−4,批量大小为2用于优化网络。所有训练样本的大小调整为256 256,其中一半水平翻转用于数据扩充。为了估计大气光,我们采用[14]中的方法用于室外和I-HAZE数据集。而对于合成的室内场景,最亮的像素被认为是大气光。4.2. 绩效评价基准数据集上的比较。To quantita- tively evaluate theperformance and the generalization abil- ity of our D4, wefirst conduct experiments on the bench-标记数据集。具体来说,我们在ITS数据集上训练我们的模型和计算方法。为了公平比较,所有监督方法都使用ITS数据集中的配对训练数据,而非配对方法,包括我们的D4,在训练期间放弃了所有配对信息。考虑到SOTS-室内以与ITS相同的方式合成,我们选择它作为我们的测试集之一。SOTS-outdoor和I-HAZE模式的除雾效果因场景和霾类型的不同而异,但这两个测试集上的结果能够反映不同模式的除雾泛化能力请注意,由于I-HAZE数据集不用于训练,因此我们采用整个I-HAZE数据集进行测试。定量比较报告见表1。1.一、在SOTS-室内测试集上,监督方法HardGAN [6]2044表1. SOTS室内、SOTS室外和I-HAZE数据集的定量比较结果。较高的PSNR、SSIM和较低的CIEDE2000、Params、FLOP指示较好的结果。配对和W/o配对表示使用或不使用配对数据进行训练的方法由于DCP不是基于DNN的,并且YOLY需要对单个图像进行迭代处理,因此DCP的参数和YOLY的FLOPS最佳、第二佳和第三佳结果分别以粗体、下划线和斜体方法SOTS-户外I-Haze效率PSNR ↑SSIM↑ CIEDE↓PSNR↑SSIM↑CIEDE↓PSNR↑SSIM↑CIEDE↓参数(M)浮点运算(GMac)配对EPDN [32]25.060.9314.57820.470.8968.56615.020.76314.9617.384.826FFANet [31]36.360.9931.10820.230.9056.90812.000.59220.334.456288.3HardGAN [6]35.450.9911.26923.330.9375.34813.820.72017.542.54649.18PSD [5]15.020.76413.8015.630.83412.6015.300.80014.8433.11182.5W/O配对DCP [14]13.100.6997.40420.150.9197.61313.100.69919.04- -CycleGAN [52]21.340.8987.00020.550.8569.29815.290.75619.5011.38 56.89循环去雾[9]20.110.8548.76121.310.8999.48114.690.75119.0511.3849.16DisentGAN [47]21.510.8997.29418.450.83112.2414.480.67516.5211.48 57.46YOLY [20]15.840.81912.3714.750.85715.8514.740.68815.2432.00-[51]第五十一话24.360.9394.30519.840.8538.48113.600.66017.0865.80 75.41我们25.420.9323.67025.830.9564.29515.610.78014.4510.702.246[31]第五届中国国际纺织品展览会图4. Fattal数据集的两个真实图像的视觉比较FFANet对雾度去除具有较小的影响。PSD会导致全局颜色失真和过饱和。和FFANet [31]展示了强大的拟合能力,以绝对优势位居第一、二位。我们的D4是最好的方法中,没有使用配对的训练数据。相比之下,由于SOTS-outdoor数据集和I-HAZE数据集中的样本与训练数据不一致,FFANet和HardGAN失去了它们的主导地位。它部分地揭示了监督去雾方法的过拟合问题。 而我们的D4摆脱了这样的缺陷,在两个数据集上都优于其他竞争对手.此外,我们还提供了几个直观的比较图。3.第三章。对于第一个和第二个合成室内的情况下,FFANet和我们的D4都可以彻底消除雾,而其他方法仍然可以观察到雾的结果。对于最后两种情况,FFANet对结果保持密集的雾度。虽然PSD产生更明亮的结果,但它不能消除雾。CycleDehaze遭受颜色失真和RefineDNet过度dehaze的第三种情况下,并留下明显的阴霾上的最后一种情况下,而我们的D4成功地消除了阴霾,没有留下明显的人工制品。所有这些结果都验证了D4具有更好的泛化能力.总而言之,虽然我们的结果不是[39]第六届中国国际纺织品展览会图5.URHI的两个实际样本的比较HardGAN和DADehaze都在结果上留下可观察到的雾度。与SOTS-室内的监督方法相比,该方法在不使用配对数据的方法中表现突出。综合考虑三个数据集的定量、可视化结果和模型效率,我们的方法更具吸引力.真实世界模糊图像的比较 为了进一步评估真实场景的去雾性能,我们在Fattal的数据集[ 10 ]和URHI数据集上进行了实验。我们对OTS和RTTS中未配对的户外清洁和朦胧图像进行了微调从室内到室外,当扩展到室外场景时,我们使用额外的超参数来调整传输估计器。对于DADehaze [39],RefineDNet [51]和PSD [5],我们使用他们发布的模型,该模型在真实的模糊图像上进行了预训练。对于FFANet [31]和HardGAN [6],我们采用在成对合成图像上训练的模型。Fattal数据集和URHI数据集的可视化结果如图所示。图4和图5分别示出。 从图4中,我们可以看到,FFANet[31]对真实模糊图像的影响非常有限由PSD [5]产生的结果遭受严重的颜色失真。而我们的方法成功地去除了图像中的模糊在图5中,HardGAN [6]和DADe-haze[39]的结果都包含残余雾度,而我们的结果是尖锐的。2045GG输入GT FCRN [19]我们的(a)输入(b)不带PS(c)不带Aug(d)我们的输入轻重CycleGAN [52]图6.深度估计和雾度生成的示例与GT和FCRN比较,我们估计的深度在视觉上也是合理的。CycleGAN生成的雾与深度不一致,而我们的雾更真实,更多样。安全 这部分实验验证了我们的方法在真实世界的户外雾霾图像上的推广效果,在深度估计和雾霾生成方面的效果。我们注意到,在没有配对深度监督的情况下,我们的方法可以从未配对的模糊和干净的图像中学习预测视觉上合理的深度图。图6呈现了深度估计和雾度生成的一些情况,从中我们可以看出,尽管我们的深度估计和监督FCRN之间存在差距,但是我们的方法在没有地面实况深度信息的情况下是可接受的。与CycleGAN相比,我们的网络具有预测的深度,可以在室内和室外图像上生成更逼真和各种模糊的图像。方法效率的比较 为了衡量网络的效率,我们比较了参数的数量,和去雾模型的FLOP。具体地,仅考虑每个模型的去雾部分。如Tab.所示。1,我们的模型具有最低的FLOP和更少的参数,具有轻量级的骨干[43]。有了这样一个轻量级的模型,我们的方法仍然优于其他国家的最先进的方法,这验证了我们的设计的有效性。4.3. 消融研究在这一部分中,我们验证了我们提出的自我增强和伪监督机制的有效性。对于自增强,我们用固定值替换模糊-去模糊分支中的随机生成的β,并保持其他设置不变(表示为w/o Aug)。对于伪监督,由于伪β监督和伪深度监督是紧密联系在一起的,所以必须一起添加或删除在没有这两个伪监督(w/oPS)的情况下,我们去除了去雾网络D的估计β的功能,并将深度估计网络E改为直接估计透射图。总的来说,这种设置使我们的(e)一般事务组(f),不包括一般事务组(g),不包括8月(h)图7.(b)-(d)中的图像是通过不同网络配置的(a)的去雾结果,而(f)-(h)是从清洁图像(e)生成的雾图像。表2. SOTS数据集的消融研究。SOTS-室内框架退化为类似香草CycleGAN的架构。定量和定性结果见表。2和图7,分别。从Tab。2,我们可以看到,对我们的网络的任何消融都会导致per-cycle的明显下降。图7示出了直观的视觉比较。从第一行的图像中,我们可以推断,与没有自增强和伪监督机制的网络相比,我们的完全D4此外,如第二行的图像所示,我们完整的D4生成了最真实的朦胧图像。具体地,红色框区域靠近观察者,因此该区域的雾度应该更薄。这样的性质是更清楚地反映在我们的完整模型产生的图像比那些由其他配置。消融研究证实了自我增强和伪监督都是有效的。5. 结论本文提出了一种自增强的非成对图像去雾框架D4,它将透射图的估计分解为密度图和深度图的预测。与估计的深度,我们的方法是能够重新渲染朦胧的图像与各种密度的自我增强,以提高去雾性能的大幅度提高。大量的实验已经验证了我们的方法比其他国家的最先进的去雾方法的明显的优点。然而,我们的方法也有局限性,它通常高估了极端明亮区域的透射率,这将误导深度估计网络预测过亮区域的低深度值。此外,我们发现低质量的训练数据会使训练变得不稳定.但积极的是,我们在物理模型中进一步分解变量的想法可以扩展到其他任务,如弱光增强。我们希望我们的方法可以创新未来的工作,特别是在低层次的视觉任务的不成对学习。度量SOTS-室外PSNR↑SSIM↑CIEDE↓PSNR↑SSIM↑CIEDE↓不含8月23.150.91264.97524.080.94725.041不含PS20.020.85097.31522.950.91685.669我们25.420.93213.67025.830.95594.2952046引用[1] Cosmin Ancuti,Codruta O Ancuti,Radu Jumfte,andChristophe De Vleeschouwer.I-haze:一个具有真实的雾和无雾室内图像的去雾在智能视觉系统高级概念国际会议上,第620-631页Springer,2018. 5[2] 蔡 博 伦 、 徐 祥 民 、 贾 奎 、 青 春 梅 、 陶 大 成 。Dehazenet:用于去除单一图像雾度的端到端系统。IEEE TIP,25(11):5187-5198,2016. 3[3] 孟昶,李琦,冯华军,徐志海。用于单幅图像去噪的空间自适应网络。见ECCV,第171-187页。Springer,2020年。1[4] Liang-Chieh Chen,Yukun Zhu,George Papandreou,Florian Schroff,and Hartwig Adam.用于语义图像分割的具有粗糙可分离卷积的编码器-解码器。参见ECCV,第801-818页,2018年。1[5] 陈泽元,王扬超,杨阳,刘东。PSD:由物理先验指导的原则性合成到真实去雾。 在CVPR,第7180-7189页,2021年6月。 五、六、七[6] Qili Deng,Ziling Huang,Chung-Chi Tsai,and Chia-Wen Lin. Hardgan:一个用于单个图像去雾的雾度感知表示蒸馏gan。见ECCV,第722Springer,2020年。五、六、七[7] Hang Dong,Jinshan Pan,Lei Xiang,Zhe Hu,XinyiZhang,Fei Wang,and Ming-Hsuan Yang.具有密集特征融合的多尺度增强去雾网络。在CVPR中,第2157-2167页,2020年。1[8] Akshay Dudhane和Subrahmanyam Murala。Cdnet:使用不成对对抗训练的单图像去雾。在WACV,第1147-1155页,2019年。第1、3条[9] DenizEngin,AnilGen c. ,andHazimKemalE k enel. 循环去雾:增强型循环去雾器,用于单幅图像去雾。在CVPRW,第825-833页,2018年。一、三、五、六、七[10] Raanan Fattal使用颜色线进行去雾处理。ACM TOG,34(1):1-14,2014. 三、五、七[11] Alona Golts,Daniel Freedman,and Michael Elad. 使用暗通道先验损失的无监督单图像去雾IEEE TIP,29:2692-2701,2019。3[12] 何凤翔,刘同良,陶大成。为什么Resnet有效?残差泛化。IEEE Transactions on Neural Networks and LearningSystems,31(12):5349-5362,2020。1[13] 何凤翔和大成涛。深度学习理论的最新进展arXiv预印本arXiv:2012.10931,2020。1[14] 何开明,孙建,唐晓鸥。 使用暗通道先验的单幅图像去雾。IEEE TPAMI,33(12):2341-2353,2010。三五六七[15] 黄诗嘉、黎忠晓、赵大伟。Dsnet:联合语义学习用于恶劣天气条件下的目标检测。IEEE TPAMI,第1-1页,2020年。1[18] Diederik P Kingma和Jimmy Ba。Adam:随机最佳化的方法。arXiv预印本arXiv:1412.6980,2014。6[19] Iro Laina、Christian Rupprecht、Vasileios Belagiannis、Federico Tombari和Nassir Navab。使用全卷积残差网络进行更深的深度预测。在3DV中,第239-248页,2016年。四、八[20] 李博云、苟元彪、古书航、刘子涛、周天一、奚鹏。你只看你自己:无监督和未经训练的单图像去雾神经网络。IJCV,129(5):1754-1767,2021。三五六七[21] Boyun Li,Yuanbiao Gou,Jerry Zitao Liu,HongyuanZhu,Joey Tianyi Zhou,and Xi Peng.零拍摄图像去雾。IEEE TIP,29:8457-8466,2020。3[22] Boyi Li,Xiulian Peng,Zhangyang Wang,Jizheng Xu,and Dan Feng. AOD-net:一体化去雾网络。在ICCV,第4770-4778页,2017年。3[23] Boyi Li,Wenqi Ren,Dengpan Fu,Dacheng Tao,DanFeng,Wenjun Zeng,and Zhangyang Wang.对单图像去雾及其他方面进行基准测试。IEEE TIP,28(1):4925[24] Runde Li,Jinshan Pan,Zechao Li和Jinhui Tang。基于条件生成对抗网络的单幅图像去雾。在CVPR中,第8202-8211页,2018年。3[25] Xia Li,Jianlong Wu,Zhouchen Lin,Hong Liu,andHongbin Zha.循环压缩激励上下文聚合网络用于单图像去噪。在ECCV,第254-269页1[26] 魏刘、先虚侯、姜端、裘国平。端到端的单图像雾消除使用增强的周期一致对抗网络。IEEE TIP,29:7819第1、3条[27] Xiaohong Liu,Yongrui Ma,Zhihao Shi,and Jun Chen.网格-去Hazenet:基于注意力的多尺度网络图像去雾。在ICCV,第7314-7323页,2019年。第1、3条[28] Xudong Mao , Qing Li , Haoran Xie , Raymond YKLau,Zhen Wang,and Stephen Paul Smolley.最小二乘生成对抗网络。在ICCV,第2794-2802页,2017年。5[29] Srinivasa G Narasimhan和Shree K Nayar。在恶劣天气下视觉的彩色框架。在CVPR,第1卷,第598-605页,2000中。1[30] Srinivasa G Narasimhan和Shree K Nayar。视觉和氛围。IJCV,48(3):233-254,2002. 1[31] Xu Qin,Zhilin Wang,Yuanchao Bai,Xiaodong Xie,and Huizhu Jia. Ffa-net:用于单图像去雾的特征融合注意力网络。在AAAI,第34卷,第11908- 11915页一、三、五、六、七[32] 曲燕云,陈一子,黄静颖,谢元。增强的pix2pix去雾网络。在CVPR中,第8160- 8168页三、五、七[16]Phillip Isola,Jun-Yan Zhu,Tinghui
下载后可阅读完整内容,剩余1页未读,立即下载
![](https://img-home.csdnimg.cn/images/20210720083646.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)