层次感知的渐进网络用于图像去雾

3276LAP-Net：用于图像去雾的等级感知渐进网络李云南1、2苗启光1、2欧阳万里3马 振新1、2方慧娟1、2 董超4全怡宁1、21西安电子科技大学计算机科学与技术2西安市3悉尼大学，SenseTime计算机视觉研究小组，澳大利亚4中国科学院深圳先进技术研究院ynli@stu.xidian.edu.cn，{qgmiao，ynquan}@xidian.edu.cn，wanli. sydney.edu.au，longmao54sh@hotmail.com，hjfang95@163.com，chao. siat.ac.cn摘要在本文中，我们提出了一个层次感知的渐进网络（LAP-Net）的单图像去雾。与以前的多阶段算法不同，LAP-Net的每个阶段通常以从粗到细的方式学习，并通过不同的监督来学习不同级别的雾度。然后网络可以逐步学习逐渐加重的雾霾。通过这种设计，每个阶段都可以专注于特定雾度的区域，并恢复清晰的细节。为了有效地融合在不同阶段不同的雾度水平的结果，我们开发了一个自适应的整合策略，以产生最终的去雾图像。该策略是通过一个分层的集成方案来实现的，该方案与记忆网络和去雾的领域知识合作，以突出每个阶段的最佳恢复区域。在真实图像和两个去雾基准上的大量实验验证了我们所提出的方法的有效性。1. 介绍室外图像经常受到恶劣天气的影响，如雾和霾，导致远距离物体的颜色和纹理退化雾和霾引起的问题提出了大量的去雾技术[26]，其中大多数是基于大气散射模型[29]。额外信息[19，32]和多图像[37，31，10]是早期阶段的解决方案。然后单图像去雾技术[14，54，4]由于其效率而逐渐流行。深度学习强大的特征表示能力也促进了神经网络在除霾方面的应用*通讯作者[34、20、35、48]。图1.介绍了LAP-Net的基本原理，并与一般的多级格式进行了由粗到精的比较在（b）中，粗到细网络中的不同阶段具有相同的监督，并且只能细化红框中标记的阶段1它不能处理雾度在近距离和远距离区域变化的情况，相比之下，在（c）中，我们的LAP-Net中的每个阶段都集中在具有不同监督的不同区域中的烟雾去除，并且在自适应加权融合之后，最终恢复整体上表现出清晰的视图。(Best以彩色显示并放大。）在现实世界的情况下，一个图像的不同位置相应地，退化水平随着不同的雾度水平和场景深度而变化很大如图1所示，远离相机的区域（如建筑物）比接近的树降级更多这是因为随着景物深度的增加，散射机理变得更加复杂.在较远的区域，场景辐射应该通过更多的气溶胶粒子到相机。它很可能多次分散在粒子之间，而不是在一次散射后到达相机因此，应更加努力地处理不同的3277近距离和远距离区域之间的环境退化。为了解决这个问题，可以在网络的不同阶段逐步学习雾度状况，并且每个阶段仅涉及一个雾度水平。具体地，轻度雾度可以通过具有较少级的网络来处理，而重度雾度需要通过更多级来处理。在模型中，不对每个子网络进行相同的监督，而是对不同的阶段进行不同的监督，这样，网络就能以一种由易到难的方式理解雾霾造成的逐渐退化。为此，需要一个复杂的损失函数设计，以更好地指导网络在多个阶段学习不同的雾度水平。对于不同阶段的去雾图像，如何有效地将它们整合以产生自然的结果成为一个关键问题。由于真实场景的复杂性，即使在同一个阶段，不同区域的恢复质量也是不一样的。因此，我们需要评估不同区域的恢复质量，以便恢复良好的区域可以为最终的去雾效果做出更多贡献。从图1中我们可以看到，如果一个区域被清晰地恢复，就像我们的LAP-Net的JS中的远处区域一样，那么这些位置处像素的局部变化这种变化可以通过局部熵来估计。因此，我们采用局部熵的测量作为指导。另一方面，即使我们知道每个阶段中的区域是否恢复良好，我们仍然需要知道哪个阶段可以提供更好的结果。 它可以通过一个整体来解决-l考虑到所有阶段。 霾水平的预测也是有用的，因为它表明哪个阶段可能产生更好的结果。例如，如果图像遭受严重的雾度，则后面的阶段更有可能产生全局视觉上令人愉快的结果。因此，我们在灰霾水平预测的指导下，依次对阶段关系进行建模。然后，所有阶段的优势可以集成，以得出最终结果。结合上述思想，我们提出了一个端到端的模型称为水平感知渐进网络（LAP-Net）的去雾。通过专门设计的损失函数，LAP-Net的每个阶段都集中在一个霾水平上，并且整个工作可以随着阶段的增加而学习霾的加重。在此基础上，为了有效地融合各个阶段的恢复，我们设计了一种分层的集成方案.下一层通过测量局部熵来关注各阶段它突出了每个阶段的清晰恢复区域。更高级别的模型从全局的角度来看，阶段间的关系。它以雾度为指导对所有阶段进行通过整合方案，我们可以在每个阶段保留好的区域质量，并将它们融合到最终的恢复中。我们的贡献可以概括为三个方面：1) 端到端渐进式去雾网络。与以前的多阶段方法不同[34，35]，我们的网络中的阶段工作按雾霾天气由轻到重的顺序进行监督，使我们的网络能够逐步去雾霾，对不同的雾霾天气具有更强的适应性。2) 领域知识指导下的层次集成方案。该方案的低层通过局部熵的度量聚焦各阶段的清晰区域，而高层通过考虑其他阶段和霾水平的指导进一步更新各阶段的权重。3) 大量的实验证明，我们的设计的整合，最终可以提高性能的恢复定性和定量。2. 相关工作进化的去雾方法。早期方法通常基于外部信息，例如外部地理参考模型[19]、用户交互参数[32]以及以不同极化度[37，39]或天气条件[31]拍摄的多个图像。 作为 它不需要额外的设备或操作，因此单图像去雾技术引起了研究人员的关注[41，8，14，30，2，9，54，4，11，27，36]，其中，暗通道先验由He等人提出。[14]是最广泛使用的。最近，深度学习的快速发展也促进了基于学习的去雾方法。Tang等人[42]首先尝试用随机搜索模型来学习传输。单阶段CNN [5]和多尺度CNN[34]来估计传输图。然后[20，52]尝试一起学习透射率和大气光这两个参数条件生成对抗网络（cGAN）[23]也用于直接恢复无雾图像。一些方法[48，28]通过迭代优化透射图来进行去雾。多阶段战略。多级网络在高层次和低层次任务中都有广泛的应用堆叠沙漏和逐阶段细化模型用于高级别问题，如姿势估计[33，49]或对象分解。保护[43]。对于图像去风化，Ren等人[34，35]采用级联网络来逐级细化。Yang等[50]反复使用上下文化的扩张网络来消除雨纹。Li等[24]结合RNN和CNN结构来执行逐阶段的去重。在大多数这些方法中，多级网络以从粗到细的方式使用。后面的阶段总是试图从前面的阶段中提炼特征相比之下，我们网络中的不同阶段有不同的责任，他们以一种由易到难的方式处理雾霾。通过专门设计的损失，早期阶段专注于轻度霾，并且后续阶段基于早期阶段学习更密集的霾它们的结果被集成，以利用每个阶段的优势，从而处理复杂的现实世界的场景。重建中的注意力机制。 作为我们的向导-3278s=1图2.我们的方法概述我们使用级联的沙漏单元来构造t-网，该t-网用于在不同霾水平的监督下逐步估计透射图同时，一个剩余的稠密池网络作为A网来学习大气光。t-net和A-net的预测被发送到恢复层以生成渐进式恢复。然后，我们将每个阶段的恢复图像作为输入发送到I-net进行集成。I-网络与分层集成方案合作，该方案选择每个阶段的清晰区域，并在雾度的指导下对它们进行加权，以恢复最终的无雾图像。整合的视角关注作品的局部内容和不同阶段的时序关系，我们运用注意机制对作品进行重构注意力机制在低级任务中并不像在姿态估计[7]、对象检测[22]或跟踪[6]中那样常见Zhang等人[53]采用通道式注意力进行超分辨率重建。Xu等[46]提出了一种用于检测图像轮廓的注意门控条件随机场。在这项研究中，考虑到去雾的复杂性，我们的指导不是用普通的CNN学习的，而是由雾度和局部熵的领域知识指导的。它可以通过一个层次化的集成方案使级内和级间的简化都受益。3. 该方法3.1. 大气散射模型大气散射模型是大多数除雾方法的基本模型。它可以被公式化为：I（x）=J（x）t（x）+（1−t（x））A，（1）其中X是每个像素的位置，I（X）和J（X）分别是模糊图像和清晰图像的强度A为大气光，表示投射在图像上的整体环境照度. t（x）表示介质透射，其是到达相机而不被雾度散射的场景辐射换句话说，t（x）表示雾度对图像的影响程度t（x）由场景深度d（x）和散射系数β确定，可以表示为：t（x）= e−βd（x）。（二）一般来说，去雾问题首先需要估计A和t（x）。有了这两个参数，清晰的图像J（x）可以通过反转等式（1）来获得。(1)如：J（x）=（I（x）− A）/t（x）+A。（三）虽然理论上可以用t（x）和A来实现恢复，但对于现实世界的s-cenarios可能不实用。这是因为在遥远的区域中，散射可能在气溶胶颗粒之间发生多次，并且降解变得比方程（1）中预期的更复杂。（二）、换句话说，β在整个图像中不是空间不变的，这阻碍了t（x）的准确性。因此，准确估计t（x）一直是提高恢复质量的关键步骤。在我们的方法中，t（x）是逐步估计的多个阶段，根据烟雾水平，并通过一个自然恢复的分层方案的结果进行整合。3.2. 拟议网络我们的水平感知渐进式去雾网络的概述如图2所示。它有四个组成部分：1）渐进传输子网（t-net），2）离散大气光子网（A-net），3）恢复层和4)自适应集成子网（I-net）。模糊图像被同时发送到t-net和A-net。 特别是，如果图像存在颜色失真，我们首先根据[25]消除它。那么预测{t$>s}S和A/D通过恢复层生成具有不同分辨率的图像。水平。然后在I-net中对这些简化进行加权以产生最终结果。整个网络可以以端到端的方式学习。在t-net中，模糊图像的透射率t（x）通过多个渐进阶段来学习。级数用S表示，实验中采用S=4。然后我们3279s=1s=1s=1CLL可以得到S级透射图。与之前的方法[34]一样，所提出的网络的不同阶段由不同的映射来监督，而不是由相同的基础事实来监督，这些映射是针对每个阶段用固定的β值生成的，并且表示增加的雾度水平。在A-net中，大气光是通过分类任务学习的。我们将其区间离散化，网络[16]，用于估计。恢复层使用等式（1）获得S个渐进阶段的S个去雾图像。（三）、该层的输入是来自t网络的透射图t（x）和来自A网络的大气光A提出了I-网来组合来自S阶段的最佳恢复区域，并使用分层集成方案。下层用局部熵来衡量各阶段内容的清晰度。更高级别关注单个级之后的信息。该方法考虑了各阶段的时序关系和与灰霾等级的一致性来更新权重。3.3. 传输图估计的t网端到端可学习，我们在网络中添加了一个名为A-net的分支，用于大气光估计。虽然A的每个分量的值是连续的，但我们发现使用MSE损失进行学习存在回归均值问题[44]，这不利于获得精确估计。因此，我们考虑A作为一项分类任务。假设A的分量为是[Al，Ah]中的实值，我们将该区间分离成n（Ah-Al）个离散值（n是精度控制s-标量，并且我们在这里具有n=100），并且使用模糊图像作为分类的输入。 我们使用了Res-18网络-[16]作为基本网络。低层和高层信息的整合因此，我们增加了一个多层特征融合模块中的A-网。此模块使用全局平均池化层来规范化不同分辨率为1×1，并将它们堆叠在一起。然后导出归一化值以用作大气光3.5. 用于集成来自多个阶段的去雾图像的I网络如前所述，以前的方法[34，5，52]总是与预测的{ts}S和一系列的亲-学习具有一个地面实况的传输到朦胧的图像。然而，现实世界场景中雾霾的不均匀分布使得网络难以估计不同雾霾条件下的传输因此，我们提出了一个渐进的t-网络来估计不同的霾水平的传输这种策略有助于网络处理真实场景中复杂的烟雾分布t-网络由S沙漏形单元组成，用于传输估计。注意，学习轻度雾度的透射比学习密集雾度的透射容易。因此，我们以一种由易到难的方式训练网络，并且估计传输的责任由一系列级联的子网工作分担。在阶段s处的透射图t的预测可以用公式表示为：.梯度去雾结果{Js}S可以通过恢复层获得。然后，我们需要自适应地组合这些结果，以获得最终的恢复值J，它可以避免并进一步协调各阶段的良好恢复。该过程被公式化为：ΣJ=WsJs，（5）S其中Ws是阶段s的归一化三声道权重图。它是由一个通道的重量Ws来自I-网扩展在本节中，我们讨论如何获得权重{w s} S通过互联网。t=F（I，θs）s=1F（I，θs，ts−1）s>1，（4）3.5.1I-net的流水线其中I、t和s分别是模糊图像、预测透射图和阶段指数。F表示净-在阶段s使用参数θs。在第一阶段，I-net的整个流水线如图所示。3.每个阶段s的ws的推导包括三个步骤：步骤1：获得初始的基于内容的权重ws。wsC ct-net预测具有轻度霾条件的透射图。然后将预测的透射图和模糊图像馈送到下一阶段以处理较重的模糊。3.4. 大气光估算的A网大气光是E-q中的另一个重要参数。（一）.在以前的方法[14，34，5]中，大气光是从顶部0手动获得的。暗通道中的1%像素这种统计方法不能直接集成到网络中。为了使除雾过程重点介绍了阶段J的内容。在局部熵的指导下，突出每个阶段的清晰恢复区域每个阶段的清晰度的置信图被用作w_s的基于内容的预测。详细讨论见第3.5.2节。步骤2：从在步骤1中获得的初始基于内容的权重获得中间上下文权重。根据超出阶段S本身的内容的信息导出WS我们称这些信息为语境信息，因为它包括与3280LQLKKKCKQL前/后阶段和阶段s的其中G是一个三层正交网络，与雾霾程度相符ws的偏差为eterθs。 Hs（N）= −i∈N PN（xi）logPN（xi）表示详见第3.5.3节。步骤3：通过逐像素细化获得最终权重ws使用引导滤波器[15]和连续CRF [47]对ws进行细化，以获得最终权重ws。在阶段s处的N的局部熵，其还过滤com-完全黑色或白色像素，如[13] ，并且x i是{x1 ，x2，. . . ，xn}。在本文中，我们有n=256。PN（xi）是补丁N中的归一化直方图计数。记忆m s和它的概率p s。 除了qs，我们K K还希望考虑来自恢复图像J的特征，使得预测的权重图可以是平滑的。为此，我们定义K个候选记忆，{ms}K对于每个阶段。 每个存储器用于存储k k=1一种通过网络H从J_s中获取单通道特征图的方法当ms=H（J_s，θ_s）时，概率ps表示k k kMs中的特征图可以作为权重的证据。ps在这里被定义为ms和m s之间的匹配度，K KHs的局部熵图，其计算如下：sexp（ SSIM（ms，Hs））γ图3. I-网的结构，它探讨了记忆网络和自适应集成的分层方案。pk=0Kkexp（ SSIM（ms，Hs））γ、（8）3.5.2基于内容的权重预测获得阶段s处的初始基于内容的权重ws其中，SSIM（·）测量匹配度和匹配度，从结构相似性指数中得出[45]。γ能放大通过放大记忆来扩大对某一记忆的关注程度。有了ms和ps，我们就可以得到内存权重。像ck k如下：Σw s=q s<$（ p s<$m s）。（六）[12]，而不是指定具有最高概率的单个ms能力作为最终的内存权重，我们使用加权c k ksum，即psoms。这一战略不仅使kk k k对于w s，通过逐元素加法迭代组合的输入有两种：一种是通过局部熵的测量得到的引导权重q s;另一个是记忆权重，其由加权候选项的内存权重更全面，但更重要的是使得这种操作是可区分的。3.5.3上下文权重预测记忆就像pssms。 ms是存储%sk k k k第k个特征图从J. 它被一个柔软的-与其概率p s相关联的寻址方案。这里还表示逐元素乘法。局部熵引导权重q s。模糊图像的复原本质上需要纹理清晰、色彩鲜艳的结果。局部熵可以作为清晰度的指标，因为它评估像素的局部变化。如果图像恢复得很好，则补丁中的局部变化可能是戏剧性的。否则，如果图像处理不足，剩余的雾度会导致清晰度和铅损失。降低局部变异。类似地，由过度处理引起的暗度也可以减少局部变化。因此，我们使用局部熵图作为指导，重点放在清晰的补丁，即恢复良好的区域在每个阶段。将N表示为围绕Js中的pixel位置p的相邻像素的集合，并且将qs（p）表示为引导权重qs的像素位置p处的元素。qs（p）被计算为经由残差块的N的局部熵，如下：qs（p）=G（Hs（N），θs）+Hs（N），（7）初始的基于内容的权重wc集中在一个阶段内的区域，但是权重之间的关系不同的阶段仍然不治疗。以图2中JS-1和JS的复原为例，如果我们只考虑单个阶段的内容，对于两幅图像，远距离区域的建筑物比其他区域（如近距离区域的树木）更清晰。然而，只有从语境的角度，即从不同阶段之间的关系来考虑，我们才能注意到阶段S中比S-1阶段恢复得更好。同时，灰霾水平的指导作用也很重要。在舞台上如果图像具有密集的雾度，则后面的恢复阶段更有可能恢复清晰的细节。为了获得每个阶段的综合权重，我们从更高的层次推导出中间上下文权重。分析了各阶段之间的关系，并利用全球灰霾水平的指导，突出了与灰霾状况具有高度一致性的恢复阶段。受[51]的启发，我们采用3281CLs=1我我Nlclvl llvWS的结果。上下文加权被公式化为：PU.在训练过程中，我们随机裁剪-wspss=1把图片的大小为64×64。然后我们把他们送到ws=布拉奇sQ−1i=1LV（1−wi）（wsps）s >1，（九）最小批量为96的网络。CRF模块参数与[47]相同。对于优化，我们采用ADAM算法[18]。初始学习率Q哪里表示逐元素乘积运算符，将所有早期阶段的倒数权重与当前阶段s的权重相乘。wi的逆权由1−wi得到。ps是阶段s与输入图像的雾度并且它是通过利用分类模块学习而获得的。该模块具有与A-net相似的架构和学习为了实现霾等级分类，我们首先定义了S个霾等级，这与等级的数量相一致。与A网类似，模糊图像被发送到网络，但输出S个概率，即由softmax函数归一化并用作{ps}S。t-net为0。001，每5000次迭代减少10倍。 权重衰减为0.005，β1和β2固定为默认值0。九比零。999训练工作在30，000次迭代后停止。A-net是从Resnet-18模型中微调而来的，初始学习率为10−5。其他设置与t-net中的设置相同后第一个训练阶段，我们开始用上述两个子网络的预训练参数对整个网络进行端到端训练。已预训练的层的学习率设置为10- 7。除了它们之外，第一个短语的相同超参数都用在这个阶段。训练数据。 由于很难获得真正的-3.6.网络训练lvs=1的训练数据，我们采用与先前方法[34，5，20，35，52]相似的策略来合成模糊图像整个网络在两阶段方案中进行训练。在第一阶段，t-网和A-网是独立训练的。t-网的参数{θs}S通过min-在N个训练样本上最小化MSE准则Lt使用NYU深度数据集v2 [40]，根据等式（二）、与以往不同的是，为了更好地验证我们的方法在现实世界的雾霾场景中的通用性，我们没有选择来自NYU数据集的图像进行测试。散射系数β选自[0. 四，一。6、大气层Lt=1个N/S||第2条，第（10）项||2, (10)光是从[0. 七，一。0]以合成浑浊样品。Niii=1s =1其中F是3.3节中提到的映射函数Ii是来自N个样本的第i个输入模糊图像，第s级传输对应图像的地面实况。 ts-1是从当前阶段的预测。但是，它只存在于s大于2的时候。A网的参数通过正常的交叉熵损失LA学习：ΣKLA=−pk log（pk），（11）k=1其中p k={p1，p2，. . . ，p K}是第k类A值的真实概率分布，pk是它的估计。在第二阶段，我们用第一阶段学习的参数初始化t-net和A-net，并用多任务损失函数联合优化整个网络：L=Lt+LA+Lc，（12）其中Lc是使差异最小化的恢复损失在预测的无雾图像J和地面实况J4.2. 定量评价我们对RESIDE [21]和O-HAZE [3]两个基准数据集进行了定量评价。RESIDE数据集中SOTS的500个室外图像对总是具有轻度霾。O-HAZE数据集包含45个图像对，其雾度比SOTS更高，可用于测试具有挑战性条件 的 性 能 。 与 [1] 一 样 ， 我 们 使 用 SSIM [45] 和CIEDE2000 [38]进行评估。表1中的第一行报告了我们的方法以及其他最先进的方法对RESIDE数据集1中SOTS的室外图像的结果。我们的产品与最先进的除雾方法相比性能更佳。我们的算法的SSIM和CIEDE2000的指标都达到了最好的性能。这些指数为0.019，0.336优于[20]和[5]中的次优方案，重复性好。图4中的可视化比较也表明，我们可以保持近距离物体（如公共汽车和地面）的清晰纹理，颜色的保真度也得到了保留，恢复的图像也得到了保留。不像[14]那样过度饱和，也不像[52]那样过度暴露当Lc=1时，在N个样本上4. 实验4.1. 实验设置Ni=1 ||二、||2.O-HAZE数据集的比较如表1的第二行所示。面对挑战性的条件，1注意，在最新发布的SOTS版本中有室内和室外两个分支，这与[21]中所述略有不同。 我们的比较是在户外分支上。 为了公平比较网络参数。 我们的实验是在NVIDIA TITAN X G上使用Caffe框架[17]，在SOTS和O-HAZE之间，利用灰度图像计算SSIM的度量，与文献[3]的结果一致。3282表1.RESIDE和O-HAZE数据集的定量比较数据集DCP [14][34]第三十四话DehazeNet [5][20]第二十话GFN [35]DCPCN [52][48]第四十八话：我的世界驻留SSIM0.7860.8550.8730.9150.8360.8830.8810.8650.934SOTS-室外CIEDE200014.1628.2536.2007.1416.7887.7816.3178.6945.864O-HazeSSIM0.7350.7650.6660.6080.7210.7100.6260.7390.798CIEDE200020.74514.67017.34819.11017.26922.31114.16217.40213.743图4. RESIDE [21]和O-HAZE [3]的SOTS-室外除雾结果的可视化比较。SSIM/CIEDE 2000指标也标记在每个图像下方。(Best以彩色显示并放大。）图5.与其他方法在真实世界图像上的定性比较（最好用彩色和放大的方式观看。）尽管我们的网络比SOTS的网络更致密，但我们的网络性能仍然可以优于现有的作品。与SSIM性能最好的MSCNN [35] 相 比 ， 我 们 的 方 法 的 绝 对 改 进 约 为0.033。CIEDE2000也比第二好的cGAN方法低0.419[23]，尽管它是在室内和室外数据上训练的从图4中，我们还可以发现，我们的结果保留了全球的无雾图像的颜色保真度时，与其他人相比。在没有过度处理的情况下，还恢复了遥远区域中的密集雾。4.3. 视觉比较与文献[14，34，5，20，35，52，23，48]的定性比较结果如图5所示。在此基础上，我们发现我们的方法在各种条件下都能得到更好的结果我们的结果更清晰地恢复了远距离物体的颜色和纹理与DCP [14]或DCPCN [52]等方法相比，我们的方法在恢复颜色时也避免了过饱和或过曝光，这归因于我们对大气光的适当估计。我们的方法的另一个显著优点是，远距离区域的良好恢复不会以牺牲近距离物体的质量为比较“行人”中突出显示的面部它得益于我们的自适应集成方案，它提供了不同的恢复度，根据不同的区域的退化条件。4.4. 消融研究在本节中，我们研究了我们方法的每个组件对O-HAZE数据集的影响。请注意，除了比较的部分，其他部分都是固定的，作为最终的3283表2.消融研究的定量比较单级网络C多级网络（粗到细）C平均融合（基线）渐进式LSTM网络控制权重CtxtWgt-顺序平衡CtxtWgt-雾度CCCCCCCCCCCCCCC前0.1%大气回归光估计分类CCCCCCCCCCSSIM0.6780.7290.7550.7690.7870.7820.7840.7350.7810.798CIEDE200018.20117.32115.99615.03514.64014.67314.54915.73314.49313.743*CntWgt=基于内容的加权，CtxtWgt=上下文加权渐进式战略。从表2中可以看出，单级网络的结果最差。相比之下，即使仅以粗到细的方式训练，多级网 络 也 可 以 在 0.051 处 提 高 SSIM ， 在 0.052 处 提 高CIEDE2000。0.88. 结果表明，多级网络的性能优于单级网络。与由粗到细的网络相比，无论采用何种集成策略，逐步训练的网络都能基本的一个平均的所有阶段的改进指标在0.026和1.325的粗到细的一个，它显示了我们的渐进式学习策略的有效性。一体化方案。LSTM方案的控制组通过直接递归结构来生成权重，它可以被视为一种基于一般注意力机制的策略。我们可以看到它在基线上将指标提高到0.014和0.961。当它转向领域知识为基础的注意与知识网络，改善变得更加显着。即使仅由局部熵引导，度量也在平均基线上改进为0.032和1.356。对于上下文加权，雾霾水平的全局指导比仅考虑顺序关系的指导可以获得稍好的性能我们还发现，基于内容的加权结果的基础上，上下文加权可以帮助提高性能。否则，它不如基于内容的。这一现象说明对各个阶段的正确预测是最终整合的基础。大气光估计。传统的估计从顶部0。暗通道中的1%像素lim-它的性能，因为它很容易受到高强度的对象。与之相比，使用MSE损失（回归）训练的A子集可以在0.046和1.24处大幅提高性能。将估计视为分类任务可以使A的估计更精确，并且进一步改进0.017和0.018处的度量。0.75关于损失的影响研究了E-q中不同损失项的影响. (11)在表3中测试由于Lt和LA用于学习两个参数的散射模型，它是不适当的，分别测试。因此，我们测试了Lt+LA和Lc。在Lt+LA的情况下，SSIM为0.791，高于Lc为0.014的组 结果表明，该散射模型可以有效地恢复结构，模糊图像的真实细节而 Lc的CIEDE2000值略低，为0.083，说明Lc对保持修复体的色彩保真度更为重要。表3.损失函数中不同项的影响。SSIM CIEDE2000仅Lt+LA0.79114.453仅信用证0.77714.370L0.79813.7435. 结论在本文中，我们提出了一个端到端的水平感知渐进网络的单图像去雾。它首先同时预测透射光和大气光，并输出具有逐渐增加的去雾水平的恢复然后，我们认为，作为一个序列，并采用一个分层的计划，计算每一个阶段的权重。为了挑选每个阶段的清晰区域并将它们融合在一起，我们提出了一个层次化的集成方案，该方案具有用于解决网络中的阶段的雾的领域知识。在两个典型雾霾数据集和真实图像上的实验结果验证了本文方法的有效性。鸣谢本工作得到国家重点研发&计划项目（2018YFC 0807500 ） 、 国 家 重 点 研 究 发 展 计 划 项 目（ 238 ） 、 国 家 自 然 科 学 基 金 项 目 （ 61772396 、61472302、61772392）、中央高校基础研究基金项目（ 2018 YFC 0807500 ） 、 国 家 自 然 科 学 基 金 项 目（61772396、61472302、61772392）、国家自然科学基金项目（2018 YFC 0807500）、国家自然科学基金项目（2018）、国家自然科学基金项目JB 170306、JB170304、JBF 180301、西安市重点实验室-大 数 据 与 智 能 视 觉 演 讲 ， 批 准 号 ：201805053ZD4CG37。3284引用[1] Cosmin Ancuti，Codruta Orniana Ancuti，and ChristopheDe Vleeschouwer. D-hazy：用于定量评估去雾算法的数据集。见ICIP，第2226-2230页。IEEE，2016.[2] Codruta Orniana Ancuti和Cosmin Ancuti。多尺度融合的单幅图像去雾。TIP，22（8）：3271-3282，2013年。[3] Codruta Orniana Ancuti，Cosmin Ancuti，Radu Jumfte，and Christophe De Vleeschouwer.O-haze：一个具有真实的雾和无雾户外图像的去雾基准。在CVPRW，2018年。[4] Dana Berman，Tali Treibitz，and Shai Avidan.非本地图像去雾。在CVPR，第1674-1682页[5] 蔡 博 伦 、 徐 祥 民 、 贾 奎 、 青 春 梅 、 陶 大 成 。Dehazenet：用于去除单一图像雾度的端到端系统。TIP，25（11）：5187[6] Qi Chu ， Wanli Ouyang ， Hongsheng Li ， XiaogangWang，Bin Liu，and Nenghai Yu.基于cnn的单目标跟踪器与时空注意机制的在线多目标跟踪。在ICCV，第4836-4845页[7] Xiao Chu，Wei Yang，Wanli Ouyang，Cheng Ma，AlanL Yuille，and Xiaogang Wang.用于人类姿态估计的多上下文注意。在CVPR中，第1831-1840页[8] Raanan Fattal单一图像去雾。在SIGGRAPH中，第1-9页[9] Raanan Fattal使用颜色线进行去雾处理。ACM TOG，34（1）：1[10] 陈峰，卓少杰，张小鹏，沈亮，萨宾·苏斯特伦克。近红外引导彩色图像去模糊。在ICIP中，第2363-2367页[11] Adrian Galdran、Aitor Alvarez-Gila、Alessandro Bria、Javier Vazquez-Corral和Marcelo Bertalmło。论视网膜与图像去雾的二重性。在CVPR，2018年。[12] Alex Graves Greg Wayne和Ivo Danihelka神经图灵机。arXiv预印本arXiv：1410.5401，2014。[13] 尼古拉斯·豪蒂埃，让-菲利普·塔雷尔，迪迪埃·奥贝尔和埃里克·杜蒙。通过可见边缘的梯度比进行盲对比度增强评估 图像分析立体声，27（2）：87[14] 何开明，孙建，唐晓鸥。使用暗通道前去除单个图像见CVPR，第1956- 1963页。IEEE，2009年。[15] 何开明，孙建，唐晓鸥。引导图像滤波。在ECCV中，第1-14页。施普林格，2010年。[16] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。CVPR，第770-778页，2016年[17] 杨青贾，埃文谢尔哈默，杰夫多纳休，谢尔盖卡拉耶夫，乔纳森龙，罗斯Girshick，塞尔吉奥瓜达拉马，和特雷弗达雷尔。Caffe：用于快速特征嵌入的卷积架构。在ACM MM中，第675-678页。ACM，2014年。[18] Diederik P Kingma和Jimmy Lei Ba。Adam：随机最佳化的方法2015年，国际会议[19] Johannes Kopf 、 Boris Neubert 、 Billy Chen 、 MichaelCohen 、 Daniel Cohen-Or 、 Oliver Deussen 、 MattUyttendaele和Dani Lischinski。深度照片：基于模型的照片增强和查看。ACM TOG，27（5），2008年。[20] Boyi Li，Xiulian Peng，Zhangyang Wang，Jizheng Xu，and Dan Feng. AOD-net：一体化去雾网络。在ICCV，第4770-4778页[21] Boyi Li，Wenqi Ren，Dengpan Fu，Dacheng Tao，DanFeng，Wenjun Zeng，and Zhangyang Wang.对单图像去雾及其他方面进行基准测试。TIP，28（1）：492[22] Hongyang Li ，Yu Liu ，Wanli Ouyang，and XiaogangWang. 放大和放大网络，并进行区域建议和对象检测的地图注意力决策IJCV，127（3）：225-238，2019。[23] Runde Li，Jinshan Pan，Zechao Li和Jinhui Tang。基于条件生成对抗网络的单幅图像去雾。在CVPR，2018年。[24] Xia Li，Jianlong Wu，Zhouchen Lin，Hong Liu，andHongbin Zha.循环压缩激励上下文聚合网络用于单图像去噪。参见ECCV，第262-277页。Springer，2018.[25] Yunan Li ， Qiguang Miao ， Jianfeng Song ， YiningQuan，and Weisheng Li.基于雾霾物理特性和自适应天空区域检测的单幅图像雾霾去除。神经计算，182（3）：221[26] Yu Li，Shaodi You，Michael S Brown，and Robby TTan.霾能见度增强：调查和量化基准。CVIU，165：1[27] Zhengguo Li和Jinghong Zheng。使用全局引导图像滤波的单图像去雾。TIP，27（1）：442-450，2018。[28] Qi Liu，Xinbo Gao，Lihuo He，and Wen Lu.具有深度感知的非局部全变分正则化的单幅图像去雾。TIP，27（10）：5178[29] 厄尔·J·麦卡特尼。大气层光学：分子和粒子的散射。约翰威利父子公司纽约，1976年。[30] 孟高峰，王颖，段江永，施明，潘春红.结合边界约束和上下文正则化的高效图像去雾。载于ICCV，第617-624页。IEEE，2013。[31] Srinivasa G Narasimhan和Shree K Nayar。视觉和氛围。IJCV，48（3）：233[32] Srinivasa G Narasimhan和Shree K Nayar。使用物理模型对图像进行交互式载于ICCVW，2003年。[33] Alejandro Newell，Kaiyu Yang，and Jia Deng.用于人体姿态估计的堆叠沙漏网络。参见ECCV，第483-499页。施普林格，2016年。[34] Wenqi Ren，Si Liu，Hua Zhang，Jinshan Pan，XiaoxunCao，and Ming-Hsuan Yang.基于多尺度卷积神经网络的单图像去雾。在《欧洲法院判例汇编》，第154- 159169.施普林格，2016年。[35] Wenqi Ren ， Lin Ma ， Jiawei Zhang ， Jinshan Pan ，Xiaoxun Cao，Wei Liu，and Ming-Hsuan Yang.基于选通融合在CVPR，2018年。3285[36] Sanchayan Santra，Ranjan Mondal和Bhabatosh Chanda。学习一个补丁质量比较单图像去雾。TIP，27（9）：4598[37] Yoav Y Schechner ， Srinivasa G Narasimhan 和 Shree KNayar。透过薄雾的基于偏振的视觉。Applied Optics，42（3）：511[38] Gaurav Sharma ， Wencheng Wu ， and Edul N Dalal.ciede2000色差公式：实施说明、补充测试数据和数学观察。Color Research Application，30（1）：21[39] S