近端去雾网：基于先验学习的深度网络单幅图像去雾

近端去雾网：基于先验学习的深度网络单幅图像去雾董扬与孙健西安yangdong2010@stu.xjtu.edu.cn，jiansun@xjtu.edu.cn抽象。在雾霾天气下拍摄的照片通常被白色口罩覆盖，往往会丢失重要的细节。在本文中，我们提出了一种新的深度学习方法，通过学习暗通道和传输先验知识来进行单幅图像去雾。首先，我们建立了一个能量模型去雾使用暗通道和传输的先验知识，并设计了一个迭代优化算法，这两个先验知识使用邻近算子。其次，我们通过使用卷积神经网络学习邻近操作符，将迭代算法展开为深度网络，称为邻近去雾网。我们的网络结合了传统的基于先验的去雾方法和深度学习方法的优点，通过将与雾相关的先验学习纳入深度网络。实验表明，我们的方法达到了国家的最先进的性能，单图像去雾。关键词：单幅图像去雾，先验学习，深度神经网络1介绍霾是灰尘、烟雾或干燥颗粒使场景的清晰度模糊的大气现象对于雾，由于在大气中的吸收，只有一部分反射光到达观察者基于该观察，模糊场景的捕获图像I可以被建模为直接衰减和空气光贡献的线性组合[7，11，27，28]：I（x）=J（x）T（x）+A（1-T（x）），（1）其中I是被雾度退化的图像，J是场景辐射或无雾图像，A是全局大气光，T（x）=exp（−ηd（x））是沿着视锥的介质透射，其取决于散射系数η和场景深度d（x）。单幅图像去雾是一个病态的反问题，需要恢复来自单个输入图像I的未知无雾图像J、大气光A和透射T。因此，有必要研究有效的haze相关的先验规则化这个逆问题。传统的单图像去雾方法[2，5，7，11，18，27，28，30，31，38]已经研究了各种图像先验。Tan等人[28]假设模糊图像的对比度低于无模糊图像，并提出在MRF框架下最大化模糊图像的对比度Fattal [7]使用独立分量分析来估计朦胧场景中的透射，假设透射和表面阴影是2D. Yang和J. 孙（a）（b）（c）（d）(e)（f）（g）（h）图1.一、 单个图像去雾结果。（a）输入模糊图像。（b）使用DCP恢复无雾图像(c)输入图像的暗通道。(d)DCP的传输图。(f)无雾图像，暗通道，通过我们的网络传输. (e)图像块的比较。局部不相关。He等人。[11]基于无雾图像的颜色通道的局部最小值接近于零的观察，这些基于先验知识的方法是有效的，在单图像去雾由于先验知识的调查和理解的物理机制的雾。然而，这些先验主要是基于人类的观察，并不总是适用于不同的现实世界的图像。例如，暗通道先验[11]对于大多数户外图像是有效的，但对于那些包含白色风景的图像（如天空区域中的白墙或云）通常失败，如图12所示。第1段（b）分段。最近，基于学习的方法[4，14，15，20，21，29，34]已被引入图像去雾。Ren等人。[20]提出了一种多尺度卷积神经网络（MSCNN），用于学习模糊图像的透射图它由一个粗尺度网络预测整体传输图和一个精细尺度网络的精炼的地图。受雾相关特征的启发，Cai et al.[4]提出了一种可训练的端到端系统，称为DehazeNet，用于传输估计，具有专门设计的特征提取层。而不是估计传输地图和大气光分别，李等人。[14]通过将T和A的估计嵌入到学习新的K-模块中来提出AOD-Net它通过轻量级CNN直接生成干净的图像。基于学习的方法已经显示出有希望的结果为单图像hazing。然而，与传统方法相比，这些方法通常采用CNN来学习从输入模糊图像到传输或无模糊图像的映射在本文中，我们提出了一种新的基于深度学习的方法，该方法将雾度成像模型约束和图像先验学习集成到单个网络架构中。首先，基于雾霾成像模型，我们制定了一个能量模型的单图像去雾成像约束的颜色和暗通道空间，正则化暗通道和传输先验的逆问题。其次，我们设计了一个迭代优化算法，使用半二次分裂，联合估计近端除雾网3透射图和潜在无雾图像。第三，我们将这种迭代算法展开为一个深度架构，称为近端去雾网，通过使用卷积神经网络学习其相应的近端算子来隐式学习传输和暗通道先验。我们通过消融研究证明了学习的暗通道和传输先验的有效性，并且学习的近端去雾网在真实和合成数据集上产生了最先进的结果。据我们所知，这是第一个使用CNN来学习暗通道和传输先验以进行单图像去雾的工作与传统的基于先验的方法相比，我们的方法可以从训练数据中有区别地学习haze相关的先验，而不是使用手工制作的先验。与基于深度学习的去雾方法相比，我们的方法将雾成像约束和雾相关先验学习结合到网络架构中，这可能为解决具有挑战性的去雾逆问题提供一种有前途的基于学习的方法。2相关工作2.1暗通道与我们最相关的工作是暗通道先验[11]（DCP）方法。图像的暗通道定义为：Idk（x）= minc∈{r，g，b}.miny∈Ω（x）.Ic（y）ΣΣ、（二）其中Ic是I的颜色通道，Ω（x）是以x为中心的局部面片。暗通道先验假设，在大多数非天空斑块中，无雾室外图像的至少一个颜色通道在一些像素处具有非常低的强度根据暗信道先验，传输可以被估计为：T= 1−ωminc∈{r，g，b}.miny∈Ω（x）. Ic（y）ΣΣ一个c.（三）DCP对于去雾是有效的，但当场景颜色接近大气光时可能会失败代替如在DCP中那样将暗通道约束为接近于零，我们通过使用卷积神经网络从训练数据学习其对应的邻近映射来学习暗通道先验，潜在地能够很好地近似无雾图像的暗通道，如图1B所示。1.一、2.2学习CNN用于图像逆问题最近，已经有几项工作在深度学习框架中解决图像逆问题Zhang等人[36]训练一组有效的去噪器，并将其作为模块插入半二次分裂算法的方案中。Mein-hardt等人。[17]使用原始-对偶混合梯度方法解决图像处理中的逆问题，并用去噪神经网络代替邻近算子。在[22，33，35]中，通过在迭代优化算法的方案这些方法可以很好地解决4D. Yang和J. 孙¨线性逆问题，例如去噪、超分辨率、修复、非盲去卷积、压缩传感MRI等。与这些工作相比，本文重点研究了单幅图像的去雾问题，这是一个具有挑战性的成像模型中未知变量较多的反问题。在这些作品中，我们没有使用常见的线性逆模型，而是将单个图像去雾指定为具有暗通道和传输先验的非线性逆问题（将在第3节中讨论）。然后，我们提出了一个迭代求解器，并建立了一个深的architec- ture结合先验学习的单一图像去雾。本文提出的能量模型和去雾网络是新颖的，学习网络在单幅图像去雾中取得3作为逆问题的去雾在本节中，我们首先构建具有暗通道和传输先验的能量函数，然后提出基于半二次分裂（HQS）算法的能量最小化迭代求解器所提出的能量模型及其迭代优化算法是构建我们的近端除雾网的基础，如第节所讨论的。4.第一章3.1除雾能量模型考虑等式（1）中的雾度成像模型。(1)对于一个模糊图像I∈RM×N×3，我们假设一个已知的全球大气光A∈R3，并对方程的两边进行（1）通过每个颜色通道中的AIc（x）一个c为Jc（x）一个cT（x）+（1−T（x）），c∈{r，g，b}.（四）为简单起见，我们用Pc表示Ic/Ac，用Qc表示Jc/Ac。然后P、Q分别表示缩放的模糊图像和潜在的无模糊图像因此等式。（4）可以用简明的形式改写为：Pc=Qc<$T+（1−T），（5）其中◦是矩阵的元素乘积我们进一步假设，在局部补丁内，传输映射T如[11]中那样是恒定的，则它成立：Pdk=Qdk◦T+ 1−T，（6）其中Pdk、Qdk是P、Q的暗通道。通过执行Eqn。(5)在颜色空间和Eqn. (6)在暗通道空间中，作为损耗项，我们设计了一个去雾能量函数：α Σ¨c¨2E（Q，T）= 2c∈{r，g，b}¨Q◦T+1−T−P¨（七）β¨+¨Qdk2◦T+1 −T−P dk¨2F +f（T）+g（Qdk），其中α和β是数据项的系数。f（T）和g（Qdk）是对透射图T和暗通道Qdk上的先验进行建模的正则化项。优化F近端除雾网5Fngn−1无雾图像Q*和透射图T*可以通过求解以下优化问题来获得{Q*，T *}= arg min E（Q，T）.（八）Q、Tf和g的正则化项。 这两个项分别对传输先验和暗通道先验进行建模。可以为它们获取多个图像先验，例如，对于暗通道g可以取为L0或L1正则化子，其强制暗通道接近于零。 透射图与深度密切相关，是分段线性的，其正则化子f可以由MRF [8，19]或TGV [5]等建模。然而，我们没有使用这些手工设计的正则化，而是将它们设置为不确定性，并旨在使用深度学习方法从数据中学习它们。与DCP方法的关系 我们发现DCP方法是我们模型的一个特例。当α= 0，f（T）= 0且g（Qdk）严格强制Qdk= 0时，则等式（1）（7）具有透射T=1−Pdk的解，其与等式n中的DCP相同（3）当ω= 1时。DCP中软抠图的后处理过程充当隐式传输正则化给定这个能量模型，我们接下来分别在3.2节和4节中介绍如何设计其优化3.2模型优化我们现在解决等式11的优化问题（8）采用半二次分裂（HQS）算法。HQS算法已广泛用于求解图像逆问题[9，10，13，32，35]。通过引入辅助变量U来替代潜在无雾图像的暗通道QdkαE（Q，T，U）=2Σc∈{r，g，b}Qc（九）+β<$U<$T+1 −T−Pdk<$2+γ<$U−Qdk<$2+f（T）+g（U），2楼2楼其中γ是惩罚权重，并且当γ→ ∞时，最小化等式（1）的解是：(9)收敛到最小化Eqn的值。（七）、我们初始化Q0=P和T0的所有元素是1，然后对于HQS算法的迭代n，最小化Eqn。（9）可以实现通过解决交替更新U、T和Q的三个子问题。更新U。给定迭代n-1时的估计无雾图像Qn-1和透射图Tn-1，辅助变量U可以更新为：U= arg minβU oT+1−T−Pdk2+γU−Qdk2+g（U）， （10）nU2n−1n−1F2n−1F从中我们可以得出哪里1ΣU=近端1Bn.Σ乌恩 、（11）Σn=Bn βTn−1<$（Pdk+Tn−1−1）+γQdk、（十二）6D. Yang和J. 孙2Fnfn−1Cnbn=βTn−1◦Tn−1+γ。近端算子定义为：12proxλg（V）= arg minX−VF+λg（X），（13）X假设g（X）对于矩阵X中的不同元素是可分的。更新T. 我们接下来更新传输图T。给定Qn−1和Un，αΣ不= arg minQc◦T+1−T−Pc2n2Cn−1F（十四）β+Un2◦T+1 − T −P dk2+ f（T）。然后我们导出哪里1ΣΣT=近端1Cn.ΣT，（15）ΣTn=cCnn−1 −1）◦（Pc−1）+β（Un−1）◦（Pdk−1），（16）Σcn=cn−1 −1）◦（Qc−1）+β（Un−1）◦（Un−1）。更新Q。给定Τη和Uη，无雾图像Q被更新为：αΣQ= arg minQc◦T+1−T−Pc2+γQdk−U2。（十七）n2CnnF2nF计算暗通道是从每个像素周围的局部色块中提取最小值。该操作可以通过具有一个指示符的值的矩阵D来实现−−→→−→−确定所提取的最小值的位置，即，Qdk=DQ，其中Q是向量化的Q.我们进一步将Tn∈RM×N×3表示为矩阵，每个颜色通道为Tn。然后等式(17)可以重写为：→−α→−−→−→→−2γ→−−→2Qn= arg min→−Q2Q◦Tn+1−Tn−P2+2DQ−Un2，（18）其解决方案是：→−→−−→−→⊤−→Q=α（P+Tn−1）◦Tn+γD Un。（十九）n−→−→αTn◦Tn+γdiag（D D）−→更新的无雾图像Qn可以通过将Qn重新整形回矩阵来导出，其中输入图像的大小相同注意，等式中的除法（12）、（16）、（19）都是上述方程的详细推导可以在补充材料中找到。特殊情况如果我们通过设置Σf（T）=0和将暗通道正则化项设置为L1范数，即， g（Qdk）=x∈Ω |Qdk（x）|在实施暗通道稀疏且接近于零的情况下，那么对应的近端等式中的运算符(11)和（15）定义为：近端1Bn （Un）=softThresh（Un1， ），（20）Bnprox 1f（Tn）=Tn，（21）α（Qα（QG不Q近端除雾网7BnCn(a)输入（b）DCP的结果（c）Ener-L1的结果（d）近端除雾网图二. 真实图像去雾的示例。其中softThresh（·，1/bn）是具有阈值1/bn的软阈值函数[6]。我们将此作为我们方法的基线，记为Ener-L1.Ener-L1的示例如图所示。第2段（c）分段。Ener-Ll确实有效地用于雾度去除，其与DCP相当。通过如将在下一节中讨论的先前学习，我们的近端去雾网可以更好地恢复无雾图像，如图2所示。第2段（d）分段。4近端除雾网基于上述迭代优化算法，我们构建了用于单幅图像去雾的深度神经网络，如图所示。第3（a）段。该网络是具有N个阶段的结构，其在用于求解等式（1）的迭代优化算法中实现N次迭代。（八）、每一级将前一级的输出Un−1、Tn−1和Qn−1（分别表示暗通道、透射图和无雾图像）作为输入，并计算更新的Un、Tn和Qn。代替手动设置等式11的能量函数中的g（·）和f（·）的正则化项（对暗通道和传输先验进行建模）（7）、我们使用深度CNN学习它们相应的邻近算子prox1g和prox1f来更新UnBNC N和每个阶段n中的Tn：Un=prox 1g（Un），G（Un），ˆ ˆ（二十二）Tn= prox1f（Tn），F（Tn），其中G和F是要学习的用于表示对应的近似运算符的深度CNN通过这种方式，我们设计了一个端到端的训练架构，称为近端去雾网。接下来我们将介绍网络结构。4.1网络设计如图3（a）中，邻近去雾网络的每个阶段实现第3.2节中讨论的模型优化的一次迭代，并且邻近算子由如等式2中的卷积神经网络代替。（二十二）、我们现在介绍每个阶段的网络结构请参考图 3（b）更好地理解。 F或第n级，Un首先由等式n计算。（12）然后发送8D. Yang和J. 孙111GFN…输入级-1级-输出(a) 用于图像去雾的(b) 第级网络结构图三. 近端除雾网的结构。(a)网络由多个阶段组成。输出U*、T*、Q*是估计的暗通道、透射图和去雾图像。(b)第n级的详细架构，其中变量Un、Tn和Qn由第节中描述的算法连续更新3.2. D-Net用于学习暗通道先验的邻近映射GT-Net和GIF-Block将学习用于传输之前的邻近映射F。转换成卷积神经网络，即， D-Net，用于执行近端标测近端1 .Bn更新后的暗通道为：Un=G（Un），D-Net（Un，P），（23）其中我们将Un与模糊图像P连接作为输入。类似地，首先使用等式（1）计算T n。（16），然后与P级联并发送到另一个卷积神经网络，T-Net和GIF块，以执行proxl的近似映射。更新后的传输图为：Cn.ˆΣTn=F（Tn），GIF块T-Net（Tn，P），（24）T-Net和GIF-Block分别负责传输估计和引导图像滤波（GIF），以更好地与图像边缘对齐。最后，对于Qn−1，Un和Tn，我们使用等式n得到更新后的Qn。（十九）、在N个阶段之后，最终估计的无雾图像J具有对于c∈{r，g，b}的Jc= Qc A c的通道。 我们根据[11]估计大气光A。 介绍了D-Net、T-Net和GIF-Block的结构。D-Net和T-Net D-Net和T-Net具有相似的结构。它们都包括三个级联卷积块。每个块由卷积层、ReLU层、池化层和上采样层组成。这些块中的卷积层分别具有9个7×7滤波器、9个5×5滤波器和9个3×3滤波器最后一个块然后是另一个卷积层，其中有一个1×1滤波器。则输出映射为最后发送到D-Net的ReLU层或T-Net的sigmoid层ReLU层目的是保持输出暗通道U非负，而S形层是保持输出透射图T在[0，1]内。GIF块。GIF-Block执行标准引导图像滤波[12]。该块强制透射图沿着边缘与图像很好地对准。如图在图3（b）中，GIF-Block将输入图像P作为引导并执行引导图像P。-1，-1�D-net−1�T-N et GIF-B锁−1∗∗∗近端除雾网9我我*TT中文（简体）(a) 输入（b）U=G（U）（c）T=F（T）（d）输出图4.第一章 使用CNN学习暗通道和传输先验的邻近映射的有效性。（b）（c）中的左图像和右图像分别表示用于暗通道和传输的邻近映射G和F的输入和输出（d）我们的最终除雾结果。对T-Net的输出进行滤波.Σ。ΣGIF-BlockT-Net（Tn，P） ，GIFPT-Net（Tn，P）、（二十五）使用具有P的引导的引导滤波算子GIFP。GIF块是实现由计算图表示的引导滤波的可区分块。它是我们端到端可培训系统的一部分，而不仅仅是一个后处理步骤。有关GIF-Block的算法和计算图的更多细节可以在补充材料中找到。为了说明对于这些邻近映射所学到的内容，在图1中。在图4中，我们示出了我们使用学习的邻近去雾网学习的暗通道和传输的邻近映射的示例图图4（b）、（c）分别示出了在图4（b）和图4（c）中所示的实施例之前和之后的暗通道和透射图。G和F的邻近映射。我们可以观察到，所学习的邻近映射G产生具有低值的合理的暗通道，但是对于白窗保持高值学习的邻近映射F产生与底层场景深度一致的平滑透射4.2网络训练每个训练图像的训练损失被定义为邻近去雾网络{Q_n，T_n，U_n}的输出与地面真值之间的像素级L1距离{Qgt，Tgt，Ugt}：Σ=O∈{Q，T，U}Σ<$O<$（x）− Ogt（x）<$1。（二十六）X当训练近端去雾网络时，我们计算损失的梯度w.r.t.方程的输入(11)、（15）、（19）用于反向传播。由于篇幅所限，这些梯度请参考补充资料。在我们的实现中，网络（包括D-Net和T-Net）在不同阶段的参数是不共享的。能量函数中的α和β我们使用MatConvNet1框架实现和训练我们的网络。我们选择亚当求解器与学习率1http://www.vlfeat.org/matconvnet/10D. Yang和J. 孙的0.001。我们使用10的批量大小，通常需要13.6小时在具有12 GB内存的TitanX GPU上训练50个epoch的单5实验在本节中，我们在合成和真实数据集上评估我们的方法，并与近年来提出的其他最先进的去雾方法进行比较。5.1数据集训练数据集。我们的训练数据集由三个RGB-D数据集组成，包括NYU-Depth[26]，Middlebury-Stereo [23-25]和MPI-Sintel [3]。我们从训练数据集中采样了9000对大小为240×240的RGB-D图像块根据雾度成像模型Eqn. (1)，给定A和η，模糊图像和透射由干净图像及其对应的深度图生成。对于每对RGB-D图像块，我们随机选择A∈[0. 7，1]和η∈[0. 五一5）生成地面实况透射图和模糊图像，然后从干净的形象。因此，我们构建了一组9000个训练样本，包括模糊图像，地面真实无雾图像，透射图和暗通道。测试数据集。为了定量评估去雾方法，我们建立了两个基准数据集对于TestA，我们使用来自NYU、Middlebury和Sintel数据集的RGB-D图像（不与训练图像重叠）来生成548个全尺寸模糊图像。我们还通过在Haz-eRD [37]数据集上应用不同的雾度来建立包括128个图像的更真实的数据集TestB在测试A中，图像是在室内拍摄的或计算机生成的，因此不同于真实世界的室外朦胧图像。HazeRD提供真实的户外图像与高质量的深度信息，因此使我们能够更好地模拟真实的户外图像下拍摄的朦胧条件。5.2合成数据集的结果我们首先将我们的网络与最近的两个合成数据集比较的方法包括暗通道先验（DCP）[11]，快速可见性恢复（FVR）[30]，边界约束和上下文正则化（BCCR）[18]，梯度残差最小化（GRM）[5]，颜色衰减先验（CAP）[38]，非局部去雾（NLD）[2]，多尺度CNN（MSCNN）[20]，DehazeNet [4]和AOD-Net[14]。在这些方法中，MSCNN，DehazeNet和AOD-Net是基于学习的方法。对于定量评估，我们显示了平均峰值信噪比（PSNR）和结构相似性（SSIM）恢复图像和地面实况之间的指数。如表1所示，我们的近端去雾网在TestA上的PSNR和SSIM值方面都取得了最佳结果，并将DCP [11]方法的PSNR显著提高了近1dB。由于所有基于学习的方法都不包括TestB中的图像作为训练数据，因此在TestB上比较它们是公平的如表1所示，我们的方法近端除雾网11(a)TestA输入表1. 合成数据集TestA和TestB上的去雾结果。我们给出了通过比较的方法恢复的图像的平均PSNR和SSIM。方法DCP [11] FVR [30] BCCR [18] [38]全国民主联盟[2]GRM [5] [20]DehazeNet [4]美国AOD-Net [14] 我们种皮PSNRSSIM18.320.824415.180.759916.000.755616.630.705017.870.797818.450.804317.370.756419.170.788818.000.792819.310.8388TestB PSNRSSIM17.660.843016.170.847216.310.833718.560.825618.820.835517.470.792119.100.854019.530.849818.130.826620.140.8932地面实况DCP（17.58; 0.90）MSCNN（18.10; 0.88）DehazeNet（19.06; 0.89）我们的（19.83;0.92）(b)TestB输入地面实况DCP（19.17; 0.91）MSCNN（20.78; 0.87）DehazeNet（23.56; 0.85）我们的（26.01;0.94）图五、 来自测试A和测试B的两个示例的去雾结果。我们通过不同的方法显示恢复的括号中示出了去雾图像的PSNR和SSIM值在TestB上实现了最高的PNSR和SSIM，并且在PSNR方面超过了第二好的在图5中，我们示出了来自测试A和测试B的去雾结果和对应的透射图与其他方法相比，我们的近端去雾网络可以更好地估计透射图，并产生视觉上更愉快的无雾图像，具有最高的PSNR和SSIM值。尽管DehazeNet [4]实现了如表1所示的相对高的PSNR，但其结果仍包含如图1所示的雾五、另一方面，DCP [11]可以有效地去除雾度，但有时可能会过度增强这些结果中的颜色对比度作为比较，我们的方法可以很好地控制去除的雾度的量，并产生视觉上自然的结果。5.3真实数据集上的结果在图6中，我们还评估和比较了我们的网络与最近的最先进的方法[4，11，14，20，38]在现实世界的朦胧图像。真实世界的例子图像收集从互联网和以前的作品。对于传统的方法，如DCP [11]和CAP [38]，雾度被显著去除，并且结果具有高颜色12D. Yang和J. 孙1234567(a) 输入（b）DCP [4]（c）CAP [7](d)[第10话]（e）DehazeNet [11] （f）AOD-Net [12]见图6。真实图像上的去雾效果。请放大以便更好地说明。对比度。然而，CAP有时会模糊图像纹理并导致颜色过饱和，如在图2的第2和第4图像中观察到的。6. DCP不能正确处理天空区域，并且可能引入伪影，如图4的第4、第5和第7图像所示。6.有趣的是，在合成数据集上训练的基于学习的方法[4，14，20]可以很好地推广，为真实图像去雾产生视觉上令人愉快的结果。然而，如图4的第4和第6图像所示。6，MSCNN [20]有时会导致颜色失真，这使得恢复的图像看起来不自然。DehazeNet [4]虽然在合成数据集上实现了高PSNR值，但并不像其他方法那样有效地去除雾，例如图1的第1、第3和第7图像。6. AOD-Net [14]通常会略微降低图像亮度，有时会导致前景场景褪色，如图3和图6所示。6.我们的近端去雾网将雾成像模型与深度学习相结合，可以有效地去除不同数量的雾，同时仍然保持视觉上的自然和愉快。5.4消融研究为了研究学习暗通道和传输先验对我们的网络的影响，我们分别丢弃等式（1）中的暗通道正则化g（U）和传输正则化f（T）。（九）、然后，我们将没有学习暗通道先验的近端去雾网表示为Net-ND，并且将没有学习传输先验的近端去雾网表示为Net-NT。我们从头开始用一个阶段训练Net-ND和Net-NT，并与Ener-L1进行比较（参见第节）。3.2)和Net-S1（我们的近端去雾网，带一个阶段）。我们表明近端除雾网1319.500.8720.140.890.8216.9715.420.6821.0221.2421.2020.140.890.900.910.91SSIMPSNR221.0221.0200.9200.9180.818160.7160.80.7140.6140.612Ener-L1 Net-ND Net-NTNet-S1PSNRSSIM（一）0.512Net-S1Net-S2PSNR(a)Net-LSSIMNet-M0.5见图7。在TestB数据集上比较不同的网络架构。(a)结果我们的proximal dehaze-net和网没有事先学习。（b）我们的网络在不同复杂性下的结果PSNR和SSIM在Fig.第7（a）段。与Net-Sl相比，没有学习传输先验的Net-NT使PSNR降低0.64dB，并且没有学习暗信道先验的Net-ND使PSNR降低4.72dB，甚至低于Ener-Ll。因此，学习两个先验，特别是暗通道先验，对于我们的方法是必不可少的。为了评估模型复杂度对性能的影响，我们训练了具有不同过滤器大小、过滤器数量和阶段数量的近端去雾网。对于Net-L，我们通过将所有卷积核设置为7×7来使用更大的滤波器大小。对于Net-M，我们在每个卷积层中使用64个而不是仅9个滤波器。我们还用2个阶段训练了我们的近端去雾网，表示为Net-S2。我们在TestB上显示了PSNR和SSIM在图7（b）中，从中我们可以看出，增加的网络复杂度将PSNR提高了0.88 dB以上。然而，我们没有观察到显着的定性改善，视觉上使用这些更复杂的网络。此外，增加网络复杂性增加了运行时间。具体来说，就是在单个GPU上的运行时间在480×640的图像上，它们的平均时间分别为：Net-S1为0.058s，Net-S2为0.096s，Net-L为0.077s，Net-M为0.143s。为了提高效率，我们采用Net-S1作为我们的最终模型，所有报告的结果都基于Net-S1。5.5扩展到更多应用虽然我们的网络是针对图像去雾训练的，但我们也可以将其扩展到类似于去雾的其他在图8（a）中，我们示出了水下图像增强的示例。忽略前向散射分量，简化的水下光学模型[1]具有与霾成像模型类似的公式。我们的网络可以有效地消除这种水下图像中的雾状效果。尽管光晕具有不同的成像模式，但它会给图像带来雾状效果。我们的近端去雾网可以直接应用于抗光晕图像增强，而不需要重新训练，如图所示8（b）.图8（c），我们还展示了一个应用于无雾图像的网络示例，我们的网络不会改变图像太多，结果仍然看起来自然和清晰。SSIMPSNR14D. Yang和J. 孙(a) 水下图像增强(b) 防光晕增强(c) 无雾图像见图8。扩展到其他应用程序。(a)重霾图像去雾（b）夜间图像去雾见图9。我们方法的失败案例。5.6限制虽然我们的方法在大多数自然图像上表现良好，但它对在大雾或夜间拍摄照片的某些情况对于第一种情况，如图所示9（a），由于大雾，图像信息丢失严重，很难恢复满意的结果。对于后一种情况，由于夜间雾遵循如[16]中所述的不同成像模型，因此我们的方法未能有效地去除如图1B所示的夜间拍摄的图像中的雾。第9（b）段。然而，如果我们改变我们的去雾能量函数的数据保真度项，以适应夜间图像霾模型，有可能改善的结果。6结论在本文中，我们提出了一种新的近端去雾网的单幅图像该网络将雾度成像模型、暗通道和传输先验集成到一个深度架构中。这是通过使用用于单个图像去雾的暗通道和传输先验来构建能量函数，并在优化启发的深度网络中使用其对应的邻近算子来学习这些先验来这种能量函数和近端去雾网络对于去雾是新颖的，并且学习的网络在合成和真实世界的模糊图像上都取得了有希望的结果在未来，我们有兴趣构建逼真的户外训练数据集，用于去雾或使用户外清晰图像作为生成对抗训练框架中的监督。谢谢。本课题得到了国家自然科学基金项目11622106、61472313、11690011、61721002的资助。近端除雾网15引用1. Ancuti狱警Ancuti角De Vleeschouwer，C.，Bekaert，P.：水下图像增强的色彩平衡与融合。IEEE Transactions on Image Processing27（1），379-393（2018）2. 伯曼，D.，Treibitz，T.，Avidan，S.：非局部图像去雾。IEEE计算机视觉与模式识别会议（2016）3. 巴特勒DJWulff，J.，Stanley，G.B.，布莱克，M.J.：一个用于光流评估的自然主义开源电影欧洲计算机视觉会议（2012）4. 蔡，B.，徐，X.，Jia，K.，Qing，C.，Tao，D.：Dehazenet：用于去除单一图像雾度的端到端系统IEEE Transactions on Image Processing25（11），51875. 陈春，做吧，M.N.Wang，J.：鲁棒的图像和视频去雾，可消除视觉伪影通过梯度残差最小化进行压缩。在：欧洲计算机视觉会议（2016）6. Donoho，D.L.：软阈值去噪。IEEE信息论41（3），6137. 法塔尔河：单一图像去雾。ACM Transactions on Graphics（TOG）27（3），72（2008）8. 法塔尔河：使用颜色线进行去雾处理。ACM图形交易（TOG）34（1），13（2014）9. Geman，D.，Reynolds，G.：约束恢复与不连续性恢复。IEEE Transactions on PatternAnalysis and Machine Intelligence14（3），36710. Geman，D.，Yang，C.：基于半二次正则化的非线性图像恢复IEEETransactions on Image Processing4（7），93211. 他，K.，孙，J.，唐X：使用暗通道前去除单个图像雾度。IEEE计算机视觉与模式识别会议（2009）12. 他，K.，孙，J.，唐X：引导图像滤波。欧洲计算机视觉会议（2010）13. Krishnan，D.，Fergus，R.：使用超拉普拉斯先验的快速图像去卷积。在：神经信息处理系统的进展（2009）14. 李，B.，彭，X.王志，徐，J，Feng，D.：AOD-net：一体化去雾网络。IEEEInternational Conference on Computer Vision（2017）15. Li，R.，Pan，J.，Li，Z.，Tang，J.：通过条件生成对抗网络的单图像去雾在：IEEE计算机视觉和模式识别会议（2018）16. 李，Y.，Tan R.T.Brown，M.S.：夜间除霾与辉光和多种光的颜色。在：IEEE计算机视觉国际会议论文集。pp. 226-234（2015年）17. Meinhardt，T.，Moller，M.，Hazirbas角Cremers，D.：学习近端操作员：使用去噪网络正则化逆成像问题。在：IEEE计算机视觉国际会议（2017）18. Meng，G.，王玉，Duan，J.，Xiang，S.，Pan，C.：结合边界约束和上下文正则化的高效图像去雾。IEEE International Conference on Computer Vision（2013）19. Nishino，K.克拉茨湖Lombardi，S.：贝叶斯除雾International Journal of ComputerVision98（3），26320. Ren，W.，Liu，S.，张洪，Pan，J.，曹，X.，Yang，M.H.：单图像去雾通过多规模卷积神经网络。在：欧洲计算机视觉会议（2016）21. Ren，W.，马，L.，张杰，Pan，J.，曹，X.，刘伟，Yang，M.H.：基于选通融合网络在：IEEE计算机视觉和模式识别会议（2018）16D. Yang和J. 孙22. Rick Chang ， J.H. ， Li ， C.L. ， Poczos ， B. ， Vijaya Kumar ， B.V.K. ，Sankaranarayanan，A.C.：一个网络解决所有问题-使用深度投影模型解决线性逆问题。IEEE International Conference on Computer Vision（2017）23. Scharstein，D.，Szeliski，R.：使用结构光的高精度立体深度图IEEE计算机视觉与模式识别会议（2003）24. Scharstein，D.， Hirschm uüller，H.，Kitajima，Y. Krath w ohl，G.， Ne sˇ i c´，N.，王，X.，Westling，P.：高分辨率立体数据集，具有亚像素精确的地面实况。在：德国模式识别会议（2014）25. Scharstein，D.，Pal，C.：学习立体声的条件随机场。IEEE计算机视觉与模式识别会议（2007）26. Silberman，N. Hoiem，D.，Kohli，P.，Fergus，R.：室内分割和支持从rgbd图像推断。欧洲计算机视觉会议（2012）27. Tan，R.T.：恶劣天气下的可见性，从一个单一的图像。IEEE计算机视觉与模式识别会议（2008）28. Tan R.T.Pettersson，N.Petersson，L.：为有雾或薄雾的道路增加能见度在：IEEE智能车辆研讨会（2007年）29. Tang，K.，杨杰，Wang，J.：在图像去雾的学习框架中研究雾相关特征IEEE计算机视觉与模式识别会议（2014）30. Tarel，J.P.，Hautiere，N.：从单色或灰度图像快速恢复可见性。IEEE InternationalConference on Computer Vision（2009）31. Tripathi，A.，Mukhopadhyay，S.：基于各向异性扩散的单幅图像去雾。IET ImageProcessing6（7），96632. 王玉，杨杰，尹，W.，张毅：一种新的交替极小化算法变分图像重建SIAM Journal on Imaging Sciences1（3），24833. 杨，Y.，孙，J.，Li，H.，Xu，Z.：用于压缩感知磁共振成像的深度admm-net在：神经信息处理系统的进展（2016）34. 张洪，帕特尔，V.M.：密集连接的金字塔式除雾网络。在：IEEE计算机视觉和模式识别会议（2018）35. 张杰，Pan，J.，Lai W.S. Lau R.W.H. Yang，M.H.：学习完全卷积网络，用于迭代非盲解卷积。IEEE计算机视觉与模式识别会议（2017）36. 张，K.，左，W.，Gu，S.，Zhang，L.：学习深度cnn去噪器之前的图像恢复。IEEE计算机视觉与模式识别会议（2017）37. 张玉，丁湖Sharma，G.：Hazerd：一个室外场景数据集和单一图像去雾的基准IEEEInternational Conference on Image Processing（2017）38. 朱庆国，Mai，J.，Shao，L.：基于颜色衰减先验的单幅图像快速去雾算法IEEETransactions on Image Processing24（11），3522