彩色图像去雾及颜色恢复网络

1彩色图像去雾Akshay Dudhane，Kuldeep Biradar，Prashant Patil，Praful Hambarde和SubrahmanyamMurala计算机视觉和模式识别实验室，印度理工学院Ropar，印度2017eez0001@iitrpr.ac.in摘要在恶劣天气条件下拍摄的图像的质量受到色偏和由于大气颗粒物的存在而导致的低能见度的影响。在现有的图像去雾方法中，色彩平衡的恢复往往被忽略在本文中，我们提出了一种多色端到端的图像去雾网络，它可以恢复给定多色模糊图像中的颜色平衡，并恢复无雾图像。提出的网络包括1）雾度颜色校正（HCC）模块和2）能见度改善（VI）模块。建议的HCC模块提供了所需的注意，每个颜色通道，并产生颜色平衡的模糊图像。VI模块通过新颖的初始注意块对色彩平衡后的模糊图像进行处理，恢复出无模糊图像。我们还提出了一种新的方法来产生一个大规模的多色合成朦胧图像数据库。烧蚀研究已经进行了演示的效果，不同的因素对所提出的网络的图像去雾的性能。三个基准合成数据集已被用于定量分析的建议网络。对不同天气条件下拍摄的一组真实图像的视觉效果表明，该方法对彩色图像去雾是有效的。1. 介绍在恶劣的天气条件下，悬浮在大气中的气溶胶极大地吸收和散射光线。在恶劣天气下拍摄的图像看起来很模糊，能见度很低。显然，在恶劣天气下捕获的图像的色偏通常取决于大气颗粒的大小及其性质[11]。例如，烟和雾粒子的混合物导致烟雾天气。在烟雾中拍摄的图像通常以黄色和橙色为主。所捕获图像中的雾度的这种多色外观可能会降低高级计算机视觉应用的性能。提高图1.样本真实世界的杂色朦胧图像和respec- tive无雾图像恢复使用建议的网络。(a)以及（h）属于灰色浓雾，（b）属于夜间霾，（c）、（f）、（g）表示烟雾类别，（d）是阳光的例外情况，以及（e）是轻度霾图像。在恶劣天气下拍摄的影像，除雾是一项重要的工作。现有的图像去雾方法[6，9，13，16-主要是由于可见度的改善，而忽略了去雾图像中色彩平衡的恢复色彩平衡的改善与可视性的提高同样重要。因此，迫切需要一种通用的图像去雾方法，其独立于多色雾度并且能够恢复色彩平衡以及去雾图像中的可见度改善。本文提出了一种端到端的彩色图像去雾网络，它能在给定的彩色模糊图像中恢复色彩平衡，并恢复出无雾图像。使用所提出的网络的样本多色模糊图像和恢复的无模糊图像如图1所示。图1证明了所提出的网络用于去除各种（几乎所有）类型的有色雾的通用性能。在下一节中，我们讨论了现有的图像去雾方法。456445652. 文献调查图像去雾中的初始方法针对使用偏振滤波器[32，33]、相同场景的多个图像[12，26]、手工制作的雾度相关先验[6，16，19，36，37，46]等。暗通道先验是He等人提出的一种基线模糊相关先验. [19]以获得用于图像去雾的粗级深度信息。但在天空区域失效，在复杂边缘结构附近发生晕轮效应.近十年来，研究人员[9，13，28，30，31，39，40]利用卷积神经网络（CNN）学习场景透射图，然后通过大气散射模型恢复无雾图像。Cai等人 [9]提出了深度网络来估计传输图，然后是大气散射模型来恢复无雾图像。Ren等人[30]提出了用于恢复无雾场景的整体传输图估计方法。Santra等人。 [31]提出了基于块的比较器用于传输图估计，并在给定关于大气光的信息时恢复无雾图像。这些方法只优化了中间特征图（透射图和大气光），没有考虑无雾场景的优化因此，每个单独估计步骤中的误差累积并放大了总体误差。在这种情况下，Li等人 [21]通过重新制定用于图像去雾的大气散射模型来整合透射图和大气光Zhang等人。 [44]利用[21]中提出的重构，并提出了快速多尺度端到端图像去雾模型。即使这些方法联合估计中间特征图，它们仍然属于基于大气散射模型的方法，并且当在多色模糊图像上测试时倾向于引入严重的颜色失真。最近，生成对抗网络（GANs）在图像生成方面表现出了良好的性能。Yang等人。 [40]提出了一种用于图像去雾的端到端生成模型。Zhang等人。 [41]提出了完全可训练的双生成器方法来学习中间特征图以去除雾霾此外，Engin et al.[15]利用非配对条件GAN的鲁棒性从模糊场景中恢复无模糊场景。近年来，基于条件GAN的方法主导了现有的基于大气散射模型的方法，特别是在考虑密集雾霾去除时。Dudhane等人[14]提出了一种端到端可训练的残差初始GAN，用于密集的烟雾消除。此外，Guo等人。 [18]开发了一种深度网络来联合估计场景传输图和大气光，并使用来自估计的中间特征图的信息进一步联合恢复无雾图像在单图像去雾的研究中，大气散射模型的使用对去雾有很大的影响图2. (a)所提出的多色图像去雾网络的流程（b）优化生成器1和2的不同方案。颜色恒定性，即它们不具有颜色不平衡。然而，该假设对于沙尘暴、烟雾等天气条件无效。因此，基于大气散射模型[19]的方法在多色模糊图像的情况下经历严重的颜色失真。基于生成模型的方法[13，18]通过考虑训练集中的多色模糊图像在一定程度上显示了性能改善。但它们仍然未能在所有类型的彩色模糊图像中实现通用性能。多色图像去雾的初始工作是Ancuti等人提出的多尺度融合方法。[4，5]。他们通过应用白平衡和组播增强过程，然后采用多尺度融合策略来恢复无雾场景，从而获得两个输入。此外，Haung etal. [20]已经提出了一种用于去除多色雾的可见性增强方法。他们利用灰色世界假设（GWA）[27]来识别输入模糊图像是否遵循颜色恒定性。他们重新制定了大气散射模型，将色差值与大气光结合起来。最近，Ren等人 [29]提出了门控融合网络，其中他们组合处理输入彩色模糊图像的颜色和对比度校正图，并遵循门控技术来生成无模糊场景。他们利用GWA算法[27]来导出输入彩色模糊图像的颜色校正图。从现有的文献中可以看出，各种去雾方法受白平衡算法如GWA算法的影响很大。尽管GWA在大多数情况下都是一种简单有效的方法，但它是关于颜色恒定性的手工先验，并且在所有情况下都不可靠，例如密集的雾[4]和图像的较亮部分[1]。因此，[20，29]中提出的用于图像去雾的方法的有效性也是有限的。因此，迫切需要一种适用于多色模糊图像的通用图像去雾方法在本文中，我们提出了一种多色图像去雾的方法，恢复色彩平衡，提高了在多色模糊图像的可见性。分为霾色校正（HCC）和能见度改善(VI)模块。双发电机和联合发电机-4566Vpiip对抗性网络被设计为合并HCC和VI模块。拟议工作的贡献是，• 提出了一种端到端可训练的彩色图像去雾网络• 提出了雾色校正模块，用于恢复多色雾色图像的色彩平衡.• 可见性改善模块通过新的初始注意块对色彩平衡的模糊图像进行处理，愉快的无雾图像。• 提出了一种新的方法来生成一个大规模的合成多色朦胧图像数据库。拟议的网络流程如图2（a）所示。为了证明所提出的网络对图像去雾的有效性，已经用我们接受了这个假设，提出了一种新的雾色校正模块（HCC）。建议的HCC模块恢复在一个给定的多色模糊图像的色彩平衡。最初，通过逐通道卷积层处理输入的多色模糊图像（V）以获得伪彩色图（Vp），Vi={f 3×3. VR; f 3×3. VG; f 3×3.（1）其中，{·}是沿着通道轴的级联操作，R、G、B是V的颜色通道，f3×3表示具有3×3的滤波器大小的卷积操作，i表示用于每个颜色通道的卷积滤波器的数量，并且i∈ {1：32}。此外，我们还施加了伪彩色校正在每个伪彩色图Vp上以获得细化特征图（Vr），c cGp借助真实世界多色模糊图像集和三个基准合成模糊图像数据库。拟议Vr（x）=Vp（x）×p;c∈ {r，g，b}（2）（c）第（1）款该方法甚至适用于夜间图像雾度去除，而无需对夜间雾度图像进行任何微调。3. 建议的彩色图像去雾其中，x是图像像素位置，c表示Vp的颜色通道。Gp和Ip（c）分别表示Vp的灰度值和照度估计，并给出为，提出的多色图像去雾方法分为两个部分，即：1）雾度颜色校正模块Gp=平均值M×N×cVp;Ip（c）=avg cM×N（三）2）可视性改善模块。图3示出了所提出的多色图像去雾网络。详情见后续章节。3.1. 雾度颜色校正模块如第1节所述，在恶劣天气下拍摄的图像看起来模糊，并由特定的偏色主导。现有文献[4，5，20，29]采用灰色世界假设（GWA）[27]来恢复各种颜色模糊图像中的颜色平衡根据GWA，具有丰富颜色分布的场景的平均反射率是消色差的。一个最简单的方法来恢复颜色巴尔河图像中的一个必要条件是通过一个系数缩放pixel值avg其中，avgM×N ×c是全局平均池化操作，avgM×N是空间池化操作，并且在每个通道c上执行。M，N表示空间大小，c表示Vp的颜色通道。3.1.1彩色平衡模糊图像的恢复与GWA不同，每个细化特征图Vr携带与雾度颜色校正相关的信息。因此，我们没有单独处理它们，而是考虑将它们混合以学习与雾色校正相关的鲁棒特征。为此，我们沿着通道轴连接估计的细化特征图（Vr），并通过两个编码器块进行处理，以生成色彩平衡的模糊图像。Tor平均c其中，avg是灰度值（全局平均）年龄拟议的总部合同委员会模块的完整流程如下：并且AVG c表示照明颜色（即，信道平均值）。基本上，GWA仅将照明颜色与给定的颜色分布相关联。当在杂色模糊图像中存在较亮区域以及强烈的白点时，这可能是不够的图4示出了具有较亮区域以及强烈白点的样品多色模糊图像。图4显示了标记区域中GWA的失效。因此，提取鲁棒的照明相关特征可以估计准确的照明颜色，从而恢复多色模糊图像中的颜色平衡。如图3（a）所示拟议的总部合同委员会的意义模块在消融研究中讨论（第7节）。所提出的HCC模块和现有GWA方法对样本挑战性多色模糊图像的结果如图4所示。清楚地观察到，所提出的HCC模块恢复色彩平衡的模糊图像，而不影响较亮区域以及强烈的白点。据我们所知，这是第一次尝试学习图像去雾的雾色校正这使得所提出的方法对雾颜色不变，并简化了图像去雾任务。我4567图3.所提出的多色图像去雾网络的架构。(a)生成器1和（b）生成器2分别旨在恢复色彩平衡的有雾图像和色彩平衡的无雾图像。图4.杂色模糊图像的色彩平衡恢复3.2. 拟议的能见度改进模块受初始学习成功的启发[35]，我们提出了一个初始注意力块来提取雾相关特征，然后恢复无雾图像。传统的起始块[35]连接特征响应通道并将其提供给下一阶段。通过关注沿两个方向的每个特征图，可以进一步提高inception块的表示能力空间和通道轴，然后将其提取到下一阶段。因此，我们将通道和空间注意力模块[38]以并行范例应用于初始卷积滤波器的特征响应（如图3（b）所示）。这有助于所提出的VI模块使雾度相关特征在网络上流动，同时抵抗不相关或冗余特征。建议的网络包括九个起始注意块，通过跳跃连接。通道注意块：我们通过利用特征的通道间关系来产生通道注意力图。我们知道，特征图的每个通道都被看作是一个特征检测器，通道的注意力更多地集中在鲁棒特征上，而抵制冗余特征。为了计算通道注意力系数，我们压缩了给定特征图的空间维度。为了聚合空间信息，我们使用最大池和平均池。此外，我们采用由多层感知器组成的共享网络[38]来细化通道注意力系数。空间注意障碍：与通道注意不同，空间注意关注的是局部信息地区我们沿着通道轴计算平均和最大池化，并通过卷积层进行处理，以生成精细的空间注意力图。注意力机制的整个过程总结在图3（b）中。45684. 建议的合成杂色模糊图像数据库生成要采集到一对真实世界的模糊图像和各自的无模糊图像是非常不可能的。因此，在现有文献中引入了几种合成模糊图像数据库，例如D-Hazy [2]、RESIDE[22]、NTIRE [3，7]、HazeRD [45]等。然而，现有的数据集缺乏不同颜色的模糊图像。NTIRE数据库有[3，7]近100个多色浓雾图像对，但仅限于略蓝和浅灰色雾，不足以训练深度网络。因此，很难开发有效的深度网络用于多色图像去雾。基于这一动机，我们建立了一个大规模的彩色模糊图像（VHI）数据库。为了训练所提出的网络，我们需要多色模糊图像（输入到生成器1），颜色平衡模糊图像（生成器1的参考图像）和无模糊图像（生成器2的参考图像）。我们遵循基准大气散射模型方程。4以生成合成的多色的和相应的色彩平衡的模糊图像。V（x）=I（x）t（x）+A（1−t（x））（4）其中，x是像素位置，I（x）是输入无雾图像，t（x）=exp（-βd（x））表示场景透射图，β是衰减系数，d（x）是场景深度图，而A表示大气光。为了生成合成模糊图像，关于场景深度图的信息有了这个约束，我们利用现有的室内纽约大学深度数据库[34]，它具有室内图像和相应的深度图。由方程式在图4中，第一项表示可见度的直接衰减，而第二项（大气光）表示霾及其色偏的影响。因此，通过改变大气光（A），我们可以产生多色模糊图像。而不是假设方程中的A值。4.我们从不同的真实世界的杂色朦胧图像估计它。现实世界的多色模糊图像的逐像素空间平均值被认为是大气光，并用于等式（1）中。4以生成具有与相应的真实世界多色模糊图像相似的模糊颜色的合成模糊图像在这项工作中，我们广泛地将可用的各种颜色的朦胧图像分为灰色浓雾 ， 橙 色 或 黄 色 雾 （ 烟 雾 ） ， 蓝 色 雾 和 特 殊 的varicol，或朦胧的图像。在雾度方面，我们采用衰减系数β={1，3，5}，分别生成低、中、浓合成多色雾度图像此外，通过设置A=（0. 八比零。八比零。8）和β={1，3，5}。利用上面讨论的数据库生成设置，我们已经生成了300×8×3= 7，200个合成的不同颜色和颜色平衡的模糊图像，每个图像中，300，8和3分别表示来自NYU-Depth数据库[34]的无雾室内图像的数量、真实世界的不同颜色的雾图像的数量和雾密度水平5. 培训详细信息综合产生的VHI数据库被用来训练所提出的网络的多色图像去雾。在这项工作中，我们使用了两个发生器，即发生器1（G1）和发生器2（G2）的霾颜色校正和能见度改善分别。联合测试的目的是区分虚假和真实的反应。由于G2的鲁棒性能取决于G1的准确性，我们允许G2损失（G2损失）与G1损失（G1损失）一起联合更新G1图2（a）和（b）分别示出了所提出的用于多色图像去雾的设置和用于权重参数更新的可用选项。详细信息在消融研究中讨论。通过合并SSIM（ISSIM）[14，17，25]和Edge loss（IEdge）[41]以及传统的IL1loss来更新G1和G2的权重参数我们从[14]中调整了用于网络的架构。不像[14]，我们分配了用于联合区分HCC和VI模块的特征响应与其各自的参考图像的阈值，如图2（a）所示。通过这种设置，所提出的网络以端到端的方式进行对抗性训练，以进行多色图像去雾。超参数，如学习率= 0.0001，#epochs = 200 被 考 虑 。 我 们 使 用 具 有 Intel XeonE5−2698 和 NVIDIA Tesla V100 4×16 GB GPU 的NVIDIA DGX站来训练所提出的网络。6. 实验分析所提出的网络使用三个基准合成数据库进行图像去雾验证，即1）密集雾[7]，2）D-Hazy [2]，3）室内SOTS [22]和一组真实世界的多色雾图像[22]。以平均SSIM、PSNR和CIEDE2000作为评价参数。我们比较了所提出的网络的结果与最近发表的方法在TPAMI，TIP，CVPR，ICCV，ECCV图像去雾。6.1. 合成数据集的定量评价密集雾霾数据库[7]图像的特征在于蓝色照明和极密集的雾霾。验证集由空间分辨率为1200×1600的五幅图像组成。我们遵循NTIRE 2019去雾竞争规则，并将 所提出的方法的 结 果 进 行 了 全面比较。与那些在竞赛中报告结果的方法[8，14，17，18]以及最近的方法[41，42]同步。使用SSIM和PSNR对所提出的方法和现有方法进行定量评估，如表1所示4569[8]第八话美国[41][42]第四十二话美国[14]AtDH+[18]CVPRW-19[17] CVPRW-19该方法SSIM0.51410.25930.36810.54080.53950.53460.5538PSNR16.4711.9313.3116.4717.1917.1318.0525表1.NTIRE2019数据库验证集上的图像去雾定量分析[7]方法SSIM PSNR CIEDE2000TPAMI-11 [9]0.706012.587615.2499[第28话]0.723112.820315.8048[21]第二十一话0.717712.411016.6565在SSIM的情况下。同时，在考虑PSNR和CIEDE2000评价参数的情况下，该网络显著提高了图像去雾的性能6.2. 真实世界模糊图像表2.基于D-Hazy [2]数据库的图像去雾定量分析黄色、灰色、白色等。对于以轻度霾为特征且由大天空区域组成的霾图像，也考虑用于视觉评价。它可以很容易地评估方法SSIMPSNRCIEDE2000从图5中可以看出，现有的方法在彩色雾度上失败TPAMI-11 [9]0.817916.62159.9419现有的方法能够减少雾霾的影响[第28话]0.810217.573110.7991在某种程度上。 然而，他们未能恢复色彩平衡-[21]第二十一话0.851219.08688.2716在恢复的图像。 相反，所提出的方法[29]第二十九话0.880022.3113-消除雾以及恢复色彩平衡，CVPR-18 [41]0.837820.8100-恢复的无雾图像。我们把这一荣誉归功于[44]第四十九话0.937127.0100-拟议的总部合同委员会模块。 近乎完美的修复CVPRW-19 [14]0.860021.5600-在输入的多色模糊图像中的色彩平衡被稀释，CVPRW-19 [10]0.922124.0200-无雾图像恢复的难度建议方法0.9511 28.2688 3.9117表3. SOTS数据库上图像去雾的定量分析[22]。评价参数的改进表明，该方法适用于高浓度霾的去除.D-Hazy数据库由1，449张合成室内雾度图像（使用固定衰减系数（β）和大气光A生成）和相应的无雾室内图像组成在整个D-Hazy数据库上验证了所提出的网络，结果总结在表2中。从表2中可以看出，所提出的网络在图像去雾方面明显优于其他现有方法。与D-Hazy数据库不同，SOTS数据库由500个具有不同β因子的合成生成的模糊图像组成。考虑所有500个模糊图像用于分析。表3描述了在SOTS数据库上建议的和现有的方法的结果。在所有现有方法中，FAMED-Net [44]在SOTS数据库上具有第二好的平均SSIM（0.93）。另一方面，建议的网络比FAMED网络[44]的性能高出2%6.3. 夜间图像去雾（跨域）随着白天的图像去雾，我们验证了所提出的网络用于夜间图像去雾。这里要注意的事实是，在所提出的网络的训练中不考虑夜间模糊图像。因此，在本发明中，我们将这种分析称为跨域评估。将所提出的网络的性能与现有的专门设计的夜间除雾方法进行比较[23，43]。图6显示了夜间图像样本和相应的结果。即使在跨域评估中，所提出的网络的去雾结果也与现有的方法相当[23，43]。7. 消融研究在本节中，我们已经证明了不同模块对所提出的用于多色图像去雾的网络性能7.1. HCC模块为了展示所提出的HCC模块的意义，我们首先分析了GWA在真实世界集合上的结果，[31]第三十一话0.7300-13.0360[第24话]0.7700-12.2700对大约3，000个进行了视觉分析NIPS-18 [40]0.772615.545611.8414真实世界的模糊图像[22]。其中，8个CVPRW-18 [15]0.649015.413015.0263具有挑战性的模糊图像和恢复的无模糊图像CVPRW-19 [14]0.817918.81679.0730使用建议和现有的方法，如图所示-该方法0.890123.31425.93885. 为了显示所提出的网络的鲁棒性我们考虑了各种烟雾颜色的朦胧场景，如蓝色，4570图5.现实世界中杂色模糊图像去雾的建议方法与现有方法的比较图6.针对真实夜间雾天影像的影像去雾方法之比较杂色朦胧的图像示例多色模糊图像、GWA的结果和所提出的HCC模块的结果以及最终的去模糊图像如图4所示从图4中可以观察到，当在多色模糊图像中存在较亮区域以及强烈的白点时，GWA失败。这背后的原因可能是与语义图像特征、视觉注意区域等相关的知识不足。另一方面，HCC模块鲁棒地学习光照校正，在不影响明亮和强烈的白色区域的情况下，在不同颜色的模糊图像中恢复接近完美的颜色平衡。出于对所提出的HCC模块的鲁棒性的好奇，我们分析了其中间fea。真图，即伪彩色图和从样本多色图像获得的它们各自的细化特征图（如图7所示）。从图7可以观察到，所生成的伪彩色图结合了低级以及高级照明相关信息，诸如语义图像特征、强烈白点的定位等。此外，图7（b）见证了伪彩色图中的细化，即对象边界之间的分离，突出显示更亮和强烈的白点等。我们观察到，这些细化的特征映射中的每一个都包含互补的和必要的特征。因此，这些细化的特征响应的混合有效地提高了所提出的HCC模块的性能。我们还观察到，恢复的色彩平衡模糊图像似乎略微模糊，但在仔细观察后，我们得出结论，这是均匀的模糊，这可能是由于生成器1（HCC模块）针对色彩平衡模糊图像而不是无模糊图像进行了优化。所提出的能见度改善模块使这种均匀雾度的效果无效。因此，所提出的网络的图像去雾能力保持不变。7.2. 发电机优化继续第5节，在这里，我们分析发电机G1和发电机G2的优化方法，即i）单发电机独立学习（网络-I），ii）两个4571图7.拟议的HCC模块的中间特征图的可视化。配置SSIMPSNR网络-I0.457214.6420网络-II0.483415.8956网络-III0.490216.1026网络四0.553818.0225表4.发电机优化设计中不同参数的定量评价。方法SSIMPSNRlL1+l边0.478914.2580lL1 +lSSIM0.487914.0984lL1 + lSSIM +l边缘0.553818.0225表5.对具有不同损失函数生成器和独立学习（网络-II），iii）两个生成器和组合学习（网络-III），iv）两个生成器和依赖学习（网络-IV），如图2（b）所示。独立学习对每个发电机进行优化，而不考虑其他发电机的损失。而依赖学习则是通过考虑G1+G2的损失来优化G1.这里的一个特殊情况是，单发电机与综合损失。在这种情况下，单个生成器以cased方式包括HCC和VI网络架构，并以端到端的方式进行训练仅考虑VI模块的损失以优化HCC和VI模块。我们在第5节讨论的同一训练集上训练这四种网络配置。 浓雾数据库[7]用于每种配置的定量评价从表4可以看出，两个生成器和依赖学习（网络IV）优于其他方案。7.3. 损失函数在这里，我们分析损失函数的影响，以优化图像去雾的拟议网络。我们通过保持SSIM和边缘损失来制定三种组合，所有组合中常见的1次在训练时考虑这些损失组合时，拟议网络的定量评估如表5所示。表5证明了当考虑单独的BTL1+ SSIM损失时比BTL1+边缘损失时的性能改进。然而，当通过考虑所有损耗进行优化时，所提出的网络优于其他组合。7.4. 未来范围雾度校正模块是提出的网络的一个组成部分。该算法通过学习不同的光照相关特征，对输入的彩色模糊图像进行色彩平衡恢复.我们观察到，所提出的颜色校正机制将夜间的黑暗视为一种颜色，并试图将其与局部照明源一起这减少了夜间效应，并在恢复的无雾图像中引入伪可见度。然而，在其他意义上，在某种程度上，这是一个有趣的优点，因为它可以应用于夜视应用，并且进一步地，在未来，它可以扩展用于暗图像中的可见度改善。8. 结论在这项工作中，提出了一种多色图像去雾方法。它由雾色校正（HCC）模块和可见度改善（VI）模块组成，前者用于恢复输入的多色雾图像的色彩平衡，后者提出的HCC模块学习不同的照明相关的功能，并鲁棒地恢复在给定的多色模糊图像的颜色平衡。其次是HCC模块，建议的VI模块利用一种新的初始注意力块来恢复无雾图像。通过对复杂场景的分析，可以观察到所提出的HCC模块的性能在明亮区域以及多色模糊图像的强烈白色对象中保持不变。此外，我们还建立了一个大规模的彩色模糊图像数据库，以训练深度网络进行彩色图像去模糊。对三个基准的合成模糊图像数据库进行了定量分析。对于视觉分析，考虑了在不同天气条件下捕获的大量的实验分析表明，该方法不仅能够恢复彩色平衡，而且能够从各种颜色的模糊图像中恢复出无模糊图像。确认作者感谢匿名审稿人的深刻评论和有益的建议，以提高本文的质量这项工作得到了印度科学与工程研究委 员 会 （ DST-SERB ） 的 支 持 ， 资 助 号 为ECR/2018/001538。4572引用[1] Vivek Agarwal，Besma R Abidi，Andreas Koschan，andMongi A Abidi.颜色恒常性算法概述Journal of PatternRecognition Research，1（1）：42[2] Cosmin Ancuti，CodrutaO安库蒂，和克里斯托夫·德·弗莱斯舒沃。D-hazy：用于定量评估去雾算法的数据集。在图像处理（ICIP），2016年IEEE国际会议上，第2226-2230页。IEEE，2016.[3] Cosmin Ancuti，Codruta O Ancuti，and Radu Zurfte. Ntire2018图像去雾挑战：方法和结果。 在IEEE计算机视觉和模式识别研讨会会议论文集，第891[4] Codruta Orniana Ancuti和Cosmin Ancuti。基于多尺度融合 的 单 幅 图 像 去 雾 IEEE Transactions on ImageProcessing，22（8）：3271[5] Codruta Orniana Ancuti， Cosmin Ancuti， and PhilippeBekaert.有效的单一图像融合去雾。2010年IEEE图像处理国际会议，第3541-3544页IEEE，2010。[6] Codruta O Ancuti，Cosmin Ancuti，Chris Hermans，andPhilippe Bekaert.一种快速的半逆方法检测和去除单幅图像中的烟雾。亚洲计算机视觉会议，第501-514页。施普林格，2010年。[7] Codruta O Ancuti，Cosmin Ancuti，Mateu Sbert，andRadu Jumefte.高雾度：图像去雾的一个基准，与密集雾和无雾图像。arXiv预印本arXiv：1904.02904，2019。[8] Simone Bianco ， Luigi Celona ， Flavio Piccoli ， andRaimondo Schettini.使用编码器-解码器架构的高分辨率单一图像去雾。在IEEE计算机视觉和模式识别研讨会会议论文集，第0-0页[9] 蔡 博 伦 、 徐 祥 民 、 贾 奎 、 青 春 梅 、 陶 大 成 。Dehazenet：用于去除单一图像雾度的端到端系统。IEEE Transactions on Image Processing ， 25 （ 11 ） ：5187[10] 陈树新，陈一子，曲燕云，黄晶莹，洪明。多尺度自适应去雾网络。在IEEE计算机视觉和模式识别研讨会会议上，第0-0页[11] 国家研究委员会等保护国家公园和荒野地区的能见度。国家科学院出版社，1993年。[12] F. Cozman和E.克罗特科夫散射深度。在IEEE计算机协会计算机视觉和模式识别会议的Proceedings，第801-806页，1997年6月。[13] Akshay Dudhane和Subrahmanyam Murala。C2msnet：一种新的图像去雾方法.在计算机视觉应用（WACV），2018年IEEE冬季会议上，第1397-1404页。IEEE，2018年。[14] Akshay Dudhane ， Harshjeet Singh Aulakh 和 Subrah-manyam Murala. Ri-gan：一个用于消除单个图像模糊的端到端网络。在IEEE计算机视觉和模式识别研讨会论文集，第0-0页[15] Deniz Engin，Anil Genc和Hazim Kemal Ekenel。循环-除雾：增强的单图像去雾cyclegan。在IEEE计算机视觉和模式识别研讨会会议集，第825[16] Raanan Fattal 单 一 图 像 去 雾 。 ACM Transactions onGraphics（TOG），27（3）：72，2008。[17] Tiantong Guo，Venkateswararao Cherukuri，and VishalMonga.密集123 '色彩增强去雾网络。 在IEEE计算机视觉和模式识别研讨会会议论文集，第0-0页[18] Tiantong Guo，Xuelu Li，Venkateswararao Cherukuri，and Vishal Monga.用于除雾的稠密场景信息估计在IEEE计算机视觉和模式识别研讨会会议集，第0-0页[19] 何开明，孙建，唐晓鸥。使用暗通道前去除单个图像IEEE Transactions on Pattern Analysis and MachineIntelligence，33（12）：2341-2353，2011.[20] 黄世嘉，陈伯豪，王维正。真实天气条件下拍摄的单帧模糊图像的可见光恢复。IEEE Transactions on Circuitsand Systems for Video Technology，24（10）：1814[21] Boyi Li，Xiulian Peng，Zhangyang Wang，Jizheng Xu，and Dan Feng. AOD-net：一体化去雾网络。在IEEE计算机视觉国际会议的Proceedings中，第4770-4778页[22] Boyi Li，Wenqi Ren，Dengpan Fu，Dacheng Tao，DanFeng，Wenjun Zeng，and Zhangyang Wang.对单图像去雾及其他方面进行基准测试。IEEE Transactions onImage Processing，28（1）：492[23] 廖英红，苏卓，梁相国，邱斌。Hdp-net：用于夜间除雾的霾密度预测网络。在太平洋沿岸多媒体会议上，第469-480页。Springer，2018.[24] Qi Liu，Xinbo Gao，Lihuo He，and Wen Lu.具有深度感知 的 非 局 部 总 变 分 正 则 化 的 单 幅 图 像 去 雾 IEEETransactions on Image Processing，27（10）：5178[25] 彼得·莫拉莱斯，Tzofi Klinghoffer，和Seung Jae Lee。有效的单一图像去雾特征转发。在IEEE计算机视觉和模式识别研讨会会议上，第0-0页[26] Shree K Nayar和Srinivasa G Narasimhan。恶劣天气下的视力。计算机视觉，1999年。第七届IEEE国际会议论文集，第2卷，第820-827页。IEEE，1999年。[27] 埃里克·莱因哈德、迈克尔·阿迪赫明、布鲁斯·古奇和彼得·雪莉。图像之间的颜色转换。IEEE计算机图形学与应用，21（5）：34[28] Wenqi Ren，Si Liu，Hua Zhang，Jinshan Pan，XiaoxunCao，and Ming-Hsuan Yang.基于多尺度卷积神经网络的单图像去雾。在欧洲计算机视觉会议上，第154-169页。施普林格，2016年。[29] Wenqi Ren ， Lin Ma ， Jiawei Zhang ， Jinshan Pan ，Xiaoxun Cao，Wei Liu，and Ming-Hsuan Yang.基于选通融合网络的单幅图像去雾。在IEEE计算机视觉和模式识别会议（CVPR）上，2018年6月4573[30] Wenqi Ren，Jinshan Pan，Hua Zhang，Xiaoxun Cao，and Ming-Hsuan Yang.通过具有整体边缘的多尺度卷积神经网络进行单图像去雾。国际计算机视觉杂志，第1-20页[31] Sanchayan Santra，Ranjan Mondal和Bhabatosh Chanda。学习一个补丁质量比较单图像去雾。IEEE Transactionson Image Processing，27（9）：4598[32] Yoav Y Schechner ， Srinivasa G Narasimhan 和 Shree KNayar。使用偏振的图像即时去雾。计算机视觉和模式识别，2001年。CVPR 2001年。2001年IEEE计算机协会会议论文集，第1卷，第I-I页。IEEE，2001年。[33] S. 斯沃茨，E。Namer和Y.Y. 谢克纳盲雾分离。在2006年IEEE计算机协会计算机视觉和模式识别会议（CVPR[34] Nathan Silberman、Derek Hoiem、Pushmeet Kohli和RobFergus。室内分割和支持从rgbd图像推断。欧洲计算机视觉会议，第746-760页。Springer，2012.[35] Christian Szegedy ， Wei Liu ， Yangqing Jia ， PierreSermanet ， Scott Reed ， Dragomir Anguelov ， DumitruErhan，Vincent Vanhoucke，and Andrew Rabinovich.更深的回旋。在IEEE计算机视觉和模式识别会议论文集，第1-9页[36] 罗比·T·谭恶劣天气下的可见性，从一个单一的图像。计算机视觉和模式识别，2008年。CVPR 2008。IEEE会议，第1-8页。IEEE，2008年。[37] Ketan Tang，Jianchao Yang，and Jue Wang.在图像去雾的学习框架中研究雾度相关特征在IEEE计算机视觉和模式识别会议论文集，第2995-3000页[38] Sanghyun Woo，Jongchan Park，Joon-Young Lee，andIn So Kweon. Cbam：卷积块注意模块。在欧洲计算机视觉会议（ECCV），2018年9月。[39] 董扬和孙坚。近端去雾网：基于先验学习的深度网络，用于单图像去雾。在欧洲计算机视觉会议（ECCV）的会议记录中，第702-717页[40] 杨希彤，郑旭，罗杰波通过基于物理的解纠缠和对抗训练实现2018年第33届AAAI人工智能会议（AAAI-18）[41] He Zhang和Vishal M Patel.密集连接的金字塔式除雾网络。在IEEE计算机视觉和模式识别会议论文集，第3194-3203页[42] He Zhang，Vishwanath Sindagi，and Vishal M Patel.基于感知金字塔深度网络的多尺度单图像去雾。在IEEE计算机视觉和模式识别研讨会会议集，第902[43] 张静、杨操、帅芳、于康、常文臣。基于最大反射率先验的夜间图像快速去雾。在IEEE会议的会议记录中计算机视觉和模式识别，第7418-7426页，2017年。[44] J.Zhang和D.涛. Famed-net：一个快速准确的多尺度端到端去雾网络。IEEE Transactions on Image Processing，29：72[45] 张彦夫，李鼎，高拉夫·夏尔马。Hazerd：一个室外场景数据集和单图像去雾的基准2017年IEEE图像处理国际