密集特征融合的U-Net架构解决图像去雾问题

2157密集特征融合董航1潘金山2 雷翔1胡哲3张心怡1王飞1杨 铭轩4，51西安交通大学人工智能学院2南京理工大学3海康威视研究院美国4加州大学默塞德分校5谷歌研究摘要在本文中，我们提出了一个多尺度提升去雾网络与密集特征融合的基础上的U-Net架构。该方法基于Boosting和误差反馈两个原理，能够很好地解决去雾问题.通过在该模型的解码器中引入增强-操作-减法增强策略，我们开发了一个简单而有效的增强解码器，以逐步恢复无雾图像。为了解决U-Net结构中的空间信息保持问题，设计了一个基于反投影反馈的我们表明，密集特征融合模块可以同时弥补高分辨率特征中缺失的空间信息广泛的评估表明，该模型表现良好，对国家的最先进的方法对基准数据集以及现实世界的朦胧图像。1. 介绍在成像过程中，大气中的混浊介质会使图像质量下降。图像去雾的目标是从模糊的图像恢复干净的场景这个问题已经受到了极大的关注，因为在应用高级视觉任务之前需要首先增强图像（例如，[53]和检测[32]）。现有方法[5，49，60，31，58]通常通过以下方式对模糊图像I进行建模：I（x）=T（x）J（x）+（1-T（x））A，（1）其中J表示无雾场景辐射，A描述指示环境光的强度的全局大气光，T是透射图，并且X表示像素位置。为了从有雾图像I恢复无雾场景辐射率J，已经研究了数据驱动的深度学习方法。证明是有效的。早期的方法首先使用深度卷积神经网络（CNN）来估计传输图[5，49，60，31，59，46]，然后应用常规方法（例如，[23])来估计大气光。然而，从单个模糊输入中估计透射图或大气光并不是一项简单的任务，这是由于空气光-大气光不确定性[36]以及难以获得透射图的地面真实数据此外，对透射图或大气光的不准确估计将严重干扰清晰图像的恢复。为了解决这个问题，几种算法直接[35，50，61，43，9，14，41，40]或迭代[42，10]基于深度CNN估计干净的图像然而，这些方法主要采用通用网络架构（ 例 如 ， DenseNet [61] ， U-Net [43] ， Dilated Net-work [9]，Grid Network [40]），它们没有很好地优化图像去雾问题。与许多高级视觉任务不同，逆问题（如图像去雾问题）是高度不适定的，其中小的测量误差通常会导致动态变化。为了解决这些不适定问题，需要某些先验[15，16，23，4]或仔细的算法设计来使问题良定。对于去雾深度网络，简单地堆叠更多层或使用更宽的层对于显著的性能增益是无效的。因此，它是非常感兴趣的和重要的，以定制设计网络模型的去雾问题。在这项工作中，我们提出了一个去雾网络以下两个行之有效的原则，图像恢复问题，即，增强和误差反馈机制。提升策略[44，6，51]最初是为图像去噪而开发的，通过逐步细化上一次迭代的中间结果，而误差反馈机制，特别是反投影技术[27，12，22]，是为超分辨率而设计的，以逐步恢复退化过程中遗漏的细节。我们首先表明，提升策略也会促进图像去雾任务。考虑到这两个原则，我们提出了一个多尺度增强去雾网络（MS-2158BDN）与基于U-Net [52，43]架构的密集特征融合（DFF）。我们将网络的解码器解释为图像恢复模块，因此在解码器中结合了加强-操作-减法（SOS）提升策略[51]，以逐步恢复无雾图像。由于U-Net的编码器中的下采样操作，可能无法从U-Net的解码器有效地检索空间信息为了解决这个问题，我们提出了一个DFF模块的反投影技术的基础上，有效地融合功能，从不同的水平。我们表明，该模块可以同时保留高分辨率特征的空间信息，并利用非相邻特征进行图像去噪。广泛的评估表明，该算法对国家的最先进的dehaz- ing方法表现良好。这项工作的贡献总结如下：• 我们提出了一个多尺度提升去雾网络，将提升策略和反投影技术巧妙地结合起来，用于图像去雾。• 我们表明，提升策略可以帮助图像去雾算法在一定的公理和显示该网络设计简单，但在实践中是有效的。• 我们证明了基于反投影技术的密集特征融合模块可以有效地融合和提取不同尺度的特征用于图像去雾，并帮助提高去雾网络的性能。2. 相关工作图像去雾。由于图像去雾是一个不适定问题，现有方法通常使用强先验或假设作为额外的约束来恢复透射图、全局大气光和场景辐射[15，56，16，23，4]。在[15]中，Fattal使用表面阴影信息来估计透射图。通过假定无雾图像应具有比有雾图像更高的对比度，开发了一种通过最大化局部对比度来增强有雾图像的可见性的方法[56]。 在[23]中，He et al.建议在清洁的户外图像和显影的像素强度一种利用先验知识的去雾方法。由于给定RGB空间簇中的像素通常是非局部的，Berman等人。[4]提出了一种有效的非局部路径先验图像去噪方法。由于该等先验及假设乃针对特定场景或大气条件而引入，因此当先验不成立时，该等除雾方法对场景的效果较低。例如，暗通道先验[23]对于没有零强度像素的图像表现不佳。为了解决这些问题，已经开发了许多基于深度学习的数据驱动方法[5，49，60，31，58，34，42，59，18]来首先估计传输地图，然后恢复图像。这些算法是有效的，当传输地图和大气光的准确估计。然而，由于空气光的模糊性[36]，当估计的大气光或透射图不够准确时，它们通常会导致另一方面，已经提出了端到端[35，50，61，43，9，41，40，47，13]去雾网络，以直接恢复干净的辐射场景，而无需估计透射图和大气光。然而，这些方法主要基于一些通用的网络架构，没有显著的修改，这对于图像去雾问题是无效的。图像复原的增强算法。已经开发了许多增强方法用于图像去噪[6，44，51]，通过将增强的先前估计作为输入来逐步细化结果最近，增强策略与深度CNN结合用于对象分类[21，45]和图像去噪[7，8]。在这项工作中，我们证明了提升策略也可以应用于图像去雾，并将其纳入网络设计中。多尺度特征融合。特征融合在网络设计中得到了广泛的应用，它通过利用不同层次的特征来提高网络性能许多图像融合方法通过使用密集连接[61]，特征级联[64]或加权元素求和[9，62]来融合特征大多数现有的特征融合模块重用来自先前层的相同尺度的在[25，37]中，不同尺度的特征通过使用跨步卷积层进行投影和融合。虽然这些方法可以合并多个功能从不同的水平，级联方案是不是有效的提取有用的信息。为了在相邻级别之间共享信息，通过将相邻级别的特征与卷积和去卷积层互连，提出了网格架构[65，17]。最近，刘等人提出了一种有效的端到端可训练网格网络[40]用于图像去雾。然而，这些方法不显式地利用来自非相邻级别的特征，并且不能容易地应用于其他架构。在[22]中，开发了投影误差的深度反馈机制[27，12]，以合并两个级别的特征与[22]不同的是，我们开发了一个DFF模块，它有效地融合了多个尺度的特征3. 该方法3.1. 多尺度增压除雾网络所提出的网络基于U-Net [52]架构，我们设计了一个受SOS提升方法[51]启发的多尺度提升解码器如图1所示，该网络包括三个组件，编码器模块GEnc、增强解码器模块GDec和特征2159ENCDeciLjL.. - 是的25625664I3J36432I2J2321J116我16θnθnθn高级别编码器GG研究增强型解码器GSOS助推模块残留量组低级我密集特征融合模块去卷积层（strided=2）卷积层（strided=2）卷积层（strided=1）J^图1. 具有DFF模块的建议MSBDN的架构。采用跳过连接将对应的特征图从编码器模块引入到增强解码器模块。恢复模块GRes.增强图像去雾。增强算法已被证明对于图像去噪是有效的[6，44，51]。SOS增强算法[51]基于先前估计的图像对增强图像该算法已被证明，以提高信噪比（SNR）的公理下，去噪方法获得更好的结果，相同的场景的图像，但较少的噪声。对于图像去雾，SOS提升策略可以类似地公式化为从特征恢复模块GRes，我们将SOS提升策略结合在所提出的网络的解码器中，并且SOS提升模块的结构在图2（e）中示出。在第n层的SOS提升模块中，我们从前一层对特征jn+1进行上采样，用来自编码器的潜在特征in对其进行增强，并通过细化单元生成提升特征jn，如下所示：jn=Gn（in+（jn+1）↑2）−（jn+1）↑2，（4）其中，↑2表示缩放因子为2的上采样算子（in+（jn+1）↑2）表示增强Jn+1=g（I+Jn）−Jn，（2）特征，Gn表示位于其中，Jn表示第n次迭代时的估计图像，g（·）是去雾方法，并且I+Jn表示使用雾度输入I的增强图像。我们证明了在与去噪类似的公理下，增强方法可以在雾度部分（PoH）方面促进图像去雾性能。 这里，图像的雾度部分（1）中的J被定义为PoH（J）=（1-T）A/J，并且它是对于同一场景的模糊图像，与1−T公理1. 去雾方法g在相同场景的图像上的PoH方面获得更好的结果，但雾更少也就是说，如果J1和J2是同一场景的图像，并且PoH（J1）

下载后可阅读完整内容，剩余1页未读，立即下载