基于CNN的图像分类是否受益于去雾方法的研究

去雾有助于基于CNN的图像分类吗？裴燕婷1，2，黄亚平1，，邹琦1，卢余杭2，王松2，3，1北京交通大学交通数据分析与挖掘北京市重点实验室2美国南卡罗来纳州哥伦比亚市南卡罗来纳大学计算机科学与工程系3天津大学计算机科学与技术学院{15112073，yphuang，qzou}@ bjtu.edu.cn，yuhang@email.sc.edu，songwang@cec.sc.edu抽象。模糊图像在真实场景中是常见的，并且已经开发了许多去模糊方法来自动地从图像中去除模糊。通常，图像去雾的目标是产生更清晰的图像，人类视觉可以从该图像更好地识别图像中存在的对象和结构细节。当地面实况无雾图像可用于有雾图像时，图像去雾的定量评估通常基于客观度量，诸如峰值信噪比（PSNR）和结构相似性（SSIM）。然而，在许多应用中，收集大规模图像不用于人的视觉检查。相反，它们用于许多高级视觉任务，例如自动分类，识别和分类。这里的一个基本问题是各种去雾方法是否可以产生可以帮助提高高级任务的性能的更清晰的图像在本文中，我们通过使用合成和真实的模糊图像数据集，在图像分类的重要任务中实证研究了这个问题实验结果表明，现有的图像去雾方法不能很好地提高图像分类性能，有时甚至会降低图像分类性能。关键词：模糊图像·去雾·图像分类·去雾·分类精度。1介绍雾霾是一种非常常见的大气现象，其中雾，灰尘，烟雾和其他颗粒模糊了场景的清晰度，在实践中，许多户外采集的图像都受到不同程度的雾霾污染，即使在阳光明媚的日子，在计算机视觉社会中，此类图像通常被称为雾霾图像，如图所示第1（a）段。与强度模糊和较低的对比度，它通常是更多⋆共同通讯作者。2Y. 裴，Y.黄角，澳-地Zou，Y.Lu和S.王难以从模糊的图像中识别对象和结构细节，尤其是当模糊程度很强时。为了解决这个问题，已经开发了许多图像去雾方法[9，25，26，20，33，2，3，21，15]来去除雾度并尝试恢复图像的原始清晰版本。这些去雾方法主要依赖于各种图像先验，例如暗通道先验[9]和颜色衰减先验[33]。如图1、去雾后的图像通常在视觉上更令人愉悦--人类视觉可以更容易地识别图像中的物体和结构。同时，已经提出了许多客观指标，例如峰值信噪比（PSNR）[11]和结构相似性（SSIM）[30]，以定量评估当地面真实无雾图像可用于模糊图像时图像去雾的性能。(a)（b）（c）（d）Fig. 1.图像去雾的说明。(a)模糊的形象(b)（c）和（d）是在对图像（a）应用不同的去雾方法之后的图像。然而，如今收集大规模图像数据不仅仅用于视觉检查。在许多情况下，它们被收集用于高级视觉任务，例如自动图像分类，识别和分类。一个基本问题是，如果我们通过应用图像去雾方法来预处理所有模糊图像，这些高级视觉任务的性能是否可以显著提高。一方面，去雾后的图像在视觉上更清晰，具有更多可识别的细节。从这个角度来看，我们可能期望通过图像去雾来改善上述视觉任务的性能另一方面，大多数图像去雾方法只是处理输入图像，而没有向图像引入新的信息。从这个角度来看，我们可能不会期望通过使用图像去雾来提高这些视觉任务的性能，因为许多高级视觉任务是通过提取用于训练分类器的图像信息来处理的。在本文中，我们实证研究这个问题中的重要任务的图像分类。图像分类是基于图像的语义内容对图像进行分类的一个重要方法，在自动驾驶、监控和机器人等领域有着广泛的应用。这个问题已经研究了很长时间，并且已经构建了许多众所周知的图像数据库，例如Caltech-256 [8]，PASCALVOC [7]和ImageNet [5]，用于评估图像分类的性能最近，通过使用深度神经网络，图像分类的准确性已经显著提高在本文中，我们将进行我们的实证研究，以卷积神经网络去雾有助于基于CNN的图像分类吗？3(CNN)，最广泛使用的深度神经网络之一，作为图像分类器，然后在有和没有图像去雾预处理的情况下评估图像分类精度。更具体地说，在本文中，我们挑选了八个国家的最先进的图像去雾方法，并检查它们是否可以帮助提高图像分类的准确性。为了保证实证研究的全面性，我们使用模糊图像和真实模糊图像的合成数据进行实验，并使用AlexNet [14]，VGGNet [22]和ResNet [10]进行CNN实现。注意，本文的目标不是开发新的图像去雾方法或新的图像分类方法。相反，我们研究了图像去雾的预处理是否有助于提高模糊图像分类的准确性。我们期望本研究能提供新的见解，如何提高性能模糊图像的分类。2相关工作模糊图像及其分析已经研究了很多年。许多现有的研究都集中在开发可靠的模型和算法，以消除模糊和恢复原始清晰的图像下输入模糊的图像。针对室外图像去雾问题，已经有许多模型和算法被提出。例如，在[9]中，暗通道先验被用于从单个图像中去除雾度。在[20]中，提出了一种具有边界约束和上下文正则化的图像去雾方法。在[33]中，颜色衰减先验用于从单个图像中去除雾度。在[3]中，提出了一种用于从单个图像中去除雾度的端到端方法。在[21]中，多尺度卷积神经网络用于雾度去除。在[15]中，提出了一种通过轻量级CNN直接生成底层干净图像的去雾方法此外，研究人员还研究了从夜间雾霾场景拍摄的图像中去除雾霾的方法例如，在[16]中，开发了一种方法来消除夜间的薄雾，并使用辉光和多种灯光颜色。在[32]中，提出了一种使用最大反射率先验的夜间图像快速去雾方法图像分类在计算机视觉领域引起了广泛的关注。在早期阶段，手工设计的特征[31]主要用于图像分类。近年来，图像分类取得了重大进展，部分原因是创建了大规模的手工标记数据集，如ImageNet [5]，以及深度卷积神经网络（CNN）[14]的发展。当前最先进的图像分类研究集中在使用“非常直接”的结构训练前馈卷积神经网络[22，23，10]。 VGGNet[22]、Inception[23]和Redilearn-ing [10]已经被提出来训练非常深的神经网络，从而在清晰的自然图像上产生优异的图像分类性能。在[18]中，提出了一种用于图像分类的交叉卷积层池化方法在[28]中，CNN与递归神经网络（RNN）相结合，以提高图像分类的性能。在[6]中，三个重要的视觉识别-4Y. 裴，Y.黄角，澳-地Zou，Y.Lu和S.王任务，图像分类，弱监督逐点目标定位和语义分割，在一个综合的方式进行了研究。在[27]中，开发了一种使用注意力机制的卷积神经网络用于图像分类。虽然这些基于CNN的方法在图像分类上取得了很好的效果，但大多数方法只适用于清晰自然图像的分类。很少有现有的工作探讨了退化图像的分类。在[1]中，通过将图像去噪作为图像预处理步骤，在损坏的MNIST数字在[24]中，提出了一种在存在噪声和遮挡的情况下识别人脸的模型。在[29]中，使用CNN研究了极低分辨率图像的分类在[12]中，图像去噪的预处理步骤被证明能够在监督训练框架下提高图像分类的性能。在[4]中，通过训练统一的单个模型来解决图像去噪和分类问题，从而提高了这两项任务的性能本文所研究的图像雾天是一种特殊的图像降质现象，目前国内外对雾天图像分类以及图像去雾是否有助于雾天图像分类的研究还没有系统的文献。3该方法在这一部分中，我们详细介绍了模糊图像数据，图像去雾方法，图像分类框架和评价指标，用于实证研究。在下文中，我们首先讨论合成的和合成的两种结构的构建。真实模糊图像数据集。然后，我们介绍了八个国家的最先进的图像去雾方法在我们的研究中使用。之后，我们简要介绍了用于图像分类的基于CNN的框架。最后，我们讨论了我们的实证研究中使用的评价指标。3.1模糊图像数据集对于该实证研究，我们需要大量模糊图像集用于图像分类器训练和测试。目前公开可用的大规模图像数据集，例如Caltech-256、PASCALVOC和ImageNet，主要由没有退化的清晰图像组成在本文中，我们使用两种策略来获得模糊图像。首先，我们合成了一个大的模糊的图像集，通过使用可用的物理模型添加雾清晰的图像其次，我们从互联网上收集了一组我们通过以下等式[13]合成模糊图像，其中大气散射模型用于描述模糊图像生成过程：I（x，y）=t（x，y）·J（x，y）+[1-t（x，y）]·A，（1）其中（x，y）是像素坐标，I是合成模糊图像，并且J是原始清晰图像。A是全球大气光。现场传输去雾有助于基于CNN的图像分类吗？5t（x，y）是距离相关的，定义为t（x，y）=e−βd（x，y），（2）其中β是大气散射系数，并且d（x，y）是像素（x，y）处的场景的归一化距离。我们通过使用[17]中提出的算法来计算图像的深度图d（x，y）。这种合成模糊图像的一个例子，以及它的原始清晰图像和深度图，如图所示。二、本文利用Caltech-256中的所有图像构造合成模糊图像，每个合成图像的类标签跟随对应的原始清晰图像的类标签。这样，我们可以使用合成图像进行图像分类。(a)(b)（c）第（1）款图二、朦胧图像合成的说明（a）图像清晰（b）（a）的深度图(c)合成模糊图像。虽然我们可以通过遵循公认的物理模型来构建合成模糊图像为了解决这个问题，我们收集了一个新的数据集的朦胧图像从互联网上收集的图像。这个新数据集包含来自20个类别的4，610张图像，我们将其命名为Haze-20。这20个图像类是鸟（231）、船（236）、桥（233）、建筑物（251）、公共汽车（222）、汽车（256）、椅子（256）、(213)、牛（227）、狗（244）、马（237）、人（279）、飞机（235）、羊（204）、标志（221）、路灯（216）、塔（230）、交通灯（206）、火车（207）、树(239)和卡车（223），并且括号中是针对每个类别收集的图像的数量。每个类别的图像数量从204到279不等。Haze-20中的一些实例示于图1中。3.第三章。在这项研究中，我们将尝试的情况下，训练图像分类器使用清晰的图像和模糊的图像进行测试。对于合成的模糊图像，我们有它们原始的清晰图像，可以用于训练。对于Haze-20中的真实图像，我们没有其底层的清晰图像。为了解决这个问题，我们从互联网上收集了一个新的HazeClear-20图像数据集，该数据集由与Haze-20相同的20类无雾图像组成HazeClear-20包含3，000张图像，每类150张图像。6Y. 裴，Y.黄角，澳-地Zou，Y.Lu和S.王图3.第三章。我们新的Haze-20数据集中的样本模糊图像3.2除雾方法在本文中，我们尝试了八种最先进的图像去雾方法：暗通道先验（DCP）[9]，快速可见性恢复（FVR）[25]，改进的可见性（IV）[26] ， 边 界 约 束 和 上 下 文 正 则 化 （ BCCR ） [20] ， 颜 色 衰 减 先 验（CAP）[33]，非局部图像去雾（NLD）[2]，去雾网（DNet）[3]和MSCNN [4]。21页]。我们检查他们中的每一个，看看它是否可以帮助提高模糊图像分类的性能。– DCP使用暗通道先验来去除雾度，这是基于关键的观察结果-户外无雾图像的大多数局部块包含一些像素，这些像素– FVR是一种基于中值滤波的快速去雾算法。它的主要优点是它的速度快，因为它的复杂度只是一个输入图像大小的线性函数。– IV增强了输入图像的对比度，从而提高了图像可视性。它使用马尔可夫随机场计算每个像素的数据成本和平滑成本– BCCR是一种有效的正则化方法，用于消除雾。特别是，固有的边界约束的传输函数结合加权L1范数的上下文正则化，建模成一个优化配方，以恢复未知的场景传输。– CAP使用基于模糊图像中像素的饱和度与亮度之间的差异的颜色衰减先验来去除模糊。通过建立一个线性模型，模糊图像的场景深度计算与颜色衰减先验，其中的参数是通过监督的方法学习。– NLD是基于非局部先验的雾度去除算法，其通过假设无雾图像的颜色由RGB空间中的紧密簇的形式的几百种不同颜色很好地近似。在模糊图像中，这些紧密的颜色簇由于模糊而改变，并且在RGB空间中形成穿过空气光坐标的线。– DNet是一种基于CNN的端到端雾度消除方法CNN架构的各层是专门设计来体现已建立的先验的去雾有助于基于CNN的图像分类吗？7N在图像去雾中。DNet概念上由四个顺序操作组成- 特 征 提 取 、 多 尺 度 映 射 、 局 部 极 值 和 非 线 性 回 归 ， 它们 分 别 由 三 个 卷 积 层 、 最 大 池 化 、 最 大 输 出 单 元 和 双 线性 R e L U 激 活 函 数 构 造 。– MSCNN使用多尺度深度神经网络通过学习模糊图像与其相应的透射图之间的映射来进行图像去雾。它由一个粗尺度网络和一个细尺度网络组成，粗尺度网络根据整个图像预测整体该网络由四个业务组成：卷积、最大池化、上采样和线性组合。3.3图像分类模型在本文中，我们使用AlexNet [14]，VGGNet-16 [22]和ResNet-50 [10]在Caffe上实现了基于CNN的图像分类模型。AlexNet [14]有8个权重层（5个卷积层和3个全连接层）。VGGNet-16 [22]有16个权重层（13个卷积层和3个全连接层层）。ResNet-50 [10]有50个权重层（49个卷积层和1个全连接层）。对于这三个网络，最后一个全连接层有N个通道（N是类的数量）。3.4评估指标我们将定量地评估图像去雾的性能和图像分类的性能。除了视觉检查之外，峰值信噪比（PSNR）[11]和结构相似性（SSIM）[30]被广泛用于当地面实况无雾图像可用于每个雾图像时评估图像去雾的性能。对于图像分类，分类精度是应用最广泛的性能评价指标。注意，PSNR和SSIM都是基于图像统计的客观度量先前的研究表明，它们可能并不总是与人类视觉感知的图像去雾质量一致，这是非常主观的。在本文中，我们关心的是图像分类的性能后，将图像去雾作为预处理。因此，我们将研究PSNR和SSIM指标是否与图像分类性能 表 现 出 一 定 的 相 关 性 在 本 文 中 ， 我 们 简 单 地使 用 分 类 精 度Accuracy = R来客观地衡量图像分类性能，其中N是测试图像的总数，R是通过使用训练的基于CNN的模型正确分类的测试图像的总数。4实验4.1数据集和实验设置在本节中，我们评估了各种图像去雾方法对从Caltech-256和我们新收集的Haze-20数据集合成的模糊图像。8Y. 裴，Y.黄角，澳-地Zou，Y.Lu和S.王我们使用Caltech-256数据集中的所有图像合成模糊图像，该数据集已被广泛用于评估图像分类算法。它包含来自257个类的30，607个图像，包括256个对象类和一个杂波类。在我们的实验中，我们选择了六个不同的模糊度水平来生成合成图像。具体地，我们分别在等式2中设置参数β= 0、 1、 2、 3、 4、 5(2)对于模糊图像合成，其中β= 0对应于Caltech中的原始图像256.在Caltech-256中，我们从每个类别中随机选择60张图像作为训练图像，其余的用于测试。在训练图像中，每类20%被用作验证集。我们遵循这一点来分割合成模糊图像数据：如果图像是从训练集中的图像合成的，则该图像在训练集中，否则在测试集中这样，我们就有了一个60× 257的训练集= 15，420张图像（每类60张），以及30，607- 15，420 = 15，187张图像的测试集。对于在Haze-20中采集的真实雾天图像，我们从每个类中随机选择100幅图像在训练图像中，每类20%被用作验证集。因此，我们有一个100×20= 2， 000张图像的训练集和一个4，610 - 2， 000 = 2， 610张图像的测试集对于HazeClear-20数据集，我们还从每个类中随机选择100张图像在训练图像中，每类20%被用作验证集。因此，我们有一个100× 20 = 2000张图像的训练集和一个50× 20 = 1000张图像的测试虽然所提出的CNN模型可以使用AlexNet、VGGNet、ResNet或其他网络结构，但为了简单起见，本文在Caffe上使用AlexNet、VGGNet-16、ResNet- 50。CNN架构在ImageNet数据集上进行了预训练，该数据集由1，000个类和120万张训练图像组成。然后，我们使用收集到的图像来微调预训练的图像分类模型，其中我们将最后一个完全连接层中的通道数量从1,000更改为N，其中N是我们数据集中的类别数量。为了更全面地探索去雾对图像分类的影响，我们研究了训练和测试数据的不同组合，包括在不应用图像去雾的情况下对图像进行训练和测试，在去雾后的图像上进行训练和测试，以及在清晰图像上训练但在有雾图像上进行测试。4.2合成和真实模糊图像的定量比较为了验证去雾预处理是否可以提高模糊图像分类的性能，我们测试了合成和真实的模糊图像与无雾去除定量评估。分类结果如图所示。其中（a-e）是分别使用不同去雾方法测试β= 1、2、3、4、5的合成雾度图像的分类准确度。对于这五个曲线图，水平轴列出了不同的去雾方法，其中“C le ar“表示使用原始Cal t e ch- 256数据集中的图像序列，并且这假设在理想情况下图像去雾效果“危险”的情况表明，在具有任意形状的情况下，对具有相同形状的图像进行检测。（f）使用不同的去雾方法对Haze-20中的测试图像的分类准确性，其中“Clear”指示HazClear- 20中的测试图像的使用，去雾有助于基于CNN的图像分类吗？9“危险”意味着在危险-20中使用了存储信息，但没有任何信息。AlexNet 1、VGGNet 1和ResNet 1表示对相同种类的图像进行训练和测试的情况，例如，对DCP去雾后的训练图像在Haze-20中进行训练，然后对DCP去雾后的测试图像在Haze-20中进行测试，分别使用AlexNet、VGGNet和ResNet。AlexNet 2、VGGNet 2和ResNet 2表示在清晰图像上训练的情况，即，对于（a-e），我们在原始Caltech-256中的训练图像上训练，并且对于（f），我们在训练图像上训练在HazeClear-20中，分别使用AlexNet、VGGNet和ResNet(a)（b）第（1）款（c）（d）（e）（f）图4.第一章不同模糊程度图像的分类精度（a-e）分别在β= 1、 2、 3、 4、5的情况下测试合成模糊图像的分类准确度（f）Haze-20中测试图像的分类精度我们可以看到，当我们在清晰图像上训练CNN模型，并在有和没有去雾的模糊图像上测试它们时（例如， AlexNet 2、VGGNet 2和ResNet 2），分类性能显著下降。从图4（e），当图像具有β = 5的雾度水平时，通过使用AlexNet，图像分类准确率从71.7%下降到21.7%。沿着图中所示的相同曲线4（e），我们可以看到，通过对测试图像应用去雾方法，分类准确率可以达到42.5%（使用MSCNN去雾）。但仍远低于原始清晰图像的分类准确率71.7%这些实验表明，当在原始清晰图像上训练时，雾度显著影响基于CNN的图像分类的准确性。然而，如果我们直接在同一级别的模糊图像上训练分类器，则分类10Y. 裴，Y.黄角，澳-地Zou，Y.Lu和S.王准确度上升到51.9%，如图中的红色曲线所示。4（e），其中在训练和测试图像中不涉及去雾。另一种选择是将相同的去雾方法应用于训练和测试图像：根据图1B中所有六个子图中所示的结果。4，我们可以看到，结果的准确性类似于没有对训练和测试图像应用去雾的情况。这表明，在这项研究中进行的去雾没有帮助图像分类。我们认为这是由于去雾并没有向图像引入新信息的事实。也有许多非基于CNN的图像分类方法。虽然很难将所有这些都纳入我们的实证研究，但我们尝试了基于稀疏编码的方法[31]，结果如图所示其中β= 1、 2、 3、 4、 5表示Caltech-256数据集中的合成雾度图像的雾度水平，并且Haze-20表示Haze-20数据集。对于这种特定的非基于CNN的图像分类方法，我们可以得到类似的结论，即尝试的去雾对图像分类没有帮助，如图所示五、比较图从图4和图5可以看出，这种非基于CNN的方法的分类准确率远低于最先进的基于CNN的方法。因此，本文重点研究了基于CNN的图像分类。图五、通过使用非基于CNN的图像分类方法对合成和真实世界的模糊图像进行分类的准确率（%）这里使用相同种类的图像构建稀疏编码的基础，并进行测试，就像图1中的实线曲线（AlexNet 1，VGGNet 1和ResNet 1）所4.第一章4.3混合层次模糊图像为了更全面地分析去雾方法，我们对具有混合雾度的雾图像进行训练实验。对于合成数据集，我们试两个案子。在情况1中，我们通过从每个模糊图像级别中每类选择10个图像作为训练集来混合所有六个模糊图像级别，并且在训练图像中，每个模糊级别每类取两个图像作为验证集然后，我们对所涉及的雾度水平的测试图像进行测试所有六个级别都是相同的结果示于图6（a）、（b）去雾有助于基于CNN的图像分类吗？11(a)（b）（c）(d)（e）（f）图六、在混合水平模糊图像上训练时的分类精度（a、b、c）混合所有六个级别的合成图像。(d)混合两个水平β= 0和β= 5。(e)混合两个水平β= 1和β= 4。(f)混合Haze-20和HazeClear-20。以及（c）当分别使用AlexNet、VGGNet和ResNet时。在案例2中，我们从两个不同的雾度水平随机选择图像并混合它们。在这种情况下，每级每类取30个图像作为训练图像，并且在训练图像中，每级每类6个图像用作验证图像。这样，我们每个类有60个图像用于训练。类似地，我们然后分别对所涉及的两个雾度水平的测试图像进行测试。结果示于图图6（d）和（e）分别针对四种不同的水平组合。对于真实的模糊图像，我们通过每类挑选50个图像进行训练，将HazeClear-20中的清晰图像和Haze-20中的模糊图像混合，然后分别在Haze-20和HazeClear-20中的测试图像结果示于图6（f）.类似地，结合所有结果，与直接在有雾图像上训练和测试的情况相比，使用去雾并没有明显4.4除雾方法在本节中，我们研究去雾度量PSNR/SSIM和图像分类性能之间是否存在相关性。在合成图像上，我们可以计算所有去雾结果上的度量PSNR和SSIM，如图2所示7.第一次会议。在该图中，PSNR和SSIM值在相应的测试图像上被我们从图中选择红色曲线（AlexNet1）4（a-e）中，并且对于β= 1、 2、 3、 4、 5中的每个雾度水平，我们基于分类准确度对所有去雾方法进行然后，我们排名这些方法的基础上平均PSNR和SSIM在相同的雾度水平。最后，我们计算了图像分类和PSNR/SSIM之间的等级相关性在每个haze水平。结果示于表1中。 负值表示负相关，正值表示正相关，绝对值越大，相关性越高。我们可以看到它们的相关性实际上很低，特别是当β= 3时。12Y. 裴，Y.黄角，澳-地Zou，Y.Lu和S.王见图7。不同雾度水平下合成图像数据集的平均PSNR和SSIM值。表1.图像分类精度和PSNR/SSIM之间的等级相关性在每个雾度水平。相关性β=1β=2β=3β=4β=5（精度，PSNR）-0.30950.35710.0952-0.21430.1905（准确度，SSIM）-0.2381-0.5238-0.07140.69050.61904.5主观评价在这一部分中，我们进行了一个实验的主观评价的图像去雾。通过观察去雾后的图像，我们在每个类别中随机选择10幅β= 3的图像，并将其主观地分为去雾效果较好的5幅和去雾效果较差的5幅这样，我们总共有2，570张图像（集合M）和1，285张图像，每张图像具有更好的去雾效果（集合A）和更差的去雾效果（集合B）。使用VGGNet的分类准确度（%）如图所示8，我们可以看到这三组的准确性没有显著差异这表明分类精度与人类对图像去雾质量的主观评价不一致见图8。人类主观选择的不同去雾图像集的分类精度去雾有助于基于CNN的图像分类吗？134.6特征重构用于图像分类的CNN网络由多个层组成，以提取深度图像特征。一个有趣的问题是，经过训练的CNN中的某些层是否实际上隐式地执行图像去雾。我们选择了一种重建方法[19]来根据AlexNet中所有层重建结果如图所示从图9中可以看出，对于前几层，重建图像没有显示出任何去雾效果。对于最后几层，重建的图像已经失真，更不用说去雾了。一种可能性是，许多现有的图像去雾方法旨在取悦人类视觉系统，这可能不利于基于CNN的图像分类。同时，现有的许多图像去雾方法引入了信息损失，如颜色失真，并可能增加图像分类的难度。输入模糊图像Conv1Conv2Conv3Conv4Conv5FC6FC7FC8图9.第九条。两个图像的样本特征重建结果，分别在两行中示出最左边的列示出了输入模糊图像，并且下面的列是从AlexNet中的不同层重建的图像。4.7特征可视化为了进一步分析不同的去雾方法，我们使用VGGNet提取并可视化隐藏层的特征 对于大小为H ×W的输入图像，卷积层的激活被公式化为具有H×W×D元素的3阶张量，其中D是chan nel的数量。 “activations”是卷积层中的所有通道的特征图。在图1B中显示了使用不同去雾方法的去雾图像中的激活10个。从上到下是雾度去除图像，以及分别在池1、池3和池5层处的激活我们可以看到，不同的去雾方法实际上有不同的激活，例如NLD和DNet的池55结论在本文中，我们进行了一项实证研究，探讨图像去雾的效果，基于CNN的图像分类的综合和14Y. 裴，Y.黄角，澳-地Zou，Y.Lu和S.王DCPFVRIVBCCRCAPNLDDNETMSCNN见图10。VGGNet的隐藏层在图像分类上的激活。从上到底部分别是去雾图像以及池1、池3和池5层处的激活。真实模糊的图像我们使用物理雾度模型来合成大量具有不同雾度水平的雾度图像用于训练和测试。我们还从互联网上收集了一个新的真实朦胧图像数据集，它包含来自20个类别的4，610个我们选择了八种众所周知的去雾方法进行实验研究。实验结果表明，与直接在模糊图像上训练和测试的情况相比，现有的去雾算法对提高基于CNN的图像分类精度没有太大的此外，我们分析了目前的去雾评价措施的基础上像素的错误和局部结构相似性，并表明这些去雾指标和图像分类精度之间没有太大的相关性时，图像预处理的现有去雾方法。虽然我们认为这是由于图像去雾没有引入新的信息来帮助图像分类的事实，但我们不排除现有的图像去雾方法在恢复原始清晰图像方面不够好的可能性，并且未来开发的更好的图像去雾方法可能有助于改善图像分类。我们希望这项研究能够吸引更多的社区关注雾霾图像分类的重要问题，这在自动驾驶，监控和机器人等应用中起着关键作用。致谢：本工作得到了国家自然科学基金（NSFC-61273364、NSFC-61672376、NSFC- 61473031、NSFC-61472029）、中央大学基础研究基金（2016 JBZ 005）和美国国家科学基金（NSF-1658987）的部分资助。去雾有助于基于CNN的图像分类吗？15引用1. Agostinelli，F.，安德森先生Lee，H.：自适应多列深度神经网络-适用于鲁棒图像去噪。在：神经信息处理系统进展。pp. 14932. 伯曼，D.，Treibitz，T.，Avidan，S.，等：非局部图像去雾。在：IEEEConferenceonComuterVisonandPater nRec o gniton中。pp. 16743. 蔡，B.，徐，X.，Jia，K.，Qing，C.，Tao，D.：Dehazenet：用于去除单一图像雾度的端到端系统。IEEE Transactions on Image Processing 25（11），51874. Chen，G.，李，Y.，Srihari，S.N.：使用深度分类的联合视觉去噪和分类。 I：IEEEITer nt ationnceonImagePr ocessing. pp. 36735. Deng，J.，Dong，W.，索赫尔河Li，L.J.，Li，K.，李菲菲：Imagenet：一个大规模的分层图像数据库。在：IEEE计算机视觉和图形学会议上。pp.2486. Durand ， T. ， Mordan ， T. ， Thome ， N. 脐 带 ， M. ： Wildcat ： WeaklySupervised Learning of Deep Convnets for Image Classification ， pointwiselocalization and segmenta- tion. IEEE计算机视觉与模式识别会议（2017）7. Everingham，M.凡古尔湖威廉姆斯，C.K.，Winn，J.，齐瑟曼，A.：pascal视 觉 对 象 类 （ voc ） 的 挑 战 。 International Journal of Computer Vision88（2），3038. Griffin，G.Holub，A.，Perona，P.：Caltech-256对象类别数据集（2007）9. 他 ， K. ， 孙 ， J. ， 唐 X ： 使 用 暗 通 道 前 去 除 单 个 图 像 雾 度 。IEEETransactionPater nAnalysisandMachineIntel i gence33（12），234110. 他，K.，张，X.，Ren，S.，孙杰：用于图像识别的深度残差学习。I：IEEEConferenceonConputerVisionandPater nRecognition。pp. 77011. Huynh-Thu，Q.，Ghanbari，M.：图像/视频质量评估中psnr的有效范围。电子技术文献44（13），80012. Jalalvand，A. De Neve，W. Van de Walle河Martens，J.P.：使用存储器计算网 络 进 行 噪 声 鲁 棒 图 像 识 别 。 In ： InternationalJointConFerenceonNeuralNetwor ks. pp. 166613. Koschmieder ， H. ： 水 平 磁 场 理 论 。 BeitragezurPhysikderfreienAtmospharepp. 3314. Krizhevsky，A.，萨茨克弗岛Hinton，G.E.：使用深度卷积神经网络的图像网分类。神经信息处理系统进展。pp. 109715. 李，B.，彭，X.王志，徐，J，Feng，D.：AOD-net：一体化去雾网络。In：IEE EInternati o nalCo nf ere nceo nCom uterViso n.pp. 477016. 李，Y.，Tan R.T. Brown，M.S.：利用辉光和多种灯光颜色去除夜间雾霾。 In：IEEEInter natinati pp. 22 617. 刘芳，Shen，C.，Lin，G.：用于从单个图像进行深度估计的深度卷积神经场。在：IEEE计算机视觉和模式识别会议上。pp. 516218. 刘，L.，Shen，C.，van den Hengel，A.：卷积层下的宝藏：用于图像分类的交叉卷积层池化。在：IEEE会议上的CommputerrVisionandPatterrnRecognition。pp. 474916Y. 裴，Y.黄角，澳-地Zou，Y.Lu和S.王19. Mahendran，A.Vedaldi，A.：通过反转来理解深层图像表示IEEE计算机视觉与模式识别会议pp. 518820. Meng，G.，王玉，Duan，J.，Xiang，S.，Pan，C.：结合边界约束和上下文正则化的高效图像去雾In：IEEE International Con-fe-renceo nComputerVisio n.pp. 61721. Ren，W.，Liu，S.，张洪，Pan，J.，曹，X.，Yang，M.H.：通过多尺度卷积 神 经 网 络 实 现 单 图 像 去 雾 。 In ： European Conference on Computer-puterVision. pp. 15422. 西蒙尼扬，K.，齐瑟曼，A.：用于大规模图像识别的深度卷积网络。ArXiv预印本arXiv：1409.1556（2014）23. 塞格迪角刘伟，Jia，Y.，Sermanet，P.，Reed，S.，Anguelov，D.，Erhan，D. ， Vanhoucke ， V. ， Rabinovich ， A. ， 等 ： 更 深 的 回 旋 。 在 ： IEEEConferenceonComuterVisonandPater nRec o gniton中。pp. 124. 唐，Y.，Salakhutdinov河Hinton，G.：用于识别和去噪的鲁棒玻尔兹曼机在：IEEE计算机视觉和模式识别会议上。pp. 226425. Tarel，J.P.，Hautiere，N.：从单一颜色或灰度级图像中快速恢复可见度。In：IEEEInter natinati pp. 第220126. Tarel，J.P.，Hautiere，N. Cord，A.，Gruyer，D.，Halmaoui，H.：改进的可视-非均匀雾天下道路场景图像的真实性在：IEEE智能车辆系统. pp. 47827. 王福，Jiang，M.， 钱，C.， 杨，S.， Li，C.， 张洪， 王，X.， 唐X：用于图像分类的剩余注意力网络。arXiv预印本arXiv：1704.06904（2017）28. 王杰，杨，Y.，毛泽东，J.，黄志，黄，C.，徐伟：Cnn-rnn：一个多标签图像分类的统一框架。在：IEEE计算机Visin和Pater nRec gnitin会议上。pp. 228529. 王志，张，S.，杨，Y.，Liu，D.，中国科学院，Huang，T.S.：使用深度网络研究极低分辨率识别。在：IEEE计算机视觉和图形学会议上。pp.479230. 王志，Bovik，A.C.，Sheikh，H. R.，Simoncelli，E.P.：图像质量评估：从错 误 可 见 性 到 结 构 相 似 性 。 IEEE Transactions on Image Process-1ng13（4），60031. 杨杰，Yu，K. Gong，Y.，黄T：基于稀疏编码的线性空间金字塔匹配图像分类。In：IEEE Conference on Computer Vision andPatternRecognition. pp.179432. 张杰，曹玉，Fang，S.，康，Y.，Chen，C.W.：基于最大反射率先验的夜间 图 像 快 速 去 雾 In ： IEEEConferenceonComputerVisionandPatternRecognition. pp. 741833. 朱庆国，Mai，J.，Shao，L.：一种基于彩色预处理的单幅图像快速去雾算法。IEEETransacti onsonImageProcessing24（11），3522