3205基于分层特征调整器的退化图像语义分割Kazuki EndoTeikyo Heisei UniversityNakano-ku，Tokyo，Japanthu.ac.jp东京工业大学日本东京目黑区mtanaka@sc.e.titech.ac.jp东京工业大学日本东京目黑区mxo@sc.e.titech.ac.jp摘要退化图像的语义分割对于自动驾驶和监控系统等实际应用非常重要。降解水平代表降解的强度，在实践中通常是未知的。因此，语义分割算法需要考虑各种程度的退化。在本文中，我们提出了一个卷积神经网络的语义分割，可以应付各种程度的退化。所提出的网络是基于知识的蒸馏从源网络训练，只有干净的图像。更具体地说，所提出的网络经过训练，以获得与源网络保持一致的多层特征，同时调整各种程度的退化。所提出的方法的有效性被确认为不同类型的退化：JPEG失真，高斯模糊和&椒盐噪声。实验比较表明，该网络优于现有的网络的语义分割退化图像与各种退化水平。1. 介绍在 过 去 的 十 年 中 ， 通 过 使 用 卷 积 神 经 网 络（CNN），语义分割已经取得了显着的进展[23，17，30，24，2，6，5，31]。许多基于CNN的语义分割的研究都集中在没有任何图像退化的干净图像上。然而，数字图像通常包括一些退化，如失真，噪声和模糊。例如，人们通常喜欢JPEG压缩图像而不是原始数字图像，因为他们希望减少图像的数据大小。此外，退化图像的语义分割对于自动驾驶、监控系统等具有重要的实际意义。在实际的语义分割中，重要的是要考虑图像退化。退化图像的质量很大程度上取决于退化水平，如JPEG失真的JPEG质量因子，高斯模糊核的标准偏差等。降解-对于语义分割算法，分级级别通常是未知的。因此，退化图像的语义分割必须处理各种未知的退化程度。针对退化类型已知、退化程度未知的退化图像，构建了一个基于CNN的退化图像的语义分割的一种非常简单的方法是将退化图像馈送到用干净图像训练的网络中。这种方法表现出较差的性能，因为仅用干净图像训练的网络没有足够的退化图像知识。然后，我们可以考虑用干净和退化的图像训练网络。虽然用干净和降级图像训练的网络可以提高降级图像的性能，但该网络对干净图像的性能低于仅用干净图像训练的网络Endo等人 [8，7，9]在退化图像的分类任务中报告了相同的现象。Guo等人。 [12]提出了一种基于知识蒸馏[22，13]的密集文法网络（DGN），用于退化图像的语义分割。Guo等人在已知降解类型和已知降解水平下验证了他们的方法。我们提出了一个语义分割网络，遵循分类网络的特征调整器[10]。请注意，Guo等人只关注一种降解水平，而我们考虑了各种降解水平。我们的贡献有以下三点。1)所提出的语义分割网络能够处理各种退化程度的退化图像，而不会牺牲干净图像的性能。2)本文将特征调整器[10]和逐层知识提取[1]相结合，不仅与退化图像的最终特征一致，而且与其多层特征一致。3)用两个著名的数据集对几种退化进行了验证。2. 相关作品有几个研究退化图像的识别然而，这些研究中的大多数主要集中在分类上[4，21，19，8，11，20，7，18，28，9，10]。那里3206图1.逐层特征调整器（拟议框架）。用干净的图像训练源分割网络。用退化图像训练目标分割网络，使其与从源网络提取的干净图像的特征一致降级图像具有各种降级水平（包括无降级，即，干净的图像）。在本文中，SegNet [2]被用作源网络。针对退化图像的语义分割研究较少。关于退化图像的分类，Peng等人 [21]比较了使用训练数据的训练策略：在使用低分辨率数据之前使用高分辨率数据最后一种策略被称为“混合训练”。本文采用混合训练的方法训练退化图像的分割网络. Pei等人。 [18]和Endo等人。 [10]已经提出了基于一致性正则化的方法，用于从仅使用干净图像训练的源网络中提取的干净图像的特征。Pei等人主要集中在退化图像的分类上，对干净图像的分类没有太多的关注。另一方面，Endo等人。[10]已经提出了一种网络，用于对各种退化水平的退化图像进行分类，而不会对干净图像的分类性能进行优化。他们已经调整了来自特征提取器的最后一层的退化图像的特征，以适应干净图像的特征。本文扩展了远藤等人提出的方法。[10]涉及退化图像的语义分割和多层图像特征的正则化。关于退化IM的语义分割Guo等人 [12]提出了基于知识蒸馏的DGN，其中源网络是用干净图像训练的分割网络。虽然他们提出的网络是用干净图像和退化图像训练的，但退化图像的退化程度不能取多个值，而只能取一个值。我们提出的框架也是基于知识蒸馏，但可以处理各种程度的退化，同时保持干净的图像的分割性能。本文使用Badrinarayanan等人提出的SegNet。 [2]作为语义分割网络。SegNet有一个编码器-解码器架构，其中编码器基于VGG 16 [26]。3. 该方法3.1. 拟议框架图1显示了我们提出的框架，我们称之为所提出的框架基于逐层知识蒸馏[1]。源分割网络将其知识提供给目标分割网络。本文使用SegNet [2]作为基本分割网络。然而，我们提出的框架可以基于其他分割网络。的3207Si−（1）1 0cθ.Σ。 Σθ一S一贝尔斯源网络仅使用干净的图像进行训练现在，源特征x的第i个块，其表示⊗.Σ一i=1，2，…5真提取器和解码器基于SegNet。SegNet的特征提取器具有与ΣΣ我CLCL我 我一图2.网络结构。SegNet的编码器与VGG16的特征提取器结构相同[26]。“BN” and “s”关于αi和βi，特征的维数分别为n=64，128，256，512，512，i=1，2，3，4，5源网络被分成特征提取器（编码器）和解码器。特征提取器，表示为为了训练目标网络，以下总损失函数定义为：. fθii=1，2，…5 产生干净图像的图像特征5并且解码器GS输出分割LA的预测。E.E.I.C.L.x为oh|θi，αi，βi，（6）i=1我fθi的输出定义为：defXi（x），i（x）=I，i =1，2，...，五、S其中Ic表示干净图像。另一方面，目标网络有两个流：特征提取器，其权重是固定的并且与源网络共享，以及可训练特征调整器。特征调节器是COM-fθi的定态，{aαi}和bβi，其中i=1，2，.， 五、i= 0。第二条第七款其中CL表示一致性损失函数。本文使用的CL函数的余弦相似性，其次是Endo等人。[10]第10段。本文不考虑方程中g_s的损失函数(6)不像Endo等人 [10]那样训练g在优化过程中，用小批量的样本均值代替期望算子E图2显示了一个具体的网络结构。 一个恐惧-国际足是与特征突出相同的结构源网络，但可训练。 fθi的输出被馈送到针对每个第i个特征块的尺度估计器aαi和偏差估计器bβi尺度和偏置估计器推断调整由以下生成的图像特征的参数：VGG16的特征提取器[26]。尺度估计器和偏差估计器由卷积层、批归一化层和激活函数组成。特征维数为n=64，128，256，512，512，i=fθi. 现在，。Fi我i=1，2，…5def限定1、2、3、4、5。3.2. 训练过程F（yi−1，zi）=fθi（yi−1）<$aαi（zi）+bβi（zi），（2）在这里，我们描述源的训练过程defyi=Fdef（yi−1，zi），y0=I，（3）网络和目标网络的建议框架，如图所示。1.首先，源网络使用以下内容进行训练：zi=fθi（zi−1），z0=I，（4）对于i = 1，2，… 其中I表示具有各种退化水平的退化图像（包括没有退化，即干净的图像）。表示逐元素乘积。F5（y4，z5）被馈送到解码器r中。目标网络的预测只有干净的图像。在训练目标网络时，源网络的所有参数都是固定的然后，目标网络通过“混合训练”[21]进行训练，该训练使用具有各种退化水平的退化图像，退化图像很容易从干净的图像与退化算子，其中退化水平必须输入到退化算子生成。降解水平是从一个SWS我3208gs . F5（y4，z5）（五）均匀分布干净图像及其退化图像3209××表1.训练条件名称清洁降解提出网络结构源只源只逐层特征调整器培训数据清洁图像干净的图像和退化图像被馈送到源网络和目标网络中。在此之后，损失函数，定义在方程。(6)，被最小化。4. 实验验证在本节中，我们提出的方法通过使用两个数据集来确认：CamVid数据集[3]和SUN RGB-D数据集[27]。CamVid是适用于自动驾驶的道路场景数据集。虽然CamVid原本是道路场景视频数据，但除了未标记的像素外，我们只使用11类静态图像数据。训练数据、验证数据和测试数据的数量分别为367、101和237。每个数据的图像大小为480 360. SUN RGB-D是一个室内场景数据集，它从NYU depth v2 [25]、Berke-ley B3 DO [14]和SUN 3D[29]获取RGB-D图像。SUN RGB-D的图像包括37个类别，除了未标记的像素。训练图像和测试图像的数量分别为5285和5050。本文仅使用RGB图像，尽管SUN RGB-D包含深度数据。每个图像在实验前被调整为480 360。我们对CamVid图像使用了无丢失的SegNet，对SUN RGB-D图像使用了有丢失的Seg-Net。Pytorch用于我们实验的所有实现。1本节的组织如下。首先，在4.1中描述了实验验证的训练条件。其次，我们关注JPEG失真，并通过使用4.2中的CamVid和SUN RGB-D数据集来确认所提出的框架的有效性，因为JPEG是数字图像压缩的事实标准。然后，通过使用4.3中的CamVid确认了所提出的框架对其他降级的有效性。最后，通过将其与4.4中的原始特征调整器[10]进行比较，证实了分层特征调整器的优越性。4.1. 训练条件为了确认所提出的逐层特征调整器，我们比较了三个在不同条件下训练的网络，如表1所示。“Clean” is asegmentation network trained “Degrade” is a segmenta-tion network trained with both clean and degraded1 您 可 以 从 我 们 的 网 站 获 得 实 验 的 复 制 代 码 。 （ http ：//www.ok.sc.e.titech.ac.jp/res/CNNIR/IRDI/）表2.mIoU用于JPEG失真的CamVid图像。“Average”降级级别是指JPEG质量因子。劣化水平清洁降解提出干净的图像0.5750.5430.575900.5720.5430.574700.5670.5410.573500.5630.5390.572300.5450.5340.566100.4600.5050.536平均0.5470.5340.566其中其网络结构与源网络相同。“建议”是用干净和降级的图像训练的建议目标网络，其中源网络是“干净”的。在上述训练中，退化图像对于每个退化具有五个退化级别。退化水平，包括干净的图像，均匀分布和随机抽样。使用中位频率平衡权重[6]来训练三个网络，因为类别之间的出现频率差异很大使用训练数据计算中位频率平衡权重我们对CamVid图像应用了五种数据增强：水平翻转、随机平移、随机亮度、随机饱和度和随机缩放。在SUN RGB-D图像的情况下，随机改变图像的色调被添加到五个增强中。在应用退化算子以清洁图像之后应用所有数据增强。由于随机缩放，输入图像的劣化程度不同于劣化图像的劣化程度。因此，输入到降解操作器中的原始降解水平被修改为4.4中所述的适当降解水平RAAdam [16]优化器几乎用于初始学习率为10−3和权重衰减为10−4的训练。2选择测试数据模型，以最大化CamVid验证数据和SUNRGB-D测试数据的全局准确性[24]。三个网络的识别mIoU被广泛用作语义分割的性能度量。4.2. JPEG失真在这里，所提出的方法是有效的JPEG失真。3.本文采用JPEG质量因子作为JPEG失真度本文使用了52 Adam [15]优化器仅用于训练SUN RGB-D的干净图像的源网络，初始学习率为10−4，权重衰减为10−4，其中学习率乘以0。99、每一个时代3.我们使用Python图像库（PIL）进行JPEG压缩。3210劣化水平干净图像905010输入地面实况清洁降解提出图3.JPEG失真CamVid测试样本的估计结果降级级别是指JPEG质量因子。实验的降解水平：10、30、50、70和90.表2显示了CamVid图像的几个降级级别和干净图像的mIoU。源网络的mIoU为0。575为干净的图像，高于0的数量。567基于Guo等人 [12]报道的FCN8。虽然它不是最先进的，但对于我们的验证来说，它的性能已经足够了。“清洁”的mIoU“降级”显示出对于降级水平10的更好的性能，但是对于其他降级水平比“清洁”差。换句话说，“降级”在所有降级级别上都得到了平均训练。Endo等人 [10]已报告了这种现象用于降级图像的分类。“建议”显示了三种网络的最佳性能，如表2所示。特别是对于干净的图像，“Proposed”显示与“Clean”相同的mIoU。图3显示JPEG失真CamVid图像的测试样本的估计结果。“Pro-posed”看起来比其他网络更好的估计，即使退化水平是高或低。也就是说，所提出的方法是有效的语义分割的JPEG失真在各种退化水平。表3和图4分别显示了JPEG失真SUN RGB-D图像的测试样本的mIoU和估计图像。Badrinarayanan等人 [2]报告说，表3.mIoU用于JPEG失真的SUN RGB-D图像。 降级级别是指JPEG质量因子。劣化水平清洁降解提出干净的图像0.2470.2140.250900.2460.2140.249700.2450.2140.248500.2410.2130.246300.2330.2120.245100.1750.2000.229平均0.2310.2110.244mIoU在0. 225和0。321在不同的训练条件下，使用SegNet。另一方面，源网络的mIoU为0。247用于清洁图像，并且在上述间隔内。源网络没有表现出最先进的性能，但足以进行以下验证。“建议”显示了三种网络在所有降级级别下的最佳性能，如表3所示。图4显示，对于降级级别10，“Proposed”的预测表3和图4显示几乎相同的趋势，在CamVid图像的情况下所描述的。因此，所提出的方法是有效的JPEG失真超过各种水平3211劣化水平干净图像905010输入地面实况清洁降解提出图4.JPEG失真SUN RGB-D测试样本的估计结果降级级别是指JPEG质量因子。表4. mIoU用于高斯模糊CamVid图像。“平均值”是指五个降级级别和干净图像上的mIoU的平均值。退化水平是指高斯模糊核的标准差。降解水平清洁降解中文（简体）（FCN8s）提出干净的图像0.5750.4770.5670.57510.5330.4750.5430.56020.4010.4710.5210.55030.2660.4640.4980.54140.1890.4560.4870.52750.1440.4490.4850.507平均0.3510.4650.5170.543的退化。4.3. 其他退化在本节中，分析了两种类型的降级：高斯模糊和&椒盐噪声。 除了表1所示的三个网络之外，我们还比较了Guo等人 [12]报告的DGN的性能结果。尽管Guo等人已经将DGN应用于几个语义分割网络，但本文使用基于FCN 8s的数字[24]，表示为DGN（FCN 8s），表5.用于CamVid图像的mIoU应用于椒盐噪声。“Average”不幸的是，我们只能找到两个干净图像的mIoU和DGN（FCN8）的降级级别0.1。退化水平是指椒盐噪声的密度。降解水平清洁降解中文（简体）（FCN8s）提出干净的图像0.5750.5130.5670.5730.050.2130.511-0.5700.10.0760.5080.5040.5670.150.0370.504-0.5620.20.0260.498-0.5590.250.0210.491-0.554平均0.1580.504-0.564作为参考。由于SegNet和FCN8s都有基于VGG16的特征提取器，因此本文使用DGN（FCN8s）。Guo等人[12]报告了使用干净图像和独特降解水平训练的DGN（FCN 8）表4示出了高斯模糊CamVid图像的mIoU，其中降级水平是高斯模糊核的标准偏差并且取五个数字：1，2，.，5.3212表6.具有单层和逐层特征调整器的mIoU，用于降级的CamVid图像。“平均值”表示五个降级级别和干净图像上的mIoU的平均值。在每一次降质中，降质水平分别是JPEG的品质因子、高斯模糊核的标准差和椒盐噪声的密度。JPEG高斯模糊椒盐噪声降解水平单-层提出（逐层）降解水平单-层提出（逐层）降解水平单-层提出（逐层）干净的图像0.5750.575干净的图像0.5750.575干净的图像0.5710.573900.5720.57410.5540.5600.050.4400.570700.5690.57320.4950.5500.10.3740.567500.5650.57230.4550.5410.150.3260.562300.5520.56640.4180.5270.20.2920.559100.5060.53650.3850.5070.250.2670.554平均0.5570.566平均0.4800.543平均0.3780.564比较“Clean”和“Proposed”，“Proposed”的mIoU与干净图像的“Clean”的mIoU相同。此外，“建议”显示了四个网络的所有退化水平的最佳性能。也就是说，所提出的方法是有效的高斯模糊。表 5 示 出 了 应 用 于 椒 盐 噪 声 的 CamVid 图 像 的mIoU&，其中降级水平是椒盐噪声的密度&并且取五个值：0.05、0.1、0.15、0.2和0.25。不幸的是，我们只能找到两个干净图像的mIoU，并且Guo等人的退化水平为0.1。[12]。比较“干净”和“建议”，“建议”的mIoU为0。002低于“Clean”（干净图像）。然而，“Proposed”显示了四个网络在所有降级级别上的最佳性能，除了干净的图像。结果显示出与上述高斯模糊也就是说，该方法对椒盐噪声也是有效的。因此，该方法不仅对JPEG，而且对其他退化也是有效的。4.4. 与单层特征调整器的由Endo等人提出的原始特征调整器。[10]，仅将其特征提取器的最终输出拟合到由源网络的特征提取器推断的最终输出。换句话说，原始的特征调整器是基于单层知识蒸馏。在这里，我们将原始特征调整器称为单层特征调整器。另一方面，我们提出的框架是基于逐层知识蒸馏和功能调整器。为了验证所提出的分层特征调整器的有效性，我们将其与单层特征调整器进行了比较。为了将单层特征调整器应用于SegNet，我们替换了Endo等人中的特征提取器和分类器。[10]分别使用SegNet的编码器和解码器。单层特征调整器必须估计退化图像的退化程度作为辅助任务。由于随机缩放的数据增强，我们估计的均方根误差，而不是JPEG质量因子作为一个降级的JPEG失真水平。对于高斯模糊和椒盐噪声，我们分别估计了重新缩放的标准差和均方根误差。表6示出了具有三种降级的单层和所提出的特征调节器的mIoU：JPEG失真、高斯模糊和&椒盐噪声。对于干净的图像，“单层”显示出与“建议”几乎相同的性能，用于三种类型的退化。但是，对于低质量图像，“Proposed”显示出比“Single-layer”更好的性能。比较平均mIoU，在高斯模糊和椒盐噪声的情况因此，所提出的逐层特征调节器优于单层特征调节器，用于在各种退化水平上对退化图像进行语义分割。5. 结论本文提出了一种语义分割网络来识别不同退化程度的退化图像，包括干净图像。所提出的逐层特征调整器被训练成从仅用干净图像训练的源网络获取数字图像的多层特征。所提出的框架的有效性被证实的几个退化和两个著名的数据集。虽然本文只关注语义分割，但我们希望将所提出的方法应用于退化图像的目标检测。我们还需要减少拟议网络的参数数量，因为它比源网络大得多。此外，我们想处理一些退化的混合，这比只有一个退化更现实这些任务3213我们的未来工作。引用[1] N. Aghli和E.里贝罗结合权值修剪与知识蒸馏之cnn压缩。在IEEE/CVF计算机视觉和模式识别研讨会上，2021年9月。[2] V.巴德里纳拉亚南，A. Kendall和R.西波拉Segnet：用于图 像 分 割 的 深 度 卷 积 编 码 器 - 解 码 器 架 构 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，39（12）：2481[3] G. J. Brostow，J. Fauqueur和R.西波拉视频中的语义对象 类 ： 一 个 高 清 晰 度 地 面 实 况 数 据 库 。 PatternRecognition Letters，30（2）：88[4] D. 蔡氏K. Chen，Y. Qian和J.K. 我也是。传统的低分辨率细粒度分类。Pattern Recognition Letters，119：166[5] L- C. Chen，G.帕潘德里欧岛科基诺斯角墨菲和A. L.尤尔。Deeplab：使用深度卷积网络、atrous卷积和完全连接的crfs进行语义图像分割。IEEE Transactionson Pattern Analysis and Machine Intelligence，40（4）：834[6] D. Eigen和R.费格斯。预测深度，表面法线和语义标签与一个共同的多尺度卷积架构。在IEEE计算机视觉国际会议上，2015年12月。[7] K. 恩多，M。Tanaka和M.奥富对不同退化级别的退化图像进行分类。在IEEE国际图像处理会议上，2020年10月。[8] K.恩多，M。Tanaka和M.奥富基于cnn的退化图像分类。在2020年1月的IS T国际电子成像研讨会[9] K.恩多，M。Tanaka和M.奥富基于cnn的退化图像分类与退化程度的认识。IEEE Transactions on Circuits andSystems for Video Technology，31（10）：4046[10] K.恩多，M。Tanaka和M.奥富在不牺牲干净图像的情况下对退化图像进行基于cnn的分类。IEEE Access，9：116094[11] S.戈什河Shet，P. Amon，A. Hutter和A.考普深度卷积神经网络对图像退化的鲁棒性。在IEEE国际会议上声学，语音和信号处理，第2916[12] D. Guo，Y. Pei，K.郑惠南Yu，Y. Lu和S.王.基于稠密元网络的图像降阶语义分割。IEEE Transactions on ImageProcessing，29：782[13] G. Hinton，O.Vinyals和J.Dean. 在神经网络中提取在NIPS深度学习和表示学习研讨会，2014年。[14] A. Janoch，S. Karayev，Y. Jia，J.T.巴伦，M. Fritz，K.Saenko和T.达雷尔。类别级三维对象数据集：让Kinect发 挥 作用 。 IEEEInternational Conference on ComputerVision Workshops（ICCV Workshops），第1168-1174页[15] D.P. Kingma和J. BA.随机优化的一种方法。在2015年国际学习代表会议上[16] L. Liu，H.Jiang，中国假单胞菌P.他，W。Chen，X.刘，J.Gao和J.韩关于自适应学习率的方差及其他。 在2020年国际学习代表会议上。[17] H. Noh，S. Hong和B.韩用于语义分割的学习反卷积网络在IEEE International Conference on Computer Vision，第1卷，第1520-1528页[18] Y.裴，Y. Huang和X.张某一致性引导网络在退化图像分类中的应用。IEEE Transactions on Circuits and Systemsfor Video Technology，31（6）：2231[19] Y.裴，Y.黄角，澳-地Zou，H. Zang，X. Zhang和S. 王.图像退化对cnn图像分类的影响arXiv：1810.05552，2018。[20] Y.裴，Y.黄角，澳-地Zou，X. Zhang和S.王.图像退化及退化去除对cnn图像分类的影响。IEEE Transactions onPattern Analysis and Machine Intelligence，43（4 ）：1239[21] X. Peng，J.霍夫曼，S.X.Yu和K.萨恩科用于低分辨率图像 分 类 的 从 细 到 粗 的 知 识 转 移 IEEEInternationalConference on Image Processing，2016。[22] A.罗梅罗，北巴拉斯，S。E.卡胡A.查桑角Gatta和Y.本吉奥。Fitnets：薄而深的网的提示。在2015年国际学习表征会议[23] O.龙内贝格山口Fischer和T.布洛克斯U-net：用于生物医学图像分割的卷积网络医学图像计算和计算机辅助干预，第234-241页[24] E. Shelhamer，J. Long和T.达雷尔。用于语义分段的全卷积网络IEEE计算机视觉与模式识别会议，2015年6月。[25] N. Silberman，D. Hoiem、P.Kohli和R.费格斯。室内分割和支持从rgbd图像推断。在ECCV，第746-760页[26] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。在2015年国际学习代表会议上[27] S.宋，S. P. Lichtenberg和J.萧Sun rgb-d：一个rgb-d场景理解基准测试套件。在IEEE计算机视觉和模式识别会议上，第567- 576页[28] S.万氏T. Wu，H. Hsu，W. Wong，和C.李你jpeg压缩图像的特征一致性训练。IEEE Transactions on Circuitsand Systems for Video Technology，30（12）：4769[29] J. Xiao，A. Owens和A.托拉尔巴 Sun3d：使用sfm和对象 标 签 重 建 的 大 空 间 数 据 库 。 IEEEInternationalConference on Computer Vision，第1625-1632页[30] F. Yu和V.Koltun.通过扩张卷积的多尺度上下文聚合。2016年5月，在国际学习代表会议上3214[31] F. Yu，D. Wang，中国山核桃E. Shelhamer和T.达雷尔。深层聚合。在IEEE计算机视觉和模式识别会议，2018年6月。
我的内容管理
展开
