类概率保持：减少信息损失的地面真理语义分割方法

4463SeekNet：通过保存类概率信息Dasol HanJiang，Jaewook YooJiang，Dokwan Oh†三星高等技术学院{dasol.han，jaewook.yoo，dokwan.oh} @samsung.com摘要辅助损失是在主分支损失之外的附加损失在语义分割领域中，为了计算中间层特征图与地面实况之间的辅助损失，每个特征图的大小必须与地面实况相匹配。在所有使用辅助损失与分割模型的研究中，从我们已经调查的来看，他们要么使用下采样函数来减小地面实况的大小，要么使用上采样函数来增加特征图的大小，以便匹配特征图和地面实况之间的分辨率。然而，在通过下采样和上采样选择代表值的过程中，信息丢失是不可避免的。在本文中，我们引入类概率保持（CPP）池，以减轻信息损失的下采样的地面真理语义分割任务。我们通过使用基于七种流行分割模型的辅助损失CPP池，在Cityscapes、Pascal VOC、Pascal Context和NYU-Depth-v2数据集上证明了所提出方 法 的 优 越 性 此 外 ， 我 们 提 出 了 透 明 网 络 （ See-Through Net），它采用了改进的多尺度注意力耦合解码器 结构 ，以最 大限 度地提 高CPP 池化 的效 果。SeeThroughNet展示了城市街景语义理解领域的前沿成果，在Cityscapes基准测试中排名第一。1. 介绍增加卷积神经网络的深度可能会引入优化困难，如[6，24]所示。为了解决图像分类中的梯度消失问题，直接连接的辅助分类器被用来向一些中间层提供额外的梯度辅助分类器在GoogLeNet的Inception架构的变体*表示平等贡献†通讯作者图1.类别概率保持（CPP）合并效果的可视化。图片来自CityScapes。对于被遮挡的火车（红色框中）、被遮挡的建筑物（橙色框中的公交车站）和远处的电线杆（黄色框中），DeepLabV 3 +[5]模型w/CPP在Grad-CAM [34]可视化（左列）中显示出比DeepLabV 3+原始模型更精细和更强的在推理结果中（右列），w/ CPP模型显示了正确和精细的分割。提供了放大视图（黄色框）。[38]和ResNet [18]，其中的动机是在训练过程中直接向中间层提供有用的梯度作为额外的监督，以抵抗非常深的网络中的消失梯度问题。在语义分割领域也进行了类似的尝试例如，[53，55，56]使用ResNet-101作为主干，并在中间层中采用辅助头，如[53]所述。由于辅助头连接层的特征图和地面实况用于计算辅助损失，因此它们的分辨率应该相同。辅助头负责通过调整大小操作将中间特征图的分辨率调整为地面实况的分辨率。4464图2.常规合并（即最近邻[NN]合并）和CPP合并的效果可视化。NN池化已被广泛用于分割任务的下采样地面实况，因为地面实况id是整数。使用来自Cityscapes数据集的语义基础事实。随着池化的比例因子的增加，更多的信息会丢失。特别是，在NN池中，远对象和边界信息丢失了很多，而它们仍然作为概率保留在CPP池中。然而，设计辅助损失与调整操作有一个不可避免的缺陷。深度神经网络中的每一层都学习不同的数据驱动特征。例如，靠近输入图像的层学习更简单的低维特征.当一个人离开输入层时，更高阶的复杂特征被学习。如果我们重新调整导致一维像素类信息的基础事实的大小以获得中间层的辅助损失，则它将不足以引导每个层的各种阶特征。出于这个原因，该领域的研究人员用辅助这个词来修饰这些重新调整大小的引导损失，并将它们用作辅助解决方案而不是完整的解决方案。出于同样的原因，最近发表的大多数场景分割论文[5，14，17，29，46，48]都没有积极地使用辅助损失（大多数情况下不使用或使用一个辅助头）。出于这种限制，我们引入了类概率保持（CPP）池来提供设计良好的辅助指南，这有助于优化网络的训练过程。CPP池将类信息保持在接受域内，作为防止信息丢失的概率（图 3）。通过在Cityscapes [9]，Pascal VOC [11]，Pascal Context [26]和NYU-Depth-v2[28]等各种数据集上使用七种流行的语义分割模型进行综合实验，我们证明了所提出的方法是一种模型不可知的方法，简单适用于任何模型，但有效。此外，我们引入了一个改进的多尺度注意力耦合解码器结构的透明网络（See-Through Net），以最大限度地提高CPP池化的效果。 SeeWebNet展示了高分辨率城市街道场景语义理解领域的最新成果。还提供了消融和迁移学习实验的结果。本文的主要贡献是：我们引入类概率保持（CPP）池，以减轻信息丢失，在那里它保持类信息在一个接受领域作为一个概率。我们在Cityscapes、Pascal VOC、Pascal Context和NYU-Depth-v2数据集上展示了七种流行的语义分割模型，并使用CPP池来显示所提出的方法的效果。我们提出了一种具有多尺度注意力耦合解码器的SeekNet，CPP汇集的效果，并取得了城市景观排行榜的第一名。2. 相关工作合并方法。已经提出了使用卷积神经网络的池化方法的变体，其可以分为以下四组[1]。基于值的池化方法[10，21，30，37，47]根据下采样区域中值的显著性选择单个最大池和平均池是这一类中广泛使用的池。补丁或多采样方法已被提出来补充基于值的池化方法的信息损失，其中处理补丁或多尺度子图中的值。基于概率的池化方法[16，22，43，45，51]评估区域中代表值的概率，这有助于防止过拟合。已经提出了各种基于概率的方法，包括随机、最大丢弃、失效密度、混合和混合门控池方法。在基于排名的池化方法[19，20，35]中，权重在训练期间学习，···4465被用作池化区域中的加权和。多部，有序，和全球加权排名的方法已经被证明，其中多部特征排名在池层，不同的权重，所有的功能激活，并估计与一个类相关的分数，分别使用。对于变换域池方法，[44]放弃了第一级，仅使用第二级小波分解来降低特征尺寸，这导致更少的伪影。[32]截断功率谱中的较低频率，以减少每个参数比其他池化方法保留更多信息的维数。这些合并方法使用各种方法来确定相应感受野中的代表性值以进行下采样。然而，据我们所知，没有一种池化方法使用将类信息作为概率保留的方法。标签平滑。CPP合并可视为[39]中提出的标签平滑的变体与标签平滑相比，我们的方法将其用于下采样过程，并遵循感受野中像素的类分布，而不是使用预定义的分布，例如[39]中使用的均匀分布。因此，CPP池是一种改进的版本，因为每个像素的类概率分布自适应地跟随数据。语义分割架构。全卷积网络（FCN）[25]通过在CNN架构的末尾用卷积层替换全连接层（FC），在语义分割中采用深度卷积神经网络（CNN）基于这种改进，其他先进技术，例如编码器-解码器架构中的跳过连接[2，5，33]，金字塔池化模块[53]和具有无空间金字塔池化（ASPP）的无卷积[4]已经显示出显着的改进。最近的工作主要集中在关系上下文来提高性能，而不是多尺度上下文。[12，49，52]使用自注意方法考虑像素之间的相似性，并执行相似性加权聚合。边界感知方法也被应用于改善语义分割性能。例如，Gated-SCNN [40]使用形状流网络，该网络采用图像梯度和特征来产生语义边界作为输出。它使用基于像素的损失来训练形状流网络。InverseForm [3]采用逆变换网络对基于空间距离图3.类概率保持（CPP）池的说明。它显示了1/4池化，其中4x 4网格信息被下采样到一个网格。输出的通道数量等于类的总数（例如，Cityscapes的20个类，包括忽略类），其中每个通道表示相应网格的类概率。3. 方法3.1. 类概率保持池传统的池化方法（例如，最大池化、平均池化、最近邻池化等）通常用于下采样特征和地面实况。然而，这可能会降低语义分割任务的性能，由于从相应的接收区域中选择代表值图2的顶行示出了来自下采样的信息损失的示例，其中随着池化的比例因子增加，观察到更多的信息损失以对语义基础事实进行下采样。我们提出了类概率保持（CPP）池，这是一种新的池化方法，它保留了类信息，最大限度地减少了信息损失（图3）。CPP池化不是例如，图3显示了1/4 CPP池化，其中4x 4网格被下采样为一个网格。在输入地图中，对4x4区域中的0类（道路）的数量进行计数，其成为0类（道路）的输出通道的对应网格的概率值。对其他类进行相同的计算（即，Cityscapes总共有20个类，包括ignore类）。如图所示，输出网格中的每个位置都保持一定的类概率。更详细地说，在CPP池化中，在损失函数中的度量[41，48，53]使用了辅助剂，利用上采样的logits而不是传统的汇集方法来减少信息损失。'k（l，m）Y类k的计算为：Σ。在这项工作中，我们表明，当使用辅助损失，性能进一步提高，通过使用所提出的CPP合并，而不是使用传统的上采样'k（l，m）1=s2（i，j）µi，j ，与μ i、j1如果Y（i，j）=k=0否则（一）或双采样方法。，其中Y（i，j）是输入要素的格网（或pi x els）Y4466K× ≤×× ≤×KS×XX∗SS图4. 参见网络架构。该架构包括CPP池与3个辅助头结合多尺度注意力。为了更好地利用CPP池，See-Through Decoder设计为包括多尺度注意力，允许CPP池用于每个尺度。详见第3.2节。map，k∈K是对象类，Y是输入特征图，→（ReLU）→（1x1 conv）。我们使用三个辅助损失，Y'是CPP池化的输出。 你们（l，m） 是网格其采用由CPP合并产生的标记Y'。谢谢（l，m）的第k类声道映射。 给定比例因子1/s，Y（i，j ）的范围为sli

下载后可阅读完整内容，剩余1页未读，立即下载