基于局部感知上下文相关的超高分辨率图像分割

7252×× ×从上下文到位置：基于局部感知上下文相关的超高分辨率图像分割李琦1，杨伟祥1，刘文喜1 *，余元龙1 *，何胜峰21福州大学*2华南理工大学计算机科学与工程学院摘要超高分辨率图像分割由于其现实应用前景，近年来引起了越来越多的在本文中，我们创新了广泛使用的高分辨率图像分割流水线，其中超高分辨率图像被划分成规则的补丁进行局部分割，然后将局部结果合并到一个高分辨率的语义掩码。特别地，我们引入了一种新的基于局部感知上下文相关性的此外，我们提出了一个上下文语义细化网络，作为-将局部分割结果与其上下文语义相关联，并因此被赋予在生成最终高分辨率掩模期间减少边界伪影和细化掩模轮廓的能力。此外，在综合实验中，我们证明了我们的模型优于其他国家的最先进的方法在公共基准。我们发布的代码可在https://github.com/liqiokkk/FCtL上获得。1. 介绍随着摄影和传感器技术的进步，对超高分辨率图像（即，2K、4K甚至更高分辨率的图像）为计算机视觉社区开辟了新的视野。它将有益于广泛的成像应用，基于高分辨率地理空间图像和高分辨率医学图像分析的城市规划和遥感，因此近年来对研究和分析这种图像的需求本文针对航拍的超高分辨率地理空间图像进行语义深度卷积神经网络（CNN）的最新发展已经引起了语义分割技术的显着进步。*Wenxi Liu和Yuanlong Yu为通讯作者。图1.对于超高分辨率图像分割的任务，最常见的方法是分割裁剪的局部块，然后将它们组合成高分辨率掩模。为了解决局部分割质量的核心问题，我们提出了一种基于局部感知的上下文相关性的模型，该模型利用重新缩放的各种上下文（1，2，3大，如原始图像中的局部补丁）来产生细化的结果。然而，大多数基于CNN的分割模型针对全分辨率图像并执行像素级类别预测，与图像分类和对象检测相比，这需要更多的计算资源。当图像分辨率增长到超高时，这个障碍变得显著，导致存储器效率（甚至可行性）和分割质量之间的紧迫困境。特别地，为了分割超高分辨率图像，普遍的做法是在执行分割之前将其下采样到更小的空间维度，或者单独分割分割的块并将它们的结果合并成高分辨率的块。这些琐碎的做法牺牲了分割质量的模型效率。此外，最近的尝试提出利用良好的预训练分割模型来获得粗略的分割掩模和另一个模型来细化掩模的轮廓[5，37]。然而，这些方法主要集中在高分辨率的自然图像或涉及大型物体的日常照片，而高分辨率的图像处理方法主要集中在高分辨率的自然图像或涉及大型物体的日常照片。7253分辨率地理空间图像是从覆盖大视场的鸟瞰图捕获的，所述大视场可包含在比例和形状上具有大对比度的许多因此，它要求分割模型不仅能够捕获大图像区域上的语义，而且能够捕获不同粒度的图像细节。最近的工作GLNet [4]提出通过双流网络合并局部和全局信息，该双流网络分别处理下采样的全局图像和裁剪的局部补丁，以及共享两个该方法较已有方法有明显的改进，体现了上下文信息对分割性能的重要性。尽管如此，他们的特征共享方案并没有在空间上将局部特征与全局特征相关联，因此没有很好地利用它们的相关性，这使得他们的模型太复杂而无法优化，并且他们的性能次优。为了充分利用超高分辨率地理空间图像中的丰富信息，提出了一种基于位置感知的上下文相关的超高分辨率地理空间图像分割模型。类似于[4，25]，我们的框架基于广泛使用的高分辨率图像分割实践，其中图像块从原始图像中定期裁剪，然后单独分割，最后将其局部结果重叠合并。然而，超高分辨率地理空间图像的每一局部块通常含有在大小上具有大对比度的语义区域（例如，房屋和森林），这挑战了局部分割模型。受先前实践的启发（例如[4]），上下文信息证明有效地解决了这个问题。但是，与以前的方法不同，我们提出，局部补丁内的语义可以在结构上和互补的关联，并推断其上下文区域的不同尺度。例如，在图。1中，具有不同覆盖范围的上下文将模型引导到与图像中的不同粒度的对象相关的关注区域（例如，或大或小的建筑物）。因此，我们提出了一种基于局部感知的上下文相关性的深度网络模型，以利用局部补丁及其上下文区域之间的相关性。具体而言，我们首先提出了一个局部感知的上下文相关模块来捕获局部块和上下文的位置相关性，这使得能够专注地增强局部块的相关特征，即，位置感知特征。然后，我们提出了一个自适应的上下文融合方案来平衡和组合的本地感知功能相关联的各种背景。如图1，上下文可以导致不同但互补的位置感知特征，从而允许在单个上下文中容忍误导性信息。为此，在运行中预测不同位置感知特征的对应空间权重图以完成互补融合。此外，为了获得超高分辨率图像的最终分割结果，将局部块的结果放回一起。直接拼接局部分割掩模可能导致相邻块的边界消失伪影，因此现有的实践是部分重叠相邻块并计算重叠区域的平均结果。在某种程度上，这种平凡的方法可以减少伪影，但不能达到最佳的结果。因此，我们提出了一个有效的上下文语义细化网络，利用局部掩码和上下文掩码的相关性来增强相关的语义区域，从而自适应地细化局部结果，而不会引入边界消失的文物。此外，我们提出的模型还可以利用上下文语义来抛光分割掩模的轮廓。为了评估我们的模型，我们进行了全面的实验，并证明我们提出的模型在公共超高分辨率区域图像数据集DeepGlobe和Inria Aerial上表现出最先进的方法。本文的主要贡献总结如下：• 我们提出了一个超高分辨率的图像分割框架的基础上，一种新的局部分割模型。它利用局部感知上下文相关性和自适应特征融合方案，其关联并组合局部上下文信息以加强局部分割。• 我们提出了一个上下文语义细化网络，利用局部分割和上下文掩码的相关性，以避免边界消失的文物和完善的局部语义掩码。• 我们的方法在几个公共超高分辨率地理空间图像数据集上实现了最先进的语义分割性能2. 相关作品语义分割。近年来，语义分割取得了显著的进展[2，7，10全卷积网络（FCN）[18]是第一个用于高质量分割的CNN架构。U-Net [25]使用skip-connections将低级特征连接到高级特征。类似的结构也被采用[1，22]。不幸的是，这些模型suf- fer从过高的GPU内存的超高分辨率图像的需求ENet [23]和ICNet [34]通过模型压缩减少了GPU内存。然而，这些模型对超高分辨率图像无效。最近，CascadePSP [5]被提出来细化预训练模型的粗略分割结果，以生成高质量的结果。GLNet[4]保留了全局和局部信息，并通过深度交互来相互作用。7254≡≡≡≤ ≤ ≤≤≥ ≤≤图2.高分辨率图像分割的主要过程，包括（i）从超高分辨率图像中裁剪局部块;（ii）局部块分割;（iii）将局部掩模合并为高分辨率掩模。共享层，能够平衡其性能和GPU内存使用。与GLNet相比，关键的区别在于我们提出的基于多上下文的局部分割模型，而GLNet依赖于整体图像作为唯一的上下文，并简单地连接局部和裁剪的全局特征进行分割。此外，我们还提出了一个新的上下文细化模型合并到一个HD的本地结果，这还没有被研究。多尺度和上下文聚合。多尺度信息[2，3，9，16，31，36，38]已被证明是有效的分割，通过集成高级别和低级别的功能，以捕获不同粒度的模式。RefineNet[13]引入了多路径细化块，以通过上采样较低分辨率特征来组合多尺度特征。[8]采用拉普拉斯金字塔来使用更高级别的特征来细化从低分辨率地图重建的边界特征金字塔网络（FPN）[14]逐渐对不同尺度的特征图进行上采样另一方面，上下文聚合在编码局部空间邻域甚至非局部信息中也起着关键作用[2，4，17，28，29，32，35]。ParseNet [17]引入了全局池来聚合不同级别的上下文。DeepLab [2]提出了扩张卷积和atrous空间金字塔池化模块，将全局上下文聚合为局部信息。在最近的作品[4，21，24，33]中，深/浅分支被组合以聚合全局上下文和高分辨率细节。与以前的作品不同，我们提出的局部分割可以在空间上相关的各种情况下，我们提出了一个自适应融合方案，结合不同的局部感知功能。3. 方法我们提出的超高分辨率图像分割框架遵循如图所示的三步程序。2），这与在现有技术中应用的通常做法一致（例如，[4，25]）。首先，给定具有宽度W和高度H的超高分辨率图像Istec，我们将其划分为N个局部块{Ik}（k=[1，· · ·，N]，IkI），宽度为w，高度为h（wW和hH）。接下来，局部语义分割模型计算每个补丁的局部结果。最后，我们将局部结果合并为一个片段，作为最终的高分辨率分割掩模。我们的主要贡献在于如何生成精细的局部分割（第二步）和精细的结果，这些结果可以无缝地合并到高分辨率的掩模中（第三步）。下面，我们将详细介绍技术细节。3.1. 我们提出的局部分割模型作为我们的超高分辨率分割框架的核心，我们提出了一种新的局部分割模型来处理每个裁剪的补丁（图1）。（3）第三章。然而，每个局部块仅覆盖超高分辨率图像的有限区域，其通常包含不同尺度的区域或截断的对象，并且因此其倾向于提供不完整的信息并且可能容易导致错误的语义分割。为了解决这个问题，我们提出了一个局部感知的上下文相关的分割模型处理每个本地补丁。如示于图3，我们的局部分割模型基于多流编码器-解码器架构，由特征提取模块（即，编码器）、位置感知上下文相关模块、多上下文融合模块和解码器。具体地，将局部补丁以及不同尺度的上下文（其被重新缩放为相同大小以减少计算开销）馈送到网络中以进行特征提取。然后，上下文的特征分别与本地补丁的特征，通过局部感知上下文相关模块和自适应融合。最后，特征将被上采样以获得局部分割掩模。下面，我们将首先介绍如何选择局部补丁的上下文，然后描述局部感知上下文相关模块和多上下文融合方案。3.1.1本地修补程序关于第k个补丁Ik，Uk表示为输入图像Istec中的另一个图像区域，其不小于并且覆盖Ik。Uk具有宽度wu和高度hu，s. t。w wu W和h hu H。给定局部补丁，存在许多候选上下文区域。在实践中，我们设计了以下三种类型的上下文区域。（1）我们将候选上下文的大小设置为wu=λw和hu=λh，（λ1，wu W，huH），并且其中心与局部补丁的中心对齐（参见图1和图2中的示例）。1和3）。(2)我们可以利用的最大内容实际上是整个图像，即，英国的国际贸易，被称为全球背景。（3）最小上下文是补丁本身，称为局部上下文，即，wu w和hu h。一般来说，较大的上下文提供了更多的上下文线索7255KKKKKK××K联系我们KKKLCCKKKKKKKKF···⟨⟩图3.我们的局部分割模型的插图。具体地说，从高分辨率图像中裁剪出的特定局部块及其上下文被分别传递到网络分支中以提取特征，然后测量它们与局部块的相关性以获得局部感知特征。最后，这些功能是自适应融合产生高质量的局部分割结果。可以负责大的区域或对象，而较小的区域或对象提供可以归因于小的区域或对象的更多细节。在输入到网络之前，上下文将被归一化为与本地补丁相同的维度。3.1.2局部感知的上下文关联为了加强局部补丁的分割，我们希望将上下文信息与局部信息相关联因此，我们提出了一个局部感知的上下文相关模块lcc来评估I和U的特征之间的相关性，然后利用它来获得其3.1.3多上下文融合模块对于通常包含大量具有大尺寸变化的对象的超高分辨率地理空间图像，不同尺度的上下文可以归因于具有各种粒度的对象的因此，适当地组合不同的上下文信息可以补充提取语义和去除工件。具体地，我们假设有T个对应的上下文区域可能影响局部分割。形式上，给定补丁Ik，我们有几个对应的上下文区域Ut（t=[1，T]），并将它们传递到我们的局部分割模型的每个流中以获得局部件特征Xt（Xt=F（I，Ut））。 去实现-本地感知功能。我们生产的模块的结构如图所示。3.第三章。首先，通过相同的网络结构（即，预训练的VGG16 [26]的Convl至Conv3），表示为Xi和有效地利用和组合本地感知功能，来源于各种背景，如图所示3、在局部分割模型中引入了多上下文融合方案。在这里，我们提出了一种新的网络模块Fest，其估计对应于fea的权重图{Ht}不Xu（Xi，Xu∈Rc× hx× wx）. 接下来，讨论Ik和的相关性。，则分别为。经由局部特征Xi和上下文特征Xu的内积来计算Uk，即，Rk=Xi，Xu，其通过建立Xi和Xu的成对像素级关系来测量非局部相关性。因此，REL-具体而言，首先将位置感知特征连接并通过挤压和分裂结构，该结构压缩并缠绕多尺度特征在预测特征的归一化权重之前k kttevance可以进一步应用为注意力地图，以增强增强局部特征Xi，其关注与局部性更相关的具体地，将Rk通过softmax层以获得注意力图，然后与Xi执行内积，即，Xk=

下载后可阅读完整内容，剩余1页未读，立即下载