基于潦草标注和对抗学习的遥感图像道路提取研究

沙特国王大学学报基于潦草标注和对抗学习袁根吉a，李建波a，b，刘雪a，郑阳ca青岛大学计算机科学与技术学院，青岛266070b青岛大学计算机科学与技术学院、泛在网络与城市计算研究所，青岛266070c清华大学软件学院，北京100084阿提奇莱因福奥文章历史记录：2022年3月8日收到2022年5月4日修订2022年5月27日接受2022年6月9日在线发布2010年海安会：00-0199-00保留字：道路提取弱监督学习Scribble标注遥感图像A B S T R A C T从遥感影像中准确提取道路具有重要的现实意义。然而，分割的准确性会受到复杂多变的客观因素的严重影响。复杂的拓扑结构导致提取的道路不连续。最先进的道路提取方法严重依赖于具有高获取成本的密集注释在这项工作中，我们提出了一个基于潦草的弱监督遥感道路提取网络（WR2E），它可以提取道路的遥感图像的基础上潦草的注释。提出了一种道路三元图生成算法，允许传播涂鸦标注的语义信息WR2E网络包含两个关键模块，即，道路定位模块（RPM）和定向注意模块（OAM）。道路定位模块的设计目的是定位道路的初始位置，一个全球的角度来看，和定向注意力模块指导传播的高层次语义信息的基础上，图像的亲和力功能。所提出的模型实现了最高的结构平均值，结果表明，WR 2 E的道路提取准确率为89.1%，最高自适应E测度为92.0%，最高加权F测度为88.6%，最高平均绝对误差为3.6%，最高IoU为86.9%，最高F1-score为93.7%，表明WR 2 E能够准确有效地实现遥感图像道路提取。©2022作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍道路的精确提取是遥感图像处理领域的一个重要问题。它被广泛应用于各种应用中，例如道路勘测和设计、道路健康状况识别、交通设施变形检测和道路灾害损害评估（Zhang等人，2019年; Alam等人，2021; Patil和Jadhav，2021）。遥感图像道路提取问题可分为道路表面提取和道路中心线提取两个子任务，这两个子任务各有其独特的性质。前者侧重于从遥感图像中提取完整的路面，生成二值分割图像，*通讯作者：青岛大学计算机科学与技术学院，青岛266070。电子邮件地址：lijianbo@qdu.edu.cn（J. Li）。沙特国王大学负责同行审查而 后 者 将 道 路 网 络 的 拓 扑 表 示 为 矢 量 （ Wavelet al. ， 2021;Shamsolmoali等人， 2020年）。通常情况下，不同地区的道路在形状、大小和分布上各不相同（Jiang，2019）。此外，道路开放区域的建筑物、树木和车辆会产生阴影或遮挡，从而导致区域不均匀。所有上述客观因素都可能导致不正确的分割结果（Zhang等人，2022年）。基于深度卷积神经网络的路面提取方法已显示出优越的性能。然而，这些方法基于完全监督学习，即 ， 它 们 需 要大 量 精 确 的 逐 像 素 标 记 的 样 本 作 为 训 练 数 据（Abdollahi等人，2020年）。在实践中，这些像素级掩模注释的获取是耗时且昂贵的。为了减轻这种对昂贵的高成本像素级标签的依赖，弱监督学习最近获得了越来越多的关注（Wang et al.，2021年c月）。研究人员已经尝试从稀疏注释（例如，scribbles）。不幸的是，潦草的注释以分割性能为代价降低了手动交互的复杂性，并且由于缺乏足够的监督信息，容易导致不准确的边界分割（Obukhov等人，https://doi.org/10.1016/j.jksuci.2022.05.0201319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comG. Yuan，J.Li，X.Liu等人沙特国王大学学报71852019年）的报告。为了解决这个问题，一些作品使用传统的方法（例如，图切割）以迭代方式更新掩模（Lin等人，2016）或使用正则化损失函数约束模型（Tang et al.，2018年）。然而，这些方法都没有考虑优化网络结构，以提高分割性能。除此之外，道路连通性还可能受到遥感图像中道路的独特特征的影响，例如树木和建筑物的遮挡或道路的复杂拓扑结构（Wangetal.，2021年a）。由于遥感图像背景复杂、密度高对道路连通性问题的研究通常采用地理信息融合的方法或后处理方法（Shao等人，2021年）。然而，对于道路密集的遥感图像，如城市，这些方法未能达到预期的效果。在这项工作中，我们设计了一个基于涂鸦的弱监督遥感图像道路提取方法，即弱监督遥感道路提取网络（WR2E）。为了缓解高成本手动注释的问题，我们尝试使用潦草的注释数据来训练弱监督深度学习模型。研究了弱监督学习条件下道路模板的提取和关联问题。针对道路网络的不连续性问题，提出了基于生成式对抗网络模型的道路分割模板。在我们的生成对抗网络模型中，生成器是编码器-解码器架构的道路分段网络，而编码器约束生成器网络以生成尽可能完整的道路网络。此外，道路作为一种典型的人工地物，是经过精心规划而建成的，其分布与其他物体或周围环境密切相关。基于这一考虑，我们应用一个全局的拓扑结构来更好地学习道路的全局结构。此外，我们提出了一个道路定位模块（RPM）和一个有向注意模块（OAM），这大大提高了道路分割的性能。道路定位模块最初从全局角度定位道路，而引导注意模块进一步细化道路分割结果。具体地，道路定位模块由门注意模块、空间注意模块和通道注意模块组成。它们可以捕获空间和通道中的长距离语义依赖关系，从而从全局角度推断道路的初始位置。定向注意模块基于已知或未知区域中的特征引导道路不透明度的传播。在一定程度上，有向注意模块可以避免背景伪影的干扰，并获得更清晰的特征表示。我们逐步完善的分割结果在不同层次的功能。本研究的主要贡献如下。(1) 本文设计了一种弱监督的遥感道路提取与修复方法，基于简单的中线涂写从遥感图像中提取道路网络，并利用生成式对抗网络实现道路网络修复(2) 提出了一种基于道路中心线和超像素分割的道路trimap生成算法。根据图像的结构信息建立了超像素块之间的相似度，并设计了一种新的超像素间的度量函数，以满足本文的要求。(3) 设计了一种新的生成器和全局搜索器，实现了道路的精确分割和全局结构的学习。生成器可以探索长距离语义依赖关系以定位道路的空间位置，并且搜索器可以从全局视角学习道路的整体结构和其余的工作安排如下。在第2节中，我们简要回顾了相关的语义分割工作，包括基于全监督学习的方法和基于弱监督学习的方法;此外，我们简要分析了生成对抗网络的优势。在第3节中，我们提供了WR 2 E的详细描述，包括道路trimap生成模块，编码器-解码器网络和判别器网络。在第四节中，详细的定量评价和定性分析的实验结果，并在不同的数据集上验证了所提出的方法的有效性和鲁棒性。最后，我们总结了这项工作，并在第5节结束。2. 相关工作语义分割是将自然图像中可区分的像素类别划分为不同的语义可解释类别，是计算机视觉中的一项关键任务。语义分割是实现完整场景理解的必要条件，也是解决复杂或高级视觉任务（如目标跟踪）的基础（Wang等人， 2019年）的报告。完全监控的道路提取。城市的快速发展导致了道路网络的显著增长，而道路网络信息需要即时更新（Guo et al.，2021年）。全监督道路提取方法基于大量标记数据训练模型。 Toldo等人（2020）考虑道路区域的灰度值相对一致，与周围物体（如树木、建筑物）有一定的对比度。 Sun等人（2021）基于全局上下文感知模块和多级特征融合策略来捕获道路的更详细特征。 Zhu等人（2021）通过道路边界信息细化道路分割结果。 为了突出和区分特定复杂场景中的有效特征，Chen et al. （2022）通过整合通道和空间注意力模型来获得最有价值的特征。 Zhou等人（2021）提出了使用图卷积网络来捕获通道和空间特征中的全局上下文道路信息，以解决道路之间的大类内差异以及遮挡的问题。上述改进和扩展显著提高了使用端到端全监督深度学习开发的道路提取算法然而，道路提取的准确性往往严重依赖于标签的准确性现有的基于全监督深度学习的道路提取算法受到所需大量高质量像素级注释信息的弱监督路提取。弱监督学习方法是指不使用完整注释的训练数据集的技术（Lian等人，2021年）。 Huang等人（2021）对目标对象进行划线标记，进行语义分割。Mattyus等人（2015）尝试使用OpenStreetMap（OSM）数据从遥感图像中提取道路。然而，他们把道路分割作为一个宽度估计问题，导致他们的方法的鲁棒性过于乐观的评价。为了更好地标记道路，Wu等人（2019）基于利用OSM中心线的预定义道路宽度生成道路标签掩码，然后将这些道路标签掩码馈送到分割网络中。Shamsolmoali等人（2020）基于超像素分割创建初始道路遮罩。虽然在一定程度上避免了预定义道路宽度的限制，但它会导致掩模过于粗糙。 Huang等人（2022）设计了一个边界感知模块，以迫使模型学习突出对象结构的特征，并在可涂写标签的监督下实现显著对象检测。然而，基于涂鸦监督的预测结果通常是不完整的，因为小标签不能G. Yuan，J.Li，X.Liu等人沙特国王大学学报7186包含目标对象的完整语义区域。唐等人（2018）采用空间交叉熵和正则化作为损失函数，并将标签信息传播到未知区域，从而实现完全监督的学习效果，Obukhov等人（2019）提出了弱监督语义分割的门控CRF损失。对于遥感道路数据，仅利用中心线很难将道路与背景区分开。现有的基于涂鸦的弱监督方法在实现与完全监督方法相当的分割精度方面存在困难。生成对抗网络和道路连通性。生成对抗网络（GAN）（Li等人，2021）在语义分割领域发挥着重要作用。Li et al.（2021）基于GAN网络，通过循环结构将图像从一个域映射到另一个域，从而使相似的特征在变化检测中具有可比性。Valvano等人（2021）训练多尺度GAN以生成具有多种分辨率的分割掩码，同时使用涂鸦来学习它们在图像中的正确位置。Lin等人（2021）通过堆叠多个网络来生成更高分辨率的细节信息。用于自然图像语义分割的GANs辅助分类形式只能学习感知域内的道路结构，而不能捕捉全局结构信息。在此基础上，我们着眼于道路的完整性，并设计了一个全球性的地图来捕捉全球的道路结构和拓扑结构。道路连通性研究的发展已经从使用手工设计的有限元模型增强道路连通性的传统方法发展而来，例如基于条件随机场的有限元模型（Wegner等人，2013）和基于节点的过程（Chai等人，2013），到结合深度学习的语义分割技术。Batra等人（2019）试图通过特定于轨道的标签方向来解决道路连通性将GNSS数据引入到遥感图像中进行道路分割.Sun等人（2019）不仅提高了模型的泛化能力，而且在处理由遮挡和纹理引起的不可识别区域时具有更好的鲁棒性Chen等人（2019）基于GAN来恢复大规模分割掩码中的间隙。对抗训练能够为模型提供全局上下文和局部细节目前，道路连通性问题的研究表明，从高分辨率遥感影像中提取道路仍然是一个主要的难点。注意力机制。注意力机制的出现使得对连接的远程依赖性进行建模成为可能，从全局信息的角度来看文本信息（Ding等人，2021; Chefer等人，2021;Wang等人，2018年;陈例如，2018; Yue等人，2018年）。Liu etal.（2022）通过自我注意机制从图像中提取关键信息。Mei等人（2021）设计多分支注意力模型以聚合局部/全局上下文语义信息。Cao等人（2021）使用注意力机制来建立特征的远程依赖。Yang等人（2021）认为，重复使用注意力层可能会导致数值不稳定或梯度消失。因此，注意机制仅用于RPM模块。综上所述，基于深度学习的语义分割方法仍然面临许多问题。然而，与传统方法相比，这些基于深度学习的方法更适用于遥感图像中复杂多变的道路类型。本文主要研究了遥感图像道路提取中的遥感相关性建模能力。目前，扩展卷积、金字塔池化和注意力机制是常用的解决方案（Lan等人， 2020年）。但是，这些方法受到空间信息丢失或各向异性特征捕捉的限制，以及冗余信息等问题的影响，难以直接应用于遥感图像。我们注意到，随着全局信息捕获能力的增强，基于深度学习的语义分割网络记录了大量的上下文信息（Tao，2020; Cai et al.，2016年）。虽然它极大地缓解了信息不足的问题，但它导致了信息冗余，增加了计算成本。特别是对于遥感图像道路提取等二值语义分割任务，冗余特征信息容易受到复杂背景信息的影响，导致噪声干扰过大，影响道路提取效果（Minaee et al.，2020年;Zheng等人，2021年）。在这项工作中，道路定位模块和定向注意模块被构造用于更好地定位和细粒度分割。3. 方法我们提出了一个基于涂鸦的弱监督深度学习网络，即WR2E，用于从遥感图像中提取路面。WR2E的结构可以从三个方面来理解。首先，基于遥感图像和涂鸦标注，通过道路三重图生成算法生成建议的标注掩模，如图所示。1.一、然后，Fig. 1.道路trimap生成算法。通过腐蚀性膨胀生成初始三重图，然后将其与抠图结果结合作为最终的道路遮罩。为了更好地展示，我们做了适当的放大。G. Yuan，J.Li，X.Liu等人沙特国王大学学报7187P¼ðÞp p pP如图2所示，通过最小化联合损失函数，使用所提出的掩模和遥感图像来训练WR2E网络。最后，我们应用局部/全局的神经网络来更好地学习道路结构，实现道路连通性恢复，神经网络结构如图所示。3.第三章。3.1. 道路三重图道路中心线可以被处理为涂鸦注释在这项工作中提出的方法。直接使用道路中心线来训练模型将不可避免地导致较差的分割结果，这是由于潦草注释的稀疏性。需要更详细的标签来实现更好的分割性能。例如，涂鸦可以通过腐蚀和膨胀扩展到预定义的道路宽度虽然该方法简单有效，但道路宽度是可变的，并且预定义的扩展宽度不能精确地拟合道路边界 为了克服潦草注释的缺点，我们开发了一种结合抠图算法（Wei和Ji，2021）的非局部关联道路三重图生成方法，以生成更详细的道路注释，如图所示。1.一、由于我们只需要道路中心线作为一个潦草的注释，我们的方法可以大大减少数据标注的工作量。一般而言，道路中心线基本上与道路边界保持平行基于道路中心线涂鸦，采用腐蚀膨胀策略，根据道路宽度推断出生成初始道路模板所需的然而，由腐蚀和扩展策略生成的道路三重图仍然非常粗糙，并且严重依赖于涂鸦的准确性例如，我们手动标记的道路的中心线可能不在道路的中心或可能不完整。考虑到基于传播的抠图算法（Karacan等人，2015）对于整个特征空间中的全局最近邻点容易产生错误的不正确关联，而超像素可以有效地携带像素点的纹理和环境信息。因此，我们在超像素集合中搜索相似的超像素，以有效地排除一些容易导致错误的最近邻全局关联可以表示为对颜色线模型的补充，以补偿传播算法在窗口大小方面的缺点。具体地，简单线性迭代聚类（SLIC）算法（Achanta等人，2012）首先用于划分超像素。其次，我们在所有超像素中搜索当前超像素的相似超像素，然后在相似超像素集合中搜索当前像素点的最近邻居我们设计了一种基于Kullback-Leibler散度（KLDiv）（Hershey和Olsen，2007）的新度量，假设图像I的像素点特征是f：f=x;y=1/2R;G;B;jIxj;jIyj;jIxxj;jIyyj;x;y]T;1其中，x;y表示像素点的坐标，Ix;Iy;Ixx;I yy表示像素点的颜色信息，并且I x;Iy;Ixx;Iyy分别表示图像强度的一阶梯度和二阶梯度Sp和Sq是两个不同的超像素，其特征的概率分布分别为P和Q。文献（Karacan等人，2015）假设每个超像素的概率分布其中，lp，p分别表示超像素Sp的本征均值向量和本征协方差矩阵，则基于KL散射的超像素度量函数为：图二.弱监督遥感道路提取网络（WR2E）。在本研究的网络架构中有两个主要的组成模块：道路定位模块和定向注意模块。G. Yuan，J.Li，X.Liu等人沙特国王大学学报7188BQ.X¼QQ.Σ-1q;iXT-不pX.q;qpiQP¼ PKÞKK超像素Sq的协方差矩阵Pp可以表示为¼ Ulq-lpK-1UT lq-lpGpQpGpQp通过最小化<$i-PK获得wi jxi jé，s.t.PK我IJjp;i;;;;@;一ðpp0的情况。X-1X！0de tX111Qp中文（简体）DKL.NSpjjNSq 1/2B德·萨德尔pCQð2ÞT-1CAlq-lp其中k9表示像素特征的维数。我们我们在此基础上进行了改进，以满足这项工作的需要作为Pq其中，U。Lq;1;lq;2 ;......的人。 ;lq;kn是正交的矩阵，K q;diagkq;1;kq;2;. ;kq;k是对角矩阵。我们可以很容易地得到P-q1¼UqK-q1UT。然后，等式（2）可以分解为：XX.-1TX！.-1TX！trQÞ1/4tr U qKq UqUpK1/4tr KqUqUp Uqpð3Þ1/4XuTXuq;i=kq;ii¼1p-1lqlpQ. lq-lp1/4。LQ.-我是UK-1UTL.联系我们q-lp.Σð4ÞK¼1/1u T。l-l2=kq;i：映射到基于主成分的空间后，与原始特征对应的新特征为：g½uq;1f;uq;2f;. . . ;uq;kf];5其中gi是原始特征在第i个主成分t方向上的投影大小。然后，特征均值g<$p和协方差。图三.全球性的和地方性的。(a)（b）局部的局部的。Ground Truth由GCBN提供。该算法将图像块和大规模的分割模板作为输入，而局部算法只使用图像块来计算损失。Sp的概率矩阵P可以表示为g<$p<$UTl;P1/4UTPUq.设gp的主对角线上的元素为vp;i，表示原始超像素在第i个主成分方向上的投影大小然后，Eqs。（3）和（4）可以简化为：在具有较小方差的主成分方向上，sess更近的距离在构建超像素集合之后，我们选择K相关联的未知像素X的像素。这些相关的像素可以是线性的，. X-1X！Qpvp;i=kq;i;6早期表示为xi¨我K第1页wij xij，其中权重wij为¨第1第11. 扩展-TX-1ΣQX.Σ将像素点之间的线性关系转换为对应的可以通过最小化目标函数来获得最小值。lq-lplq-lp¼ 1/1 g<$q;i-g<$p;i=kq;i：7Xa-Xwa2aTE-WTE-Wa;9稳定和动态因素。稳定因子的方差很小，反映了主成分方向上特征的稳定性动态因子具有较大的方差变化，强烈地反映了超像素所处的环境或纹理信息。在本文中，我们只保留了两个度量函数，以克服小方差的问题然后，可以如下定义修改的能量函数。其中E是单位矩阵，W是相关矩阵。之后，我们使用所提出的拉普拉斯抠图模型（Chen et al.，2013）来平滑估计的alpha掩模。最终的目标函数表示如下。W¼aTLakaTE-WTE-Wada-a^TKa-a^;10D.Sp;SqXjv-kqij=kqiX。g<$qi-g<$pi2=kqi;81/11/1其中，k和d是数据项的全局关联和优化权重，分别是，并且是通过以下获得的α值：稀疏的席子（Johnson等人， 2016年）。对角矩阵KK1/1基于超像素在主分量方向上的方差的大小，可以将超像素划分为：我J¼@Btr¼XG. Yuan，J.Li，X.Liu等人沙特国王大学学报7189联系我们其中第一项是特征方差的加权曼哈顿距离，第二项可以被认为是特征的加权欧几里得距离，其主要测量两个超像素均值之间的差异超像素位置表示a的置信水平。 L是Laplace矩阵。我们认为-基于图形模型的结构来细化拉普拉斯矩阵L L T L D W T D W（Chen等人，2013; Wang等人，2021年b）。哪里W是的邻接矩阵和G. Yuan，J.Li，X.Liu等人沙特国王大学学报7190.- 是的¨¨Σ¨¨X.Σð·Þð·Þ×ð·Þ**fg 2 ¼ ×¼-X.Σ第1页在最小化之后获得封闭形式的解D¼诊断程序d1;d2;：：;Dnn;di¼Pnwij 是度矩阵。 我们可以其中Qi表示矩阵中第i个K纪表示矩阵中第j个位置的元素，Ja1/4LD LKL-1Ka^：11K已 知 区 域 可 以 通 过 文 献 中 的 预 处 理 方 法 扩 展 到 未 知 区 域（Shahrian和Rajan，2012）。当未知像素满足以下条件时，它们可以被标记为前景像素。Dxu;xfU.Σ×××OAMOAMX：最小Gf~ fXK;108>

下载后可阅读完整内容，剩余1页未读，立即下载