基于点的迭代图探索方法改进道路图提取

8910VecRoad：用于道路图提取的基于点的迭代图探索南开大学CS学院谭尚华高宣义李明明程博任Rhttps://mmcheng.net/vecroad/摘要从航空影像中自动提取道路图比现场采集更有效，成本更低。这可以通过后处理步骤来完成，该后处理步骤将CNN预测的道路分割矢量化，但是不完美的预测将导致具有低连通性的道路图另一方面，迭代的下一步探索可以构建具有更好的道路连通性的道路图，但通常关注于局部信息，并且不能提供与真实道路的精确为了增强道路连通性，同时保持图与真实道路的精确对齐，提出了一种基于点的迭代图探索方案，该方案具有分割线索指导和灵活的步骤。 在我们的方法中，我们将下一次移动的位置表示为一个“点”，该点统一了多个约束的表示，例如每个移动步骤中的方向和步长。信息线索，如路段和路口联合检测和利用，以指导下一步行动，实现更好的路线。我们证明，我们提出的方法有一个考虑-（一）（c）第（1）款（b）第（1）款（d）其他事项能够改善国家的最先进的道路图提取，在常用数据集上的F-测量和道路连通性度量方面的方法。1. 介绍道路图是道路地图的矢量化表示，它允许诸如用于导航的最短路径搜索之类的实际应用。传统上，可靠的道路图是通过昂贵且耗时的现场采集和手动标记来生成的。近年来，卷积神经网络（CNN）[20，1，26]被用于从航空图像自动构建高精度和宽覆盖范围的道路图，从而减少了人工工作量。最常见的方法[16，2]使用后处理方法，例如：形态学运算[31]和硬编码规则[16，7]，以从卷积CNN预测的道路分割中提取道路图。然而，所获得的图受到分割质量的高度影响，图1. (a)由于固定的移动步长，道路交叉点发生了移动。(b)以我们建议的可伸缩步长移动。(c)图和道路之间的错误对齐，没有分割指导。（d）分段线索引导的下一步移动预测生成具有精确对准的图。其中间歇性分段通常导致具有低连通性的图。为了加强道路的连通性，最近提出的方法[1，26]通过迭代下一个移动探索来构建道路图。在他们的方法中，通过预测局部补丁中的下一个移动并将其连接到当前道路图，迭代地生成完整的道路图。然而，迭代的下一个移动探索在估计下一个移动时纯粹关注局部信息，这可能导致图和真实道路之间的不对准。如图所示。1（c），即使图是在大致正确的方向上探索的，预测图的一部分由于其局部化的下一步移动发现策略而在真实路线图之外。此8911外，如所示8912如图1（a）所示，当前方法中的固定步长很容易导致图中的道路交叉点发生偏移。为了在保持图与道路精确对齐的同时增强道路连通性，提出了一种基于点的迭代图探索方案，该方案具有分割线索指导和灵活步长。我们首先将下一步的位置表示为一个(a)（b）（c）多个约束的表示，以及每一移动步的步长。我们设计的网络学习在每个下一个移动推理步骤输出多个估计点位置的高斯概率分布。与以前的方法相比，使用移动角度作为下一个移动的指标（图。2（a）），我们的新表示支持简单的推导的方向和步长，同时避免了复杂的多个监督的培训。我们提出的下一步棋的“点”表示的例子如图所示。2（b）和（c）段。通过监督点坐标，我们提出的方法学习预测下一个移动的正确位置，在非平凡点（道路交叉口，道路终点和连接点），如图所示的现有道路图具有灵活的步长。1（b）和图。4.第一章与推理阶段相同，在训练阶段，我们还可以利用分割线索可以提供的全局信息，这些信息给出了道路的概述。因此，我们使用道路分割和连接线索作为隐式指导来预测具有准确对齐的道路图，如图所示。第1段（d）分段。对于端到端设计，我们在具有共享主干的统一网络中提取道路分段和交叉点线索以及下一步移动预测我们的主要贡献如下：• 提出了一种基于点的迭代下一步探索方法，该方法具有灵活的步长检测技术，可以精确地定位在搜索过程中的非平凡点上。下一步探索。• 从分割线索的探索指导，生成具有良好的连通性和良好的对齐精度的道路图。2. 相关工作2.1. 道路分割从航空影像中提取道路是遥感领域的一个研究热点。传统的方法通过各种技术来构建道路图，利用附近的建筑物和车辆[11]、形状因子[22]、模拟退火技术[23]以及不同的光谱对比度和局部线性轨迹[6]。最小生成树[24]、高阶条件随机场[27，28]和连接过程[3]也被用来构造道路图。最近的工作应用深度学习来生成具有更高性能的道路图。在[17]中，限制性玻尔兹曼模型-图2.在基于探索的方法中表示下一步（以红色指示符显示）。(a)角与固定步长;（b）点与固定步长;（c）点与可变步长。灵活的步长可以更好地表示道路几何形状和定位路口。在道路检测中采用chine方法，对输入数据进行预处理降维。进一步采用后处理以移除断开的斑点并填充道路中的洞。Saito等人[20]使用CNN直接从原始遥感图像生成道路分割，而无需预处理。Cheng等人[5]用级联神经网络提取道路中心线。Zhang等人[32]将剩余连接[10]应用于U-Net [19] ，以 了解道路 分段的 更精细 特征。D-linknet [34]结合了膨胀卷积[30]和Linknet [4]，以扩大从高分辨率卫星图像中提取道路的接收场。2.2. 道路图构建要生成精细的道路图（即道路图的矢量化表示），应同时考虑连通性和对齐。有两种主流的框架来获得道路图.一种是利用分割和后处理，另一种是将航空图像直接转换成图形。道路分割的后处理。后处理方法采用阈值法对道路段进行二值化处理然后采用形态细化技术[31] 以获得一个像素宽的道路骨架。为了去除图的冗余，先前的方法使用Rame r-Douglas-Peuc ker算法[7]。Ma'ttyus等。[16]使用具有软IOU损失的轻量级CNN在第一个过程中生成分割输出。 在图的转换后，他们删除短边和原因，丢失的连接与最短路径问题的Batra等人[2]引入定向学习和擦除细化学习。方向学习赋予神经网络处理像素之间连接的能力。此外，擦除-细化学习学习道路连接的模式，并优化第一步输出的道路分割。所获得的道路图在APLS度量上具有更好的连通性[25]。8913(a)−→(b)−→（c）(a)(b)（c）第（1）款图3.一个连续的基于点的迭代探索，(a)到（c），显示下一个移动轨迹而没有连接模糊。黑线是地面实况道路图注释，而橙色线是步行路径。黄点是当前顶点的坐标粉红色的点表示连接点，红色的点是用高斯分布表示的目标。迭代道路图探索。 Bastani等人 [1]采用迭代探索算法直接生成道路图。首先，在训练和推理时分别从图的地面实况和额外的道路分割网络中生成起点。然后，他们迭代地从以起始点为中心的航拍图像中将裁剪的补丁送入神经网络。网络输出之一是概率，决定算法是否需要继续搜索或停止。另一个输出是一个角度向量，它表示从当前顶点到下一个移动的角度。它们使用地图匹配算法来保持沿着当前道路的搜索路径，而不是进入其他道路。Li等[14]利用聚乙烯来适应道路和建筑物的形状。基于多边形的方法使用CNN-RNN架构，以递归地提取道路几何形状的关键点。然后，右手规则被应用于勾勒道路轮廓。3. 方法迭代探索框架[1]通过不断预测下一步行动并将其合并到现有的道路图中来构建道路图。我们采用这个框架，并提出了几个方案，以提高道路图的建设性能。我们利用基于点的下一步表示，这是一个统一的组合移动角度和距离。由于点表示，多个约束可以很容易地应用，而无需复杂的监督。我们提出了一种灵活的步长检测技术，其目的是在训练阶段动态对准的交界处。我们利用道路和路口分割线索来指导探索，并实现更好的道路对齐。我们将这些方案统一到我们提出的框架，道路点网络（RP-网），以生成具有高连通性和精确对齐的道路图。在本节中，我们将首先回顾迭代探索框架，然后描述我们方法的细节。图4.当遇到（a）道路交叉口，（b）道路终点，(c)下一个动作中的连接点。橙色线是步行路径，这在连接点连接之前很重要3.1. 迭代探索道路图G是道路地图的矢量化表示，其包含顶点集V={v1，v2，···，vn}和边集E={e1，e2，···，em}。边e是两个顶点之间的直线，表示道路是-这两个顶点之间。该方法通过沿道路迭代地寻找新的顶点，并将新的顶点添加到已有的道路图G中，使两个顶点之间有一条具体地，迭代探索以指示探索的起始点的起始顶点集合S开始。通常，S是从道路分割[1]或交叉口分割的峰值点获得的。G中的顶点集V初始化为S的一个副本.对于每个explo- ration，从S弹出顶点v作为起点。一个神经网络获取一个以这个顶点作为输入，并预测下一个顶点集V′。如果预测的v∈V′在V的同一区域内有一个匹配的顶点，则该匹配的顶点将被采用作为新获得的然后，将新获得的顶点和现有顶点与新顶点之间的道路添加到V和E分别形成新的G.S更新为SV′.从S获得新的起始顶点以开始新的探索。当S为空时，探索结束。图第三，在探索过程中提出了动态的过程随着探索的进行，图被迭代地构造。3.2. 基于点的迭代探索基于点的下一步预测。在这项工作中，我们将下一次移动的位置表示为一个“点”，统一了移动角度和距离的表示，如图所示。第2段（b）分段。在训练阶段，下一个动作的监督总是设置在道路的中心线上，从而保证输出迭代地跟踪真实道路。 探索检测器在以下一个移动的位置为中心的高斯分布的监督下进行训练。将基于点的探索作为像素级任务，神经网络可以精确地预测“在路上”的下一步行动。在推理过程中，可以从预测分布的峰值获得下一个8914很容易应用多个约束（例如，方向和步长）在训练阶段的点表示上，而不需要复杂的多种形式的监督。在下文中，我们将详细讨论我们的方法。灵活的步长方案。 在[1]中，具有固定步长的角度分类器应用于检测多达64个ver。如图所示。第2段（a）分段。如图所示，道路中有几种非平凡点，如交叉口、道路终点和连接点。4.第一章当前位置和附近的非平凡下一步之间的道路长度几乎不能匹配固定步长的整数倍。如图所示的例子。1（a），具有固定步长的检测器可以在下一次移动中遇到交叉点时生成具有真实道路的未对准图。为确保道路和路口的路缐准确，一个灵活的步长方案。在训练阶段，我们在一个空图上进行探索，并使用地面实况图的监督。在每个探索步骤中，我们动态地遵循地面实况图来生成下一步监督。 我们在这里将固定步长表示为s，并且将可变步长设计为自适应步长。可调长度介于0. 5×s和1。5×s。 当在1内存在非平凡点时。5尺度的s从当前顶点，我们生成的监督高斯分布准确地在检测点上。通过灵活的步长，可以容易地处理诸如交叉点的非平凡点，并且因此图形将与真实道路对齐。该方案还有助于增强图的连通性。 一个具体案例示于图如图4（c）所示，利用灵活的步长，可以容易地匹配和连接先前中断的探测的中断端点。对于下一个勘探区中没有非平凡点的情况，在图1中，3（c），我们使用从起点开始的固定步长沿着地面真值图生成新的监督高斯分布。作为结论，我们在道路中间使用固定步长监督，并在非平凡点附近切换到灵活的步长一个额外的步长学习必须精心设计 如果采用角度学习的传统方法想要获得这种灵活的步长的话。相反，不是添加移动距离检测分支，而是由于我们提出的“点”表示，基于点的检测器可以通过用移动距离编码的基于点的监督进行训练来学习性能良好的可伸缩步长，如图2所示。第2段（c）分段。轨迹探索。在迭代探索的框架下，每一步都可能带来微小的误差。受强化学习中的长期奖励和经验重放机制的启发[18]，我们建议立即预测移动轨迹，而不是只预测一步。我们通过反复地发送下行信号-采样的下一个移动预测到下一个移动检测器（沙漏块）多达T次。应该注意的是，给定空间图像作为输入，我们只提取图像特征一次。通过使用递归机制，神经网络将获得更长的未来轨迹的视线，并减少总的误差。3.3. 分割提示与专注于当地下一步行动的探索机制不同（图1）。（2）细分技术具有更强的全球利益观。比较图1（c）中的[1]的结果和我们的结果（d），我们可以看到，如果没有关于如下面所描述的在长期视图中探索哪里的全局知识，则探索将导致道路和交叉点上的不对准。道路分段提示。 道路分割的目标是从航空图像中提取道路的中心线[20，5]。如图1（b），道路中心线可以更好地表示宏观角度上的道路图的拓扑。在这里，我们解释了在我们的方法中使用道路分割的两个关键见解。首先，迭代探索方法主要关心局部下一移动的位置，但缺乏对道路区域的整体知识，即，真正的道路在哪里具体来说，在图7（e）、(g)以及（h）来自道路分段的道路区域的全局引导可以减少与真实道路的不对准。其次，在下一个移动预测的形式中，道路分割可以被视为勘探点的理想选择集合。因此，道路分段可以在探索之前提供适当的引导和中心线。交叉点分段提示。交叉口的分割正好适用于我们的灵活步长方法，当交叉口在前面时，它可以指导下一步的预测。由于航空图像中的道路交叉口通常是以区域的形式存在的，因此交叉口分割提示可以帮助网络在训练期间精确地学习最佳交叉口位置。举例来说，在没有交叉点线索的帮助下，当若干道路段在交叉点区域处相遇时，探索方法可检测到更少或更多十字路口。如图图7（e）、（f）和（h）中，在没有交叉口分段作为支撑的情况下，勘探进度在复杂交叉口处挣扎，而在交叉口引导下，预测图更有条理。与使用道路分割的原因类似，交叉口分割可以给出交叉口位置的先验，这有助于神经网络更好地识别距离模式并确定步长以达到交叉口的准确坐标。3.4. 网络架构在我们的网络架构设计中，如图所示。5.采用VGG骨架的侧融合F，8915X16X8X4X2Xi=1i=1不不RJ道路隔离区连接段RJ一个电话+1CW步行路径C串联Conv3x3-ReLUA解码器块不下一步在时间tVGGVGG侧融合RJFW沙漏解码器Cxxxx4 4 2+1个不ΣjD（Ai）ˆCj=1i=1256× 256× 3X4F图5.RP-Net架构概述矩形是不同比例尺的特征图每个特征图的颜色表示使用相应的VGG阶段。 该波形路径是一个二进制掩码，但在输入图像上被可视化为一条橙色线。复发部分以（F，R，J，W，1= 0（Ji=1 D（Ai）），T−t（A0））作为输入，并通过时间序列输出At+1上的预测n e xt m。四分之一比例尺的航空图像的金字塔基本特征。为了使神经网络预测更稳健的前进方向，我们显式地生成探索的路径分割W作为中间输入。 我们利用侧输出特征融合F来产生四分之一尺度道路和交叉点分割预测，其分别由R和J表示。我们采用道路监管R和路口监管J来指导骨干网络学习基本的代表性技术，一条路的位置。沙漏块是一个金字塔特征自动编码器，它基本上以道路主干线特征和W的级联为输入，通过快速下采样和上采样融合特征。 了采用分割线索作为隐含的指导，我们的沙漏块的输入进一步由分割线索连接起来。在概率映射A≠t+1上得到一个新的m。这里，D（·）对下采样操作进行去注释。 因此我们可以重新获得T个时间步长的At。 如果道路段在T个时间步之前遇到一个交叉点，比如在步骤t = k，k k +1，因为在探索t = k +1之后的监督对于顶点连接将是不明确的。在网络结构设计上，采用4层下采样和4层上采样结合剩余连接的方法构造沙漏块。每个层包含两个Conv-ReLU层，内核大小为3. 每个解码器块将32通道骨干特征和从前一个块计算的32通道下一个移动特征作为和，然后是两个3×3卷积层。我们使用标准的二进制交叉输入特征图（F，R，J，W）.在这里，（·）表示con-损失，以优化R，J，和不t=1 一点也不尊重我。的渠道层面的连锁这里我们不区分总损失函数是中间分割特征图和输出预测在表示R和J中，对于单纯的y。隐式ΣT-是的L=ΣL（A，A） +L（U（A′），A）+R和J的指导将作为输入，并为该设计带来良好的可解释性。在沙漏块之后，t tt=1λL（R，R） +λL（J，J），t t（1）ne xtm在 eA′上的粗糙高斯分布将是guar-12由一个实高斯映射A的边监督。我们网络的解码器部分被设计成放大和使用高级和低级道路信息完善预测，帮助精确生成预测分布。 最后，监督A将被应用于保证一个细致的分配。更多关于，owing to多任务的联合学习，我们的方法是端到端训练的，没有一个单独的网络来获得起点。为了递归地预测T步，我们将最终预测下采样为四分之一尺度，并通过与沙漏块其中L（X，Y）是预测矩阵X和地面实况矩阵Y之间的二进制交叉熵损失。 U（·）表示上采样函数，λ是平衡多类损失的参数。在Equ.（1），T由min（k+1，T）确定。损失函数中的λ1和λ2都被设置为1。3.5. 实现细节在RoadTracer [1]之后，我们动态生成地面实况下一步来训练神经网络。在训练过程中，我们采用空图进行探索，用监督图指导下一步的坐标。上面提到的我们使用占位符000最初为了保证列车的独立同分布，以确保特征通道的一致性。G iven在这个过程中，我们从一批训练补丁中抽取样本，（F，R，J，W，1=0（Ji=1 D（Ai）），（A=0），我们可以8916不同的航拍图像，并从一开始就应用随机弹出-8917对每个训练图像的点集进行训练。由于随机图探索自然是一种数据增强技术，因此我们不应用额外的数据增强。RP网络是用256× 256分辨率的航空图像中裁剪的补丁训练的，这是有效性和效率之间的权衡。我们采用Pytorch框架和已发布的VGG-16模型[21]作为初始化。我们使用Adam优化器[13]训练网络102，400次迭代。我们以初始学习率开始训练，1e-3，我们将学习率降低一次，因子为0。1在40，960迭代。 我们使用24的批量大小来训练模型，使用2个NVidia Titan XP。没有应用于训练数据的数据增强。我们采用阈值0.4，用于从下一个移动概率图到坐标的转换。总时间步长T的值是图像大小和步长大小之间的折衷。我们在这项工作中使用T= 4来提供足够的轨迹长度，并确保下一次移动同时在输入图像内。需要注意的是，较大的图像大小需要更多的GPU资源，同时保持批量大小。在训练阶段，固定步长具有[1]第一届中国国际汽车展览会[16]第二十六话Con. [2]（a）（b）图6.表1中提到的各种方法的定性比较1.一、（a）从RP-Net-Seg.生成的分割结果，（b）从RP-Net-Seg生成的图。使用后附身。平均路径长度相似性度量（APLS）是从[25]中引入的。在具有来自预测图G和地面实况图G的所有对应节点对的情况下，APLS度量研究它们之间的最短路径长度差：距离为20个像素，可在10到30个像素之间调整可变步长，以动态适应距离从当前路段的末端感谢我们的隔离区-.1ΣAPLS=N21 +的1Σ、（二）由于我们使用的是分段线索，因此我们不需要额外的网络来提取起点，因为我们可以从交叉点和道路分割的峰值侧输出中获得S。我们网络中的参数数为20M，小于[1]中的21M（用于起始点生成）加26M（用于迭代探索）。哪里SG→G1= 1 −MΣminSG→GSG→G.Σ|L（a，b）−L（a，b）|1，L（a，b）（三）4. 实验我们在RoadTracer数据集[1]上定量和定性地验证了我们的方法，并在本节中给出了详细信息。4.1. 评估指标我们评估我们的道路线形和图形连接的结果。在文献[17，20]的基础上，我们采用像素度量研究了道路中心线模板的像素级对齐。这里，道路中心线掩模是通过在具有8像素的固定宽度的2D地图上绘制道路图来生成的。道路宽度被视为道路中心线的松弛。为了更好地评估道路连通性和拓扑结构，我们按照[1]来评估路口级别的查准率。[1]中的F校正和F误差可以进一步用于通过将1−F误差视为精度来计算F分数而F是正确的。我们统一采用平均F得分，用“P-F1”和“J-F1”分别表示像素度量和连接度量的查准率和查全率的综合性能关于像素度量和结度量的更多细节将在补充材料中解释。是从G到G的最短路径长度得分映射。在当量ag（3），M是映射图G → G中唯一路的个数。 L（a，b）和L（a，b）分别表示G中的路（a，b）和G中的路（a，b）的长度. 在Equ. 其中，N是属于数据集的图像的数量。4.2. 与最先进技术的我们将我们的方法与以前的最先进技术进行比较[16，1，2]。如Tab所示。1，我们观察到我们的方法在所有三个评估指标上都优于最先进的技术。特别是，我们的方法具有优越的性能上的交界处度量，显示出基于点的方法在恢复道路交界处特征的优势。对于比较中使用的方法，我们在图中提供了定量可视化 。 六、 补 充 资 料 中 将 给出 更 多 的 可 视 化 比 较 。DeepRoadMapper[16]是一种基于分割的方法。由于在分割监督中缺乏连通性信息，当阴影或遮挡发生时，神经网络具有间歇性输出。RoadTracer[1]是一种从航空图像中提取图形的更鲁棒的方法，但该方法没有考虑交叉点的移位，8918步骤隔离区隔离区Exp.C53.2856.4236.2543.8334.6946.22CC68.2856.2149.46CC61.2855.4950.75CCC69.8159.4257.28表1.RoadTracer道路数据集上的性能比较“P-F1”和“J-F1”分别表示道路像素级度量和路口级度量的F分数。†表示使用[1]中的后处理实现。RP-Net-Full+ Res 2Net意味着额外使用Res 2Net [8]作为主干特征提取器。固定步长的角度学习设计。请注意，RoadTracer的结果缩小了输入范围，因此我们通过缩小地面实况并在选项卡中报告为“RoadTracer-256”来公平地评估其性能。1.一、[2]方法是一种基于分割的方法，也采用复杂的硬编码后处理。虽然道路分割可以考虑连通性并生成性能良好的道路掩模，但复杂的后处理也会导致几何变形。具有Res2Net[8]主干的版本略微牺牲了像素级分数的高分辨率，但由于多尺度聚合和自适应接收场，实现了更好的连接性分数[33]。4.3. 消融研究通过对这些方法的具体应用，研究了它们的改进如Tab.所示。2、首先，我们进行了一个没有弹性步长、分割线索和轨迹探索的基线实验。灵活的步长。通过利用基线方法的可变步长，像素级道路对齐和路口级连通性都得到了改善。在这里，可以从“J-F1”分数揭示连接方式的连接性。具体而言，结度量提高了7.58%，主要得益于精确的结位置。如图所示。8、节点移位受到明显抑制。分割提示。通过对基于可变步长法的道路分割和交叉口分割技术的研究，验证了该方法的有效性。我们首先仅应用道路分割提示，即对融合的VGG特征和道路分割特征的级联应用侧监督，作为下一个移动预测器的输入，如在第2.2节中所述。三点三单独使用道路分割线索，像素度量提高了11.86%表2.我们提出的方法的渐进式改进。请注意，所有实验共享从完整模型获得的相同起始点并且连接度量提高了12.38%。其次，我们只应用连接点分割线索，这有助于精确定位连接点，并进一步帮助灵活的步长方法找到准确的步长。这两个指标类似地改善，但像素度量的改善小于单独使用道路分割提示。这是可以预期的，因为错误的交叉点位置总是导致错误的道路定线，但反之则不然。因此，使用道路分割来实施道路线形具有更大的效果。然而，只有通过结合这两个分割线索，我们才能观察到APLS度量的大幅增加。这背后的原因是这两个分割线索具有互补的强调。道路分割线索引导的改进主要集中在道路中心线的对齐，有助于避免由于路外起点而中止。另一方面，路口分割的重点是从输入图像中的复杂路口区域提供统一和准确的路口，这有助于现有道路图正确地链接到新的路口。它们都有助于增强道路图中的连通性。实验结果表明，这三种评价指标都有一定的性能提升。我们基于点的迭代探索方案自然允许我们以统一和兼容的方式利用分割线索。它还赋予神经网络输出良好的对齐和连接属性。轨迹探索。我们比较我们的轨迹探索方案的模型，采用灵活的步骤和两个分割线索，但没有经常性的机制，并直接输出到T通道的我们在直接模型中设置T= 1，并记录其连接度量得分。然后，我们在直接模型的训练阶段设置T= 4，并通过分别使用前1-4个输出通道来构建最终图，对连接得分进行四次评估。我们还评估了四次在我们的RP网络的交界处得分只有我们-执行前1-4次递归输出。结果见表。3，这表明，经常性计划有助于进一步提高我们的网络的性能。方法P-F1J-F1APLSFlexible Road Junc Traj.P-F1J-F1APLSDeepRoadMapper [16]56.8529.0521.27RoadTracer [1]55.8149.5745.09RoadTracer-256 [1]59.6952.19-改善连接性[2]†73.3555.2156.89RP-网-段†71.6150.1649.68RP-净-满73.6962.3661.14RP-Net-Full+Res2Net72.5663.1364.598919(a) 图片（b）GT(c)路段 (d)Junc. 隔离区（e）F（f）F + J（ g ） F + R（ h ）F+R+J图7.具有分段线索指导的道路图可视化。我们将F表示为应用灵活的步骤，将R表示为应用道路分割提示，并且将J表示为应用交叉点分割提示。（a）空间图像，（b）地面实况分割掩模，（c）预测的道路分割，（d）预测的交叉点分割，（e）具有F的图，（f）具有F+J的图，（g）具有F+R的图，（h）具有F+R+J的图。注意，采样的块可以从不同的分辨率裁剪。(a)图片（b）GT（c）Fix（d）FlexibleTraj Exp.T列试验TJ-F1× 1 1 59.19× 4 1 60.71× 4 2 60.69× 4 3 60.70× 4 4 60.44C4 1 60.66C4 2 61.60C4 3 61.92C4 462.36图8. 以固定步骤生成的图形可视化，灵活的步伐。(a)空间图像，（b）地面实况分割掩模，（c）具有固定步长的预测图，（d）具有可变步长的预测后处理与完整的RP网络计划。请注意，我们的网络还允许通过在解码器处执行分割监督来恢复道路分割，而无需其他监督。具有空间图像的原始尺寸的分割输出可以被常规的后处理技术跟随以生成道路图。我们评估了这个后处理方案的性能，并将其与我们的完整RP-Net方案进行比较。与其他基于分割的方法相同[16，15]，我们生成道路分割，使用形态细化和RDP算法来获得图形。之后，应用短边修剪和小孔消除等技术[16]。指标分数记录在“RP-净-段”行中。在选项卡中。1，这是低于使用迭代RP-网，特别是在连接度量和APLS度量。图中还给出了定性比较。6（a）和（b），其中模糊分割导致中断的道路图。使用我们设计的全网络结构，RP- Net方案显示出更好的连通性和对齐性.表3.轨迹探索消融研究。TrainT表示监督通道的数量，TestT表示在推断时仅使用输出的第一个T通道进行图形构造。我们评估的性能不同数量的步骤，采用轨迹探索的5. 结论在本文中，我们提出了一个基于点的迭代航空图像探索具有灵活的步骤和分割线索的使用。对各种指标的实验表明，与RoadTracer数据集上的最先进方法相比，我们的方法在道路图对齐和连通性方面提供了显着的改进。在未来，我们计划进一步研究轨迹探索，并研究探索中全局优化的可能性[29]。我们的高质量道路检测也可以作为一个强大的先验知识，用于检测航空图像中的distict目标[9，12]。确认本研究得到了新一代人工智能重大专项（批准号：2018AAA0100400，国家自然科学基金（61922046），天津市自然科学基金（17JCJQJC 43700）。8920引用[1] F. Bastani，S.他，S. Abbar，M.阿里扎德巴拉克里希南S.舒拉河，西-地Madden和D.德威特道路追踪：自动提取道路网络从航空影像.在CVPR，2018年。一、三、四、五、六、七[2] A. 巴特拉、S.辛格湾，澳-地庞氏S.巴苏角贾瓦哈尔，以及M.帕鲁里 通过方向和分割的联合学习改进道路连通性。在CVPR中，第10385- 10393页，2019年。一、二、六、七[3] D.柴，W。Forstner和F.拉法基用连接点法恢复图象中的线状网络。在CVPR，第1894-1901页，2013年。2[4] A. Chaurasia和E. Culurciello。Linknet：利用编码器表示进行有效的语义分割。 在IEEE Visual Commun.图像处理。，2017年。2[5] G. 郑，Y.Wang，S.Xu，H.Wang，S.Xiang和C.锅自动道路检测和中心线提取通过cas-caded端到端卷积神经网络。IEEE Trans.吉奥西。剩余S. ，55（6）：3322二、四[6] S. Das，T. Mirnalinee和K.瓦格斯利用显著特征设计多级框架，从高分辨率多光谱卫星图像中提取道路。IEEE Trans. 吉奥西。剩余S. ，49（10）：39062[7] D. H. Douglas和T.K. Peucker. 用于减少表示数字化线或其漫画所需点数的算法制图：Int. J. Geog. 告知。Geovisualization，10（2）：112一、二[8] S.- H.高先生M. Cheng，K.赵X- Y.张曼- H. Yang和P.乇Res2net：一种新的多尺度骨干网架构。IEEE TPAMI，2020。7[9] L. Han，P. Tao，and R. R.马丁使用全卷积网络在航空图像中进行牲畜检测。Computational Visual Media，5（2）：221-228，2019。8[10] K. 他，X。Zhang，S.Ren和J.太阳用于图像识别的深度残差CVPR，第770-778页，2016年。2[11] S. Hinz和A.鲍姆加特纳多视角航空影像中城市道路网ISPRS J.照片。剩余S. ，58（1-2）：832[12] Q. Hou，M.- M. Cheng，X. Hu，黄毛菊A. Borji，Z.Tu和P. 乇具有短连接的深度监督显著对象检测。IEEETPAMI，41（4）：815-828，2019。8[13] D. Kinga和J.B. Adam. 随机优化的一种方法载于ICLR，第5卷，2015年。6[14] Z. Li，J.D. Wegner和A.卢奇拓扑图提取从开销图像。在ICCV，2019年。3[15] Y. 刘 ， M.-M. Cheng ， X. 胡 ， J. -W. 边 湖 ， 澳 - 地Zhang，X.Bai和J.唐用于边缘检测的更丰富的卷积特征IEEE TPAMI，41（8）：19398[16] G. 我也是W. Luo和R. 乌塔松Deeproadmapper：从航空影像中提取道路拓扑. InICCV，2017. 一二六七八[17] 诉Mnih和G.E. 辛顿学习在高解析度航空影像中侦测道路见ECCV，第210施普林格，2010年。二、六[18] 诉Mnih，K.Kavukcuoglu，D.Silver，黑胫拟天蛾A.A.Rusu，J.维尼斯M. G. Bellemare，A.格雷夫斯山Riedmiller，A.K. 菲杰兰，G. Ostrovski等人通过深度强化学习实现人性化控制Nature，518（7540）：529，2015. 4[19] O.龙内贝格山口Fischer和T.布洛克斯U-net：用于生物医学图像分割的卷积网络在MIC-CAI，第234-241页，2015年。2[20] S. 斋藤Yamashita和Y.青木用卷积神经网络从航空图像中提取多个目标电子影像，2016（10）：1一、二、四、六[21] K. Simonyan和A.齐瑟曼。用于大规模图像识别的非常深的卷积网络。CoRR，abs/1409.1556，2014。6[22] M. Song和D. Civco基于支持向量机和图像分割的道路提取。照片。Eng. 剩余S. ，70（12）：13652[23] R. Stoica，X.Descombes和J.泽鲁比亚从遥感图像中提取道路的gibbs点法IJCV，57（2）：121-136，2004. 2[24] E. 你知道吗，F. Benmansou r和P. 呸使用路径分类器和混 合 整 数 规 划 自 动 重 建 树 结 构 。 见 CVPR ， 第566IEEE，2012。2[25] A. Van Etten ， D. Lindenbaum 和 T. M. Bacastow.Spacenet ： 遥 感 数 据 集 和 挑 战 系 列 。 arXiv 预 印 本arXiv：1807.01232，2018。二、六[26] C. Ventura，J.蓬图塞特凯尔斯，K.-K. 曼尼尼，L.范古尔用于道路拓扑提取的迭代深度学习。BMVC，2018年。1[27] J. D.韦格纳，J. A. Montoya-Zegarra和K.辛德勒 一种用于道路网提取的高阶crf模型。在CVPR，第1698-1705页，2013年。2[28] J. D. Wegner，J.A. Montoya-Zegarra和K.辛德勒道路网络是最小成本路径的集合。ISPRS J.照片。剩余S. ，108：1282[29] H. Wu，X. Lyu和Z.文基于全局和局部纹理度量的纹理样本自动提取。Computational Visual Media，4（2）：1738[30] F. Yu和V.科尔顿。通过扩张卷积的多尺度上下文聚合ICLR，2016年。2[31] T. Zhang 和 C.Y. 孙 数 字 图 形 细 化 的 快 速 并 行 算 法Commun. ACM，27（3）：236 -239，1984. 一、二[32] Z.张，智-地Liu和Y.王.利用深度残差u网提取道路。IEEE地球科学剩余S. L. ，2018年。2[33] W. Zhen，S. Yao，and J. Lin.学习深度图像解析网络的自适应接收域。Computational Visual Media，4（3）：1-14，2018。7[34] L. Zhou C. ， 中 国 青 冈 C.Zhang 和 M. 吴 D-linknet ：Linknet具有预训练的编码器和扩张卷积，用于高分辨率卫星图像道路提取。在CVPR，第1822