基于方向学习和分割的道路连接改进方法

Anil Batra ∗1 Suriya Singh ∗ †2 Guan Pang3 Saikat Basu3 C.V. Jawahar1 Manohar Paluri31103850通过联合学习方向和分割改进道路连接性01 IIIT Hyderabad 2 MILA / Polytechnique Montr´eal 3 Facebook0摘要0从卫星图像中提取道路网络通常会产生碎片化的道路段，导致不适合实际应用的道路地图。由于缺乏连接性监督和强制拓扑约束的困难，像素级分类无法预测拓扑正确和连接的道路掩码。在本文中，我们提出了一种称为方向学习的连接性任务，受到人类通过在特定方向上追踪道路进行注释的行为的启发。我们还开发了一个堆叠的多分支卷积模块，以有效利用方向学习和分割任务之间的相互信息。这些贡献确保模型预测出拓扑正确和连接的道路掩码。我们还提出了连接性细化方法来进一步增强估计的道路网络。细化模型经过预训练，以连接和改进损坏的地面真值掩码，然后进行微调以增强预测的道路掩码。我们在两个不同的道路提取数据集SpaceNet [30]和DeepGlobe[11]上展示了我们方法的优势。我们的方法在SpaceNet和DeepGlobe上的道路拓扑度量上分别提高了9%和7.5%。01. 引言0映射的道路网络提供了路由信息，用于寻找可行路径，这对于各种应用，如导航和灾害管理，非常重要。图1a显示了一个连接的道路网络的示例。手动绘制复杂道路网络耗时且需要大量人力。已经提出了从卫星图像中自动提取道路网络的方法[2, 6, 18, 29,33]，最近，基于深度学习的技术在不同场景中展示了高质量的映射结果[3, 8, 10, 19,21-23, 28, 31,35]。然而，提取的道路网络通常会产生碎片化的道路段，导致不适合实际应用的道路地图。由于缺乏连接性监督和强制拓扑约束的困难，像素级分类无法预测拓扑正确和连接的道路掩码。在本文中，我们提出了一种称为方向学习的连接性任务，受到人类通过在特定方向上追踪道路进行注释的行为的启发。我们还开发了一个堆叠的多分支卷积模块，以有效利用方向学习和分割任务之间的相互信息。这些贡献确保模型预测出拓扑正确和连接的道路掩码。我们还提出了连接性细化方法来进一步增强估计的道路网络。细化模型经过预训练，以连接和改进损坏的地面真值掩码，然后进行微调以增强预测的道路掩码。我们在两个不同的道路提取数据集SpaceNet [30]和DeepGlobe[11]上展示了我们方法的优势。我们的方法在SpaceNet和DeepGlobe上的道路拓扑度量上分别提高了9%和7.5%。0� 相等贡献 † 作为IIIT Hyderabad的研究员的部分工作代码可在以下链接找到：https://github.com/anil-2185/road-connectivity0a0b e d c0f g h0a0b e d c0f g h0a0b e d c0f g h0图1：将道路网络提取定义为二进制分割，由于道路外观的变化，无法生成拓扑正确的道路地图。（a）注释者沿着道路中心追踪线（突出显示的节点）进行注释，形成从a到b的可行最短路径（a，c，d，e，b）。（b）使用分割估计的碎片化道路网络，导致从a到b的路径为（a，c，f，g，h，b）。 （c）通过方向追踪道路以实现连接性。（d）我们使用分割和方向提取连接的和拓扑正确的道路网络。0分割的道路段，因此，对于实际应用来说是不适合的（图1b）。由于（a）云和树的阴影，（b）地形，天气，地理等的多样化外观和照明条件，以及（c）道路纹理与其他材料的相似性，卫星图像在提取道路方面存在困难。标签稀缺性[28]以及道路地面真值[22]中的遗漏和注册噪声也限制了道路地图的准确估计。0[8, 10, 19, 21,022 ],在这里问题被提出为分割，然后进行后处理步骤以精细和连接缺失的103860连接。像素级分类监督不限制模型学习连接的道路段[23]，导致道路拓扑的估计不准确。通过损失函数[20,23]或后处理[19]来强制执行拓扑约束是一项具有挑战性的任务。为了衡量拓扑偏差，Mosinska等人[23]依赖于地面真值和预测道路掩码的高级抽象特征，而M´attyus等人[20]采用对抗匹配范式。为了改善道路连接性，M´attyus等人[19]提出了一些后处理步骤来推理缺失连接的假设，而Bastani等人[3]和Ventura等人[31]则迭代地连接相邻图像块中的道路段。我们的重点是改善从遥感图像的二值分割中提取道路网络的连接性。以人类标注道路地图的方式来表征连接性监督需要道路的拓扑和结构信息。我们的方法建立在这样一个直觉上，即为了标注道路地图，人们沿着道路方向追踪线条以连接碎片化的道路段。考虑图1b，通过d和e追踪线c→b可以连接断开的道路。这激发了我们设计一个使用可用道路标签来预测道路方向角的连接性任务（图1c）。在本文中，我们提出了在多分支CNN模型中联合学习道路方向和逐像素道路分割（图2）。我们还提出了连接性细化，用于连接小间隙并减少预测中的误报（图2和4）。连接性细化模型是使用损坏的道路真值掩码进行预训练的，然后通过分割输出进行微调，以迭代地增强估计道路网络的拓扑（图2和4）。这使得模型能够有效地纠正各种失败场景。与Mosinska等人[23]类似，我们的连接性细化模型可以以迭代的方式使用，但是我们的细化方法侧重于通过预训练来改善连接性，而不仅仅是分割改进。最后，我们设计了一个堆叠的多分支编码器-解码器结构的联合学习模块（图5和6）。该模块是堆叠的沙漏网络[24]的一个变体，但我们的动机是不同的，即相关任务之间的信息流动，以改善多任务学习框架中各个任务的性能。与[3,19,22,28]相比，我们的分割模型在中间表示中固有地捕捉到了连接的道路段的信息，从而在道路网络估计中获得准确的拓扑（图1d）。0贡献：01.我们设计了一个方向学习任务，并证明了方向和分割的联合学习可以提高道路网络的连接性。02.我们提出了一种连接性细化方法，预先训练0使用损坏的道路真值掩码进行预训练，并通过分割输出进行微调，以迭代地增强估计的道路网络的拓扑。03.我们设计了一个堆叠的多分支模块，以有效利用双重监督。我们展示了所提出的模块能够在任务之间传递信息，并有助于提高连接性。02.相关工作0道路网络提取：文献中已经开发了许多技术来从卫星图像中提取道路网络。传统方法通过引入上下文先验（如道路几何[18]、高阶CRF公式[33]、标记点过程[6,29]和在道路图上求解整数规划[2]）来实现连接性。这些方法利用手工设计的特征并针对复杂目标进行优化。在最近的基于深度学习的技术中，道路提取被制定为分割问题[19,21-23,28]，使用卷积编码器-解码器结构模型，能够捕捉大范围的空间上下文。与基于分割的方法不同，Bastani等人[3]引入了基于图的方法来预测道路线。在当前范围内，我们专注于基于分割的方法。Mnih等人[21]通过CNN模型在多个阶段（为了减少由于标签噪声导致的假阴性率）学习道路分类，操作图像块。M´attyus等人[19]提出了编码器-解码器结构模型，并将其作为多类（道路、建筑和背景）分割。该模型在分割方面表现良好，但无法预测连接的道路，并且在后处理步骤中使用最短路径算法连接丢失的道路以改善连接性。M´attyus等人[19]进一步使用二进制决策分类器来预测连接的正确性。我们发现[19]在高道路密度、模糊的道路外观、遮挡和数据集中存在的复杂道路拓扑等问题上难以正确添加和分类丢失的道路连接（我们在SpaceNet [30]和DeepGlobe[11]数据集上验证了我们的方法）。学习薄曲线道路结构的另一种受欢迎的编码器-解码器结构是U-Net [27]和LinkNet[7]。它们的变体被提出用于学习道路分割[8,10]。LinkNet34[7]主要用于在DeepGlobe挑战[11]中分割道路。然而，这些方法中的连接性是通过更多基于启发式的后处理实现的。相反，我们提出了连接任务和道路分割的联合学习，使用堆叠的编码器-解码器结构。Mosinska等人[23]最近的工作将像素级分类和感知损失[12]结合起来，在U-Net[27]中学习道路拓扑。Mosinska等人[23]还提出了Linestrings0 (11 10), (11 15), (12 17)..1 (19 00), (19 01), (19 21)......21 (250 30), (250 95), (212,..22 (252 91), (101 91), (020,..Linestrings0 (11 10), (11 15), (12 17)..1 (19 00), (19 01), (19 21)......21 (250 30), (250 95), (212,..22 (252 91), (101 91), (020,..103870图2：从卫星图像中提取连接道路拓扑的方法。以线串形式的注释被转换为（a）方向的真值和（b）道路的真值掩码。我们使用编码器-解码器结构和（c）堆叠的多分支模块来共同学习（d）方向和（e）分割，为模型提供双重监督。方向任务旨在改善道路的连接性。最后，使用损坏的真值进行预训练的连接性细化网络（f）被与道路分割输出进行微调，以迭代地增强估计的道路网络。0迭代细化以填补道路段中的小间隙。引入的损失项偏好类似道路结构，但在连接道路段方面效率低下。0多任务学习（MTL）：它是一种学习机制[4]，受到人类同时执行不同共享子任务以获取复杂任务知识的启发。多任务学习通过在学习过程中引入任务之间的相互信息来提高性能。MTL已成功应用于各个领域，如语音识别、自然语言处理[9]和计算机视觉[17]。在注释道路时，人们执行两个相关任务，即识别道路像素并通过追踪线条将它们连接起来。在我们的工作中，我们使用多任务学习将道路注释作为两个任务，即在标记卫星图像时，人们识别道路并通过追踪线条将它们连接起来，从根本上识别方向。我们展示了这些相关任务通过改进编码器中的连接性来提高连接性。03. 方法0通过基于分割的方法从俯视图像中提取道路段会产生不连续的道路段。为了解决这个问题，我们从道路线串中开发了一个方向任务（第3.1节），并将其作为像素级分割损失的辅助损失。方向损失的动机是通过明确学习它们之间的方向来捕捉相邻像素之间的关系信息。我们将问题形式化为两个阶段的过程：（a）道路方向的联合学习0和分割的多任务方式，以及（b）使用预训练的CNN模型进行连接性细化（第3.2节）。我们首先介绍我们的新颖归纳任务，然后介绍一种连接性细化技术。最后，我们概述了提出的端到端联合学习流水线，其中包含两个多分支编码器-解码器堆栈，可以在任务之间传递信息（第3.3节）。03.1. 方向学习0道路的像素级注释是一项计算成本高且耗时的任务。为了减少人力工作量，最好使用连接2D点的线串进行道路注释。我们将每个道路线串可视化为2D图像平面上两个连续点之间的方向向量（见图3）。方向向量提供了每个道路段的方向（追踪角度）。方向学习任务在一定程度上受到了部分亲和力场[36]的启发，并与深度分水岭技术用于实例分割[1]类似。直观地说，为实例（道路段）分割学习的表示将导致估计的道路网络中的改进连接性。然而，与对象实例或人体部位不同，道路段之间没有明确定义的边界，而是相互连接的。因此，我们不是从对象边界向其质心预测方向[36]，而是编码和预测指向相同或相邻连接道路段中的下一个像素的单位向量。使用基于像素的交叉熵损失学习方向在编码表示中提供了连接约束，因为道路方向的学习有利于连接的道路段，相关任务的联合学习通常导致更具有普适性的结果。p2p1m⃗vij(x, y) =pi(x, y) − pj(x, y)||pi(x, y) − pj(x, y)||22(1)⃗vij(x, y) ≡ ⟨1∡or⟩(2)olk(m) =�orif |⃗v⊥ · −−−−−−→(m − p1)| < λorientobotherwise.(3)¯yt = g�[X, y′, ¯yt−1]�t = 1, . . . , T(4)ˆyt = g�[X, ˆy, ˆyt−1]�t = 1, . . . , T(5)103880图3：道路方向。左上：道路线字符串注释。左下：计算方向角的两个连续点。右上：地面真实道路方向向量。右下：图像块中的道路方向真值。0特征[4,17]。方向学习可以扩展到沿着对象边界的自动分割[3,5]，连接车道检测中的遮挡车道，连接OCR中断的字母等应用。我们现在描述从线字符串生成方向真值的过程。考虑图3中显示的带有道路线字符串{l1，l2，...，lm}的图像，每个线字符串lk由2D点{p1，p2，...，pn}组成。我们假设无向道路网络，忽略道路的行驶方向。我们对每个线字符串的点的坐标进行排序，使得大多数方向向量从左到右和从上到下，我们发现这对于神经网络学习和关注连接道路表示是合适的。我们使用（1）计算lk的连续点对{(p1，p2)，...，(pn-1，pn)}之间的单位方向向量|�v(x，y)|∈[-1，1]，并将其转换为极坐标域以获得方向角or，使用（2）。对于每个点对(pi，pj)，使用（3），在lk的垂直方向上沿着阈值宽度λorient内的像素被分配相同的方向值；对于所有其他非道路的像素，分配非道路方向角ob。0其中|| p i  −  p j || 2 2是连续点之间的总长度，v⊥是垂直于单位方向向量的向量，(x，y)是点的坐标，o是方向的真值。0图4：连通性细化。我们预先训练编码器-解码器CNN，通过纠正损坏的道路地面真值掩码的预文本任务来去除错误的道路。然后，对模型进行微调以改善道路分割输出。0在绘制图2和图3中的向量时，我们忽略非道路方向角。03.2. 连通性细化0方向监督改善了估计的道路网络的连通性。然而，复杂和密集的道路拓扑，如桥梁和停车场，导致方向预测失败。模型还会在具有相似纹理的区域中产生虚假的道路，例如农田中的道路样式。为了进一步改善预测拓扑并抑制错误的正例，我们采用连通性细化（见图4）。受到从损坏中恢复图像的成功启发[25，28]，我们将缺失和错误的道路段解释为损坏的道路真值掩码。我们首先预先训练细化网络以恢复损坏的掩码，使模型能够学习连通性模式并去除错误的道路。请注意，我们选择权重初始化，并且不同时使用分割输出和损坏的GT训练连通性细化，以避免过度拟合到单个损坏分布[14]。在预训练阶段，我们将卫星图像X、损坏的地面真值y'以及先前的道路预测¯yt-1（其中¯y0=y'）连接起来，并将其作为输入提供给细化模型g(∙)。0在预训练阶段结束时，神经网络学会了有效地编码可用的上下文并填充缺失的道路段。预训练模型进一步进行微调以改善道路分割。在微调阶段，我们用分割网络的输出替换手动损坏的地面真值掩码。0其中  ˆ y  =  f seg ( X ) ,  ˆ y 0  = ˆ y ，[ ∙ ]表示沿通道轴的连接。我们使用 T  = 3 ，并且对于  g ( ∙ )和  f seg ( ∙ ) ，使用相同的编码器-解码器架构。64 x 6432 x 3216 x 168 x 8Road OrientationRoad SegmentationFusionResidual BlockUpsample1 x 1 ConvMax PoolSumFusion Block¯on, ¯yn =�Hn(¯on−1 + ¯yn−1 + z)if n > 1H(z)if n = 1(6)Lseg(ˆy, y) = −SoftIoU�fseg(X), y�(7)Lorient(ˆo, o) = −ol�c=0oc log�forient(X)�(8)103890图5：n-堆叠多分支CNN的架构，同时学习道路方向和分割。堆叠模块能够在不同尺度上计算损失函数 L seg 和 L orient ，尺度集合为 { 10我们使用两个堆叠的多分支模块（图6）进行优化，每个模块包含两个特征融合层，只有第一个模块进行特征融合。有关更多架构细节，请参阅补充材料。0图6：一个多分支模块。通过  1  ×  1卷积从每个分支提取中间输出，并使用融合块进行合并。03.3. 堆叠的多分支模块0如图5所示的堆叠的多分支模块由三个部分组成：(a)共享编码器，(b) 带有多分支的迭代融合，(c)用于方向和分割的预测分支。所提出的CNN模型同时执行以下任务：(a)在共享编码器中学习连接道路段的鲁棒共享表示，(b)预测道路方向和道路分割，(c)允许任务之间的信息流以促进道路的连通性。共享编码器接收输入图像 X 并学习一个映射函数 E，将输入投影到两个任务的编码表示中。编码 z  =  E ( X )传递给堆叠的多分支模块以学习粗略预测结果。n-堆叠多分支模块的动机有三个：(a)大的感受野以捕捉空间上下文，(b)迷你编码器-解码器结构以重复方式学习重新校准特征和粗略预测，(c)它允许信息从前一个堆叠传递到后续堆叠并改进粗略预测。我们用函数 H n 表示堆叠，其中 n是堆叠的多分支模块的数量，用  ¯ o表示方向的粗略预测，用  ¯ y  表示道路的粗略预测（ 6）。为了从粗略预测  ¯ o n  和  ¯ y n  中学习细化预测  ˆ o和  ˆ y ，我们为其创建了两个对称分支0每个任务。每个分支使用由两个转置卷积和一个逐像素卷积分类器组成的解码器网络来上采样预测结果。0损失函数：所提出的网络能够在不同尺度上产生中间输出，每个堆叠的多分支模块输出  n个结果，尺度为 104 个尺度，其中两个来自于连续的转置卷积，1 个来自于转置卷积02 和  1。因此，这允许在训练过程中使用多尺度损失来指导网络。设  ( X, y, o )  是来自数据集的给定标记样本，  f ( ∙ )表示使用我们的模型的预测函数。我们优化以下损失函数：0损失 = �0损失函数 = �0其中 SoftIoU 是可微分的IoU损失函数[ 19 ]，  o l 是量化方向的箱数，  s是尺度，取值为 { 104 ,  . . .  n 次 } ,  102 和  1 。04. 评估指标0基于像素的指标：我们使用交并比（IoU）和 F 1-score指标评估我们的道路分割方法的性能。道路分割的基准是在SpaceNet数据集[ 30]中使用恒定宽度的道路线字符串栅格化得到的。恒定宽度的道路掩码可能会对基于像素的指标产生不利影响。因此，我们使用放宽的��(10)�(11)Orientation Learning:We choose two architecturesResNet18 [16] and LinkNet34 [7] to study the performanceof orientation learning. We modify both architectures withdual and identical decoders having shared encoder. The re-sults in Table 1 shows that our proposed task for road con-nectivity generalizes to different architectures. Incorporat-ing the orientation learning as an auxiliary loss improves theAPLS for both CNN architectures by 6.41% and 5.08%for SpaceNet [30], respectively. This suggests that multi-task learning of two related task improves the intermediaterepresentation, leading to better generalization. To study103900度量，由Mnih等人[ 22]在我们的评估中使用4个像素的缓冲区提出。0基于图的度量：为了衡量估计的拓扑和道路连通性，我们使用平均路径长度相似性（APLS）[ 30]作为评估指标。该指标捕捉了图中所有节点对之间最短路径距离的偏差。地面真值和预测的道路网络图分别从y和ˆy中获得。S P → T ( 10 ) 测量了地面真值图G = ( V, E)和估计图ˆG = ( ˆV, ˆE)中每对节点的最短路径差异的总和。为了惩罚假阳性，将对称项S T →P添加到APLS度量中，该项将预测图视为地面真值，将真实图视为预测。0S P → T = 1 − 1 |V |0� min01 , | L ( a, b ) − L (ˆ a, ˆb ) |0L ( a, b )0APLS = 10N0( y, ˆ y )0� 10S P → T ( G, ˆ G ) + 10S T → P ( ˆ G,G )0其中 a, b ∈ V, ˆ a, ˆ b ∈ ˆ V, | V |是地面真值图中的节点数，N 是图像数量。L ( a, b ) 和 L (ˆa, ˆ b ) 分别是 a → b 和 ˆ a → ˆ b 的路径长度。05. 实验和结果05.1. 数据集0我们在SpaceNet [ 30 ]和DeepGlobe [ 11]数据集上进行实验，仅使用3通道RGB图像。我们遵循[ 28]的实验协议和数据集划分。我们在每个数据集的推理时间对完整分辨率图像进行道路连通性度量的评估和报告。0SpaceNet [ 30]：该数据集提供了来自四个不同城市的图像，地面分辨率为30cm/像素，像素分辨率为1300×1300。标注以线串的形式提供，表示道路的中心线。该数据集包含2780张图像，根据[ 28]的方法，我们将数据集分为2213张用于训练和567张用于测试。为了增加训练数据集，我们创建了650×650的裁剪图像，重叠区域为215个像素，从而提供了约32K张图像。对于验证，我们使用相同大小的无重叠裁剪图像。0DeepGlobe [ 11]：该数据集包含来自三个不同地区的图像，具有像素级注释。地面分辨率为50cm/像素，像素分辨率为1024×1024。根据[ 28]的方法，我们创建了4696张用于训练和1530张用于验证的数据集划分。我们通过对大小为512×512的裁剪图像进行256像素的重叠区域，得到了约42K张用于训练阶段的图像。我们通过对像素级注释进行骨架化并使用Ramer-Douglas-Peucker算法[ 13 , 26]进行平滑处理，计算道路线串的地面真值。0方法 SpaceNet DeepGlobe0道路 IoU a APLS 道路 IoU a APLS0ResNet18 59.04 52.65 62.12 63.31 ResNet18 + 方向 61.90 59.06 64.77 68.93ResNet18 + 路口 58.41 52.76 63.54 66.20 LinkNet34 60.33 55.69 62.75 65.33LinkNet34 + 方向 62.45 60.77 64.72 68.71 LinkNet34 + 路口 60.72 55.91 63.7967.420表1：道路连通性的方向和路口学习辅助任务的比较。表明道路连通性的改善是由于方向学习。道路 IoU a：准确的基于像素的交并比。APLS：从道路分割中提取的图的平均路径长度相似性。05.2. 实现细节0数据集预处理：与[ 28]类似，我们使用欧几里得距离变换沿着道路的中心线生成道路热图，并创建阈值为0.76的二进制掩码。与[ 28]中的0.4阈值相比，我们使用较窄的道路真值掩码，以避免车道和附近道路的合并。这一步骤对于获得具有高连通性和准确拓扑的地图至关重要（附录材料中的消融研究）。我们将(3)中的λ orient设置为12个像素，即沿着道路的方向宽度，大约等于道路掩码的宽度。0训练细节：我们从图像中使用大小为256×256的随机裁剪，然后进行均值减法。为了提高网络的泛化能力，采用随机水平翻转、镜像和旋转作为数据增强。我们使用批量大小为32的批量网络进行120个时期的训练。我们使用带有动量=0.9、权重衰减=0.0005和初始学习率为10-2的SGD优化器进行训练，其中在时期{60, 90,110}处具有10的步长因子的步长调度器。我们执行简单的图处理来去除小的悬挂道路段和图形平滑处理。根据[32]，我们将道路方向的回归形式化为分类任务，因为直接回归倾向于将预测平滑到均值[15,32]。我们将道路方向角度量化为10°的区间（有关量化级别的消融研究，请参阅补充材料）。0方向学习：我们选择了两种架构ResNet18 [16]和LinkNet34[7]来研究方向学习的性能。我们修改了这两种架构，使用具有共享编码器的双解码器和相同的解码器。表1中的结果显示，我们提出的用于道路连通性的任务适用于不同的架构。将方向学习作为辅助损失加入到CNN架构中，SpaceNet[30]的APLS分别提高了6.41%和DeepGlobe的APLS提高了5.08%。这表明两个相关任务的多任务学习改善了中间表示，从而实现更好的泛化。为了研究方向任务在道路连通性中作为辅助损失的重要性，我们将其与在多任务学习框架中预测道路交叉口的另一个共享任务进行了比较。出于空间考虑，我们将“交叉口学习”的详细信息推迟到补充材料中。表1中的结果显示，连通性度量APLS随方向任务而改善，并不是由于多任务学习。这验证了方向任务在预测连接的道路拓扑中的有效性。05.3. 结果the significance of orientation task in road connectivity asan auxiliary loss, we compare it with another shared taskof predicting road junctions in multi-task learning frame-work. In the interest of space, we defer details of JunctionLearning to the supplementary material. The results in Ta-ble 1 shows that the connectivity metric APLS improvewith orientation task and not due to the multi-task learning.This validates the efficacy of the orientation task in predict-ing the connected road topology.103910图7：通过方向学习和连通性细化的定量改进。R18，L34：基于ResNet18和LinkNet34的编码器-解码器作为联合学习模型。S和D：表示SpaceNet和DeepGlobe数据集。水平轴显示道路IoU（顶部）和APLS改进（底部）。0连通性细化：与[23]相比，我们使用带有损坏的道路真值掩码预训练连通性细化模型。我们分析了不同的道路掩码操作，如擦除具有不同大小的块结构和线性结构的区域。我们还随机向道路掩码中添加具有相同结构的虚假道路。我们发现具有线性结构的操作与真实的分割输出相似，因为它与线性道路结构融合在一起，因此我们仅报告此类操作的结果。图7显示了连通性细化的改进以及道路IoU的轻微改进。这表明所提出的细化能够连接间隙并去除虚假道路，而不是增强道路宽度。0堆叠的多分支模块：我们进行实验，将我们提出的堆叠的多分支模块作为联合学习模块与常用于细结构分割的最先进的CNN模型进行比较。我们比较了模型中多分支模块的数量（n），发现使用两个模块时性能稳定。因此，我们在最终的流程中使用了两个堆叠的多分支模块。我们假设随着更多的训练数据，添加更多的多分支模块将是有益的，这也使得网络更深而不会过拟合。表2中的结果显示了堆叠的道路IoU和APLS的改进。0方法 SpaceNet DeepGlobe0道路IoU a AP LS 道路IoU a AP LS0ResNet18 [16] + 方向 61.90 59.06 64.77 68.93 LinkNet34 [7] + 方向 62.45 60.7764.72 68.71 Unet [27] + 方向 60.12 58.59 65.21 67.81 多分支（1堆栈）+ 方向63.26 60.92 65.60 70.23 多分支（2堆栈）+ 方向 63.75 63.65 67.21 73.21多分支（3堆栈）+ 方向 63.73 62.89 66.61 72.480表2：采用用于道路分割的联合学习模块与方向学习的比较。结果显示，我们的堆叠多分支模块将APLS提高了2.7%。0多方向特征 连通性 SpaceNet DeepGlobe 尺度 学习 融合 修正 IoU a AP LS 修正 IoUa AP LS 61.51 58.70 64.23 67.98 � 61.80 58.49 64.44 67.92 � � 63.44 61.78 66.8172.03 � � � 63.75 63.65 67.21 73.21 � � � � 63.76 63.79 67.02 73.200表3：通过多尺度损失、方向学习和特征融合的交叉任务信息流的逐步改进。0图8：所提出模型中不同阶段的特征图。Shared：来自共享编码器的特征图和第一个堆栈之前。分割/方向：来自第一个堆栈的分割/方向分支的特征图，在融合之前。融合：所有特征图的加性融合，输入到第二个堆栈的多分支模块。0多分支模块相对于单一编码器-解码器模块提高了道路连通性约2.5%。我们研究了我们的贡献带来的逐步改进，并在表3中展示了结果。最初，我们假设了道路方向的知识有助于追踪线条以连接断开的道路片段，我们通过堆叠多分支模块中任务之间的交叉信息流实现了这一目标。我们发现将方向特征与分割相结合效果更好。这证实了神经网络利用方向信息来连接断开的道路片段，并在各自的数据集上将APLS分别提高了1.87%和1.18%。在堆叠多分支模型的分割输出上执行连通性细化略微提高了APLS。我们假设n堆叠多分支IoU aAP LSIoU aAP LSIn this paper, we propose a novel task of orientationlearning that constrain the model to produce connected andtopologically accurate road networks. We show that pixel-wise classification supervision leads to road networks withfragmented road segments and poor connectivity. Our ex-periments show that the joint learning of orientation andsegmentation followed by connectivity refinement leads toa significant improvement in the road connectivity.Wealso show the effectiveness of the stacked encoder-decoderstructure model as a joint learning module, which can effi-ciently utilize the information from related tasks.103920方法 SpaceNet DeepGlobe0精确率 召回率 F1分数 IoU r IoU a AP LS 精确率 召回率 F1分数 IoU r IoU a AP LS0DeepRoadMapper（分割）[19] 60.61 60.80 60.71 43.58 59.99 54.25 79.82 80.31 80.07 66.76 62.58 65.56 DeepRoadMapper（完整）[19] 57.57 58.29 57.93 40.77 N/A 50.5977.15 77.48 77.32 63.02 N/A 61.66 拓扑损失（使用BCE）[23] 50.35 50.32 50.34 33.63 56.29 49.00 76.69 75.76 76.22 61.58 64.95 56.91 拓扑损失（使用SoftIoU）[23] 52.9452.86 52.90 35.96 57.69 51.99 79.63 79.88 79.75 66.32 64.94 65.96 LinkNet34 [7] 61.30 61.45 61.39 44.27 60.33 55.69 78.34 78.85 78.59 64.73 62.75 65.33 LinkNet34 [7] +方向（我们的） 63.82 63.96 63.89 46.94 62.45 60.76 81.24 81.73 81.48 68.75 64.71 68.71 MatAN [20] 49.84 50.16 50.01 33.34 52.86 46.44 57.59 56.96 57.28 40.13 46.8847.15 RoadCNN（分割）[3] 62.82 63.09 62.95 45.94 62.34 58.41 82.85 83.73 83.29 71.36 67.61 69.65 Ours（完整） 64.65 64.77 64.71 47.83 63.75 63.65 83.79 84.14 83.9772.37 67.21 73.120表4：我们的技术与最先进的道路网络提取技术的比较。IoU r和IoUa分别指放松和准确的道路IoU。Ours（full）包括具有方向学习的提出的堆叠多分支模块。我们使用[3]中的实现进行DeepRoadMapper[19]，并使用我们自己的实现进行[23]。0模块在融合时增强了表示（图8），类似于连通性细化迭代地增强预测。第二个多分支模块本质上改善了道路连通性，其功能基于融合特征空间。最终，联合学习和融合相对于像素级分类监督将道路IoU提高了约2.5%，APLS提高了约5%。0融合效果:我们对融合策略进行了消融研究，并在表5中报告了结果.我们发现通过将方向特征与分割相加进行特征融合效果更好.这表明简单的特征相加可以使APLS在两个数据集上分别提高1.87％和1.18％，相对于无融合的情况.0融合 SpaceNet DeepGlobe0无融合 63.44 61.78 66.81 72.03 求和 63.75 63.65 67.2173.21 连接 63.53 63.01 66.59 72.230表5:在我们提出的模块中，不同融合策略对于允许方向学习和分割任务之间的信息流的影响.0与最先进结果的比较:我们将所提方法与基于分割的最先进方法[19]，[20]和[23]进行了比较（见表4和图9）.M´attyus等人[19]假设道路图的节点之间存在最短路径算法的连接，并使用分类器验证连接.我们发现，分类器无法检测到密集连接道路中的错误连接，导致APLS在后处理后降低.Mosinka等人[23]引入了拓扑损失项进行递归细化.然而，在预测密集连接区域和未铺设道路方面，它也面临挑战.尽管两个数据集具有很大的差异，我们的方法显著改善了提取的道路图的连通性，相对于基线方法.然而，所提出的技术在桥梁下准确连接道路以及在存在大遮挡的情况下（见图9中的第4行）仍然面临挑战.由于农田轮廓与未铺设道路的视觉相似性以及建筑物顶部停车场的相对深度线索缺失，我们还观察到了错误的道路检测