基于卷积递归网络的道路边界提取

9512基于卷积递归网络的道路边界提取Justin Liang1岁 Namdar Homayounfar1，2岁马伟秋1，3王神龙1，2拉克尔·乌塔孙1，21Uber Advanced Technologies Group2多伦多大学3MIT{justin.liang，namdar，weichiu，slwang，urtasun}@ uber.com摘要创建包含场景静态元素的精确信息的高清地图对于使自动驾驶汽车能够安全驾驶至关重要。在本文中，我们解决的问题，可行驶的道路边界提取激光雷达和摄像机图像。为了实现这一目标，我们设计了一个结构化模型，其中一个完全卷积网络获得编码道路边界的位置和方向的深层特征，然后，卷积递归网络输出每个道路边界重要的是，我们的方法是完全自动的，不需要用户在循环中 我们展示了我们的方法的有效性，在北美的一个大城市，我们获得完美的拓扑结构的道路边界99。3%的时间在一个高精度和召回。1. 介绍高清地图（HD地图）包含有关场景静态部分语义的有用信息它们被大多数自动驾驶汽车用作额外的传感器，以帮助定位，[9，30]，感知[27，12]和运动规划。然而，绘制地图是一个费力的过程，注释者要查看城市的俯视图，然后逐个绘制场景的所有元素这是一个昂贵且耗时的过程，阻止了大规模地进行映射。像OpenStreetMaps这样的众包工作提供了规模，但对于自动驾驶汽车的安全导航来说，虽然它们覆盖了全球的大部分地区，并提供了有价值的数据，如道路网络拓扑结构、速度限制、交通信号、建筑物轮廓等，但它们的分辨率低，并且与世界上的实际物理线索不完全一致。这是由于地图拓扑创建过程的性质，该过程从GPS轨迹或卫星影像中获得，可能存在以米为单位的误差*同等缴款。图1. 概述：我们的卷积递归网络将高架摄像头和LiDAR图像（左）作为输入，并为每个道路边界（右）输出结构化的地图，用于创建自动驾驶的高清地图。通常分辨率非常低。许多努力致力于自动化地图创建过程，以实现比例。大多数早期的方法将该问题视为语义分割，无论是从航拍图像[40，41，34，33]还是从第一人称视图，其中目标是捕获自由空间[22，15，54，2，23]。然而，这些技术并不提供大多数自动驾驶软件栈所需在[35，52，10]中已经解决了从航空图像自动估计道路拓扑。 在这些工作中，提取具有作为交叉点的节点和与连接它们的街道相对应的边缘的道路网络的图。尽管这些图对于路线选择非常有用，但仍然缺乏自动驾驶汽车的安全定位和运动规划相比之下，在本文中，我们解决了从LiDAR和相机数据估计可驾驶区域的问题，这提供了非常高的清晰度的周围环境信息。为了实现这一目标，我们采用卷积神经网络来预测一组视觉线索，这些线索被卷积递归网络用来输出可变数量的可变大小的边界区域。我-9513图2. 模型：我们的模型将头顶LiDAR和相机图像以及LiDAR高程值的梯度作为输入。接下来，卷积网络输出三个特征图：道路边界位置的截断逆距离变换（检测图），它们的端点（端点）和道路边界归一化法线的向量场（方向图），这里显示为流场[7]。最后，卷积递归网络（cSnake）获取这些深度特征，并输出对应于每个道路边界的结构化折线。重要的是，我们的方法是全自动的，并且不需要用户参与循环。受人类如何执行这项任务的启发，我们的卷积递归网络一次输出一个对应于每个道路边界的结构化折线。我们证明了我们的工作在北美城市的一个大型数据集上的有效性，该数据集由头顶上的Li-DAR和街道和十字路口的相机图像组成与可以用多个较小的段来估计道路边界的基线相比，我们预测道路边界99的完美拓扑。3%的时间，高精度和召回率为87。3%和87. 在5个像素处分别为1%。我们还进行了广泛的消融研究，证明我们的输入表示，训练制度和网络架构的选择。最后，我们提出了一种新的度量，不仅捕捉精度和召回率，但也是一个衡量的连通性的预测对应的道路边界。2. 相关工作在过去的几十年里，计算机视觉和传感社区积极开发了无数的方法，从航空和卫星图像中执行语义分割任务。我们建议读者参考[48]，以获得对经典方法的最近，深度神经网络[39，40，41，34，33]已被应用于这一任务，并取得了相当大的成功。然而，这种输出不能直接用于自动驾驶车辆，自动驾驶车辆需要结构化的表示。从卫星和航空图像中提取结构化语义和拓扑信息的研究，主要用于地理信息系统的消费，可以追溯到几十年前的70年代[50，6在这些作品中，作者从像素到边缘再到线条，段迭代使用阈值的简单功能，从道路的几何和光谱特性[4]对这些早期的方法进行了全面的调查。后来，活动轮廓模型（ACM）[20，11]被应用于从航空图像中提取道路的任务[38，24，49，32]。在这里，作者进化出一条蛇，它通过最小化指定道路几何和外观约束的能量函数来捕获道路网络[31]中的作者使用深度学习模型来定义ACM的能量函数，以从航拍图像而不是道路网络生成建筑物多边形。[36，37]在深层特征之上应用图形模型，以增强具有语义信息的开放街道地图，例如人行道的位置，停车位以及车道的数量和位置。在其他工作中[55，56，43]使用条件随机场从航空图像中提取道路网络，而[35，52]的工作通过首先使用深度网络将图像分割为道路/非道路像素然后执行后处理图优化来执行此任务。在[10]中，作者通过混合神经网络和图搜索程序迭代地这些方法以较粗的尺度提取道路网络，并且对于路由应用是有用的，但是它们缺乏自动驾驶车辆的安全导航所需的周围环境的精细细节。预测可行驶路面对自主车辆的安全导航至关重要[42，25，57]使用图形模型来预测自由空间和道路，而[51，28，45，3，22，15，54，2，23]在无监督和自监督设置中使用外观和几何先验来检测道路。最近的一系列研究和工业工作杠杆年龄传感器，如安装在汽车上的相机和激光雷达[44，19]，以创建环境的高清地图。在[47，46，9514精密度（px）在（px）F1评分（px）Conn235102351023510DT四十七566岁。0八十五9九十六。2四十七6六十五884. 7九十三8四十七4六十五6八十五094 689岁。1我们五十七3七十二987岁394 5五十七1七十二687岁194 3五十七2七十二787岁294 4九十九。2表1.这将距离变换（DT）基线与我们的模型进行比较。我们展示了所有模型在精确度，召回率和F1分数阈值为2，3，5，10（4cm/px）时的结果。16，8]，多视图和鱼眼相机用于使用立体反射和运动结构技术的静态环境的密集映射。在其他工作中[17，26]提取了场景的语义信息，例如车道边界和人行横道的精确位置和数量。这些语义帮助自治代理精确定位和安全导航。在[17]中，作者使用递归分层网络直接从LiDAR点云预测折线形式的车道边界的结构化表示，在[26]中，使用自上而下相机和LiDAR图像的深度结构化模型检测人行横道。[5]融合激光雷达和摄像头，执行密集的在线车道检测。与上述方法相反，在这项工作中，我们从激光雷达和相机时代的图像中提取道路边界，以创建高清地图。 与[13，1]类似，我们使用折线形式的结构化输出表示。然而，与他们不同的是，我们提出了一种全自动的方法，我们用不同的传感器和视觉提示来处理一个非常不同的设置。3. 卷积递归道路提取高清晰度地图（HD地图）包含有用的信息编码的静态场景的语义。这些地图通常是通过让数百名注释者手动标记世界的鸟瞰图（BEV）表示上的元素来创建的自动化这一过程是大规模实现自动驾驶汽车的关键。在本文中，我们在这个方向上更进一步，并解决从激光雷达和相机数据估计可驾驶区域的问题。我们用划定道路边界的折线对这些可驾驶区域进行编码，因为这是商业高清地图使用的典型表示。为了实现这一目标，我们采用卷积神经网络来预测一组视觉线索，这些线索被卷积递归网络用来输出可变数量的可变大小的道路边界。特别是，我们的递归网络关注特征图中的旋转感兴趣区域，并输出一个结构化的全局拓扑结构以及每个道路边界的细节接下来，我们首先描述特征图的细节，然后是我们的卷积递归网络。3.1. 深层视觉特征我们现在描述我们如何获得对提取全局精确结构化的特征道路边界的表示。作为我们系统的输入，我们利用不同的传感器，如相机和激光雷达，以创建感兴趣区域的BEV表示。请注意，这可以包含道路的交叉点或直线部分。我们还输入LiDAR高度值的梯度作为额外通道。该输入通道是非常有用的，因为城市中道路的可驾驶区域和不可驾驶区域大多是由路缘分隔的不同高度处的平坦表面正如我们的实验部分所示，这些数据来源是互补的并 帮 助 解 决 道 路 边 界 预 测 问 题 。 这 导 致 大 小 为I∈R5×H×W的5通道输入张量被馈送到多任务CNN，该CNN预测三种类型的特征图：编码为距离变换的道路边界的位置、编码可能位置的热图以及编码指向最近道路边界的方向的方向图。我们请读者参看图1。图2示出了这些视觉线索的图示，这些视觉线索将在下面详细解释。道路边界密集检测图：为了获得I中道路边界位置的密集表示，我们输出一个逆截断距离变换图像S∈ R1×H×W，该图像对每个道路边界的相对距离进行编码。I中的像素到最近的道路边界[5，26]，道路边界像素具有最高值并且随着我们离开而减小。与在非常稀疏的道路边界像素处预测二进制输出相比，截断的逆距离变换编码关于道路边界的位置的更多终点热图：我们输出热图图像E∈R1×H×W编码的位置的概率，道路边界的终点。请注意，这通常发生在图像的边缘。道路边界方向图：最后，我们还预测了道路边界法线方向的向量场D∈R2×H×W. 我们获取地面真相，道路边界的距离变换图像的Sobel导数，随后是归一化步骤。该特征图在每个像素处指定朝向最近道路边界的法线方向归一化步骤使网络免于预测任意大小的向量我们利用方向图作为卷积回流网络的输入 方向图9515精密度（px）在（px）F1评分（px）ConnLEC235102351023510--C四十二9五十七674岁386岁。7四十二8五十七474岁086岁。4四十二9五十七574岁386岁。6九十八8C--44. 062. 282岁8九十三4四十三962. 082岁7九十三344. 062. 182岁8九十三3九十九。2CC-51岁469岁。186岁。494 851岁368岁986岁。294 651岁369岁。086岁。294 7九十九。2CCC五十七3七十二987岁394 5五十七1七十二687岁194 3五十七2七十二787岁294 4九十九。2表2.缩写列为：L（激光雷达输入）、E（高程输入）、C（相机输入）。我们展示了所有模型在精度，召回率和F1分数阈值为2，3，5，10 px（4cm/px）时的结果。还用于在演进道路边界时提供下一个旋转ROI的方向，如我们将在第3.2节中解释的。网络架构：我们使用类似于[29，14]中的特征金字塔网络的编码器解码器架构。选择该网络是因为它的效率和保持空间信息的能力。特别是，在编码器和解码器之间存在跳过连接，这允许恢复丢失的空间信息，这在我们在应用中使用大图像时很有用。在编码器阶段，每个编码器块包含两个残差块，并且每个残差块包含三个扩张卷积层。这有效地增加了感受野，以帮助网络处理大型图像。在解码器阶段，我们有四个卷积层和2x的最近邻上采样。在每个卷积层之前，我们执行实例归一化，然后执行ReLU非线性。我们的网络有三个输出分支，执行逐像素预测来输出我们的距离变换，端点和方向特征。这些特征都具有与输入图像I相同的空间分辨率。3.2. 卷积蛇（cSnake）在本节中，我们将描述捕获道路边界精确拓扑的模块的机制。下面我们将这个模块称为cSnake。请注意，我们的模块是全自动的，不需要任何用户参与循环。在高级别上，利用从输入图像和端点位置获得的深度检测和方向特征，cSnake迭代地趋向于图像中的旋转感兴趣区域，并输出与道路边界对应的顶点从方向图D获得cSnake的行进方向。特别地，我们首先计算端点热图E的局部最大值以找到道路从方向图D中最近的像素向上提取矢量，然后将其旋转90度，指向远离图像边界的方向。这个旋转的ROI被馈送到CNN，CNN输出图像中下一个顶点x1的argmax类似地，通过查找方向图D并将其旋转90度以在与v0相同的方向上来获得下一个方向向量v1。我们重复这个过程，直到道路边界的尽头，我们落在图像之外最后，我们得到一个在R 2中的顶点的预测x=（xi），它捕获了道路边界的全局拓扑。因此，对于每个输入I，我们获得一组从预测端点开始的折线。请注意，我们可以通过取顶点像素上检测分数的平均值来为每个顶点标记一个分数。我们使用这个分数进行两个最小的后处理步骤：i）我们去除了从潜在假阴性端点突出的低评分多段线。ii）两个预测端点可对应于产生两个不同折线的相同道路边界。因此，我们查看所有多段线对，如果它们在周围的扩张区域中重叠超过30%，我们只保留得分最高的一条。网络架构：对于每个裁剪的ROI，我们通过CNN将其馈送。我们使用与预测深度特征相同的编码器/解码器骨干，但在编码器和解码器块中少了一个卷积层输出是一个分数图，我们可以取argmax来获得下一个要裁剪的顶点。3.3. 学习深层视觉特征：为了了解深层视觉特征，我们使用多任务目标，其中回归损失用于距离变换特征图S和E，余弦相似性损失用于方向图D。由此可见：然后，对于每个端点，我们绘制一条单独的折线，如下所示：给定端点的初始顶点x0，（S，E，D）=det（S）+λ1末端（E）+λ2方向（D）（1）和方向向量v0，我们使用空间Transformer网络[18]从级联中检测和方向图S和D的。直观地，检测距离图S和方向图D促使cSnake模块在道路边界上拉出并放置顶点。方向v0平行于位置x0处的道路边界，并且通过第一次查看获得。在我们的实验中，我们设置损失加权参数λ1λ2等于10。回旋蛇：类似于[17]，为了将预测的CUP的边缘与其对应的地面实况道路边界Q相匹配，我们使用倒角Dis。9516图3. 分期付款学习：在这个图中，我们显示了我们的模型在精确度，召回率和F1分数方面的百分比差异，这些模型在使用和不使用摊销学习的情况下进行了训练。我们看到摊销学习在我们的指标的所有阈值上都显着改善了结果。两种型号的连接性相同。图4.在这个图中，我们显示了我们训练的预测方向图的模型与预测膨胀法线的模型之间的百分比差异我们报告了精确度，召回率和F1得分的差异我们看到，使用方向图显著改善了我们度量的所有阈值的结果此外，方向图方法将连通性提高了1%。定义为：ΣL（P，Q）=我minpi−q<$2+q∈QΣminp−qj2（二）p∈PJ从北美主要城市中的自动驾驶车辆的多个通过的道路区域总共行驶了4750公里，从50平方公里的区域中收集了总计约5400亿个LiDAR点的数据然后，我们将数据集平铺并拆分为2500、1000、1250个训练/验证/测试BEV其中p和q是多边形的光栅化边缘像素P线和Q线。该损失函数鼓励预测的边缘完全落在其地面真实值上，反之亦然。这是一个更适合匹配两条折线的损失函数，而不是一个惩罚顶点位置的损失函数。例如，一条真实直线段可以由三个顶点而不是两个顶点冗余地表示，从而在使用基于顶点的损失时误导神经网络。4. 实验评价4.1. 实验细节数据集：我们的数据集包括BEV投影LiDAR点云和交叉路口的相机图像以及其他基于划分城市的2条纵向线分离的图像。平均而言，我们的图像为1927 px（±893）x 2162 px（±712），分辨率为4cm/px。更详细地说，为了创建我们的数据集，我们首先在我们想要映射的区域周围开车我们利用一种有效的基于深度学习的点云分割算法[58]来移除移动对象并使用ICP配准点云。然后，我们在给定点云的情况下生成非常高分辨率的鸟瞰4cm/像素）。这个过程使我们能够不受遮挡地看到世界。我们还以类似的方式使用相机装备生成仿射图像。为了计算高程梯度图像，我们简单地对LiDAR高程在x和y方向上应用sobel滤波器，然后获取其幅度。9517图5.在该图中，我们显示了GT边界的累积百分比，其中预测段的数量为X。对于我们的模型，我们看到99.3%的GT边界具有单个预测边界。基线：由于这是一项新任务，我们无法与以前的工作进行比较。为了创建一个有竞争力的基线，我们首先将我们的方法的距离变换输出二进制化，图6.我们的输出拼接在一起的例子（请放大）。如果多段线在地面真值的阈值范围内，则将其显示为真阳性或假阳性。假否定是落在该阈值之外的地面真值图上的点。我们还将这两个指标结合起来，并报告其调和平均值（f1得分）的结果。联机能力：对于每个地面实况边界，设M为其指定的预测多段线的数量。我们定义：老了，然后去了。为了进行公平的比较，我们使用网格搜索来找到最佳结果的阈值。接下来，我们找到连通分量，并考虑每个连通分量连通性=1（M>0）M（三）作为一个预言家。实施详情：我们使用ADAM [ 21 ]训练了分布在16个Titan 1080 Ti GPU上的深度特征预测模型，每个GPU的批量大小为1，学习率为1 e-4，权重衰减为5e-4。我们通过在训练过程中随机翻转和旋转图像来执行数据增强。该模型在整个数据集上训练了250cSnake它还分布在16个Titan 1080 Ti GPU上，每个GPU的批量大小为1，ADAM，学习率为5e-4，权重衰减为1 e-4。该模型训练了60个epoch整个数据集。在训练过程中，我们为网络提供了真实的端点，并添加了±16个像素的噪声。我们还使用摊销学习，并在50%的时间内使用地面真值方向和距离变换特征进行训练。在训练过程中，我们给网络的步数基于地面实况边界的长度加上5个额外步骤。4.2. 度量给定一组预测，我们将每个预测分配给具有最小Haus-dorff距离的地面真实道路边界。注意，多个预测可以被分配到相同的地面实况边界，但是只有一个地面实况道路边界可以被分配到预测边界。我们现在指定我们的指标。精确度和召回率：对于精度和召回率，我们使用[53]的定义，并在预测的该度量惩罚多个小的将预测的路段与地面实况道路边界进行比较。总重量：我们报告了在不同阈值处跨地面实况道路边界所取的平均值。4.3. 结果基线：如表1所示，我们的方法在几乎所有指标上都显著优于基线。基线在10px的阈值处精度更好，然而，这是因为基线具有许多小的连接组件。然而，在实践中，当对道路边界进行实际注释时，这些将被丢弃，因为它们太小而没有用处。传感器模态：我们探索各种传感器输入组合为我们的模型。在表2中，我们在第（4）行中显示，使用来自L（激光雷达强度）、E（激光雷达高度梯度）和C（相机）的每个传感器输入产生最佳结果。我们通过移除摄像机输入，然后移除仰角输入来执行消融研究，并且仅使用摄像机进行实验，并显示出显著的性能下降。分期付款学习：卷积蛇可以使用地面实况或预测的深度特征进行训练。对于我们最好的模型，我们使用一半的地面实况和一半的预测深度特征进行训练。我们还使用预测的深度特征训练了一个模型，并在图3中显示了两个模型结果的差异。这个图显示了我们的模型与训练的模型之间的百分比差异，9518图7.定性结果：（101，3）GT道路边界以红色显示，并覆盖在摄像机图像上。（12.4）道路边界预测折线。蓝点对应于cSnake模块的顶点输出黄色框是cSnake在绘制道路边界多段线时关注的旋转ROI请注意，我们裁剪图像以获得更好的可视化效果。请参阅补充材料以获得更完整的可视化。分期学习和仅用预测特征训练的模型。在2px（8cm）的阈值下，使用摊销学习训练的模型在我们的所有指标中都要好5%。就连通性而言，两种训练方法都能达到相同的结果。探索方向预测替代方案：我们探索了另一种方法来预测卷积蛇所使用的方向特征在这里，我们预测道路边界处的像素方向，其是进入道路的正常指向。由于这个概念只存在于道路边界处，我们将道路边界扩大16个像素，每个像素然而，这样做的问题是，在这种膨胀之外，将没有方向。我们在图4中显示，我们预测的方向图比这些膨胀的法线表现得更好。在这里，我们显示了两个模型之间的百分比差异，指标.这些图中没有显示的是，我们的方向图方法也产生了高出1%的连接性得分。累积连接分布：在图5我们比较了模型和基线的每个真实边界在此图中，我们绘制了具有X个预测片段的地面真实边界百分比我们表明，我们的模型显着优于基线。对于我们的模型，99.3%的地面实况边界具有单个预测边界，而对于基线，这个数字约为80%。定性结果：在图8中，我们可视化了给定输入模态的网络的学习特征。特别是，给定相机、LiDAR和高程梯度，我们的模型输出道路边界的密集位置、其端点以及法线的矢量场预测GT预测GT9519激光雷达相机高程梯度检测地图终点方向地图图8.深度特点：列（1-3）对应于输入，列（4-6）对应于深度特征图。此处所示的方向图为流场[7]。预测GT图9.失效模式：（左）预测（右）GT。道路边界的化法线。这些功能帮助cSnake为每个道路边界输出结构化折线，如图7所示。缝合结果：我们的模型是完全卷积的，与图像尺寸无关。图图6显示了较大区域上不同作物的拼接示例。速度：在Titan 1080 Ti GPU上， 每个图像的深度特征为196 ms，cSnake模块。失效案例：在图9中，我们展示了模型的一些失败案例。在第一行中，我们可以看到两条不相连的多段线已被指定给同一条道路边界。在第二行中，较低和底部预测在返回之前偏离道路边界。在最后一行中，有一条道路边界尚未捕获。5. 结论在本文中，我们提出了一种深度全卷积模型，可以从LiDAR和摄像机图像中提取道路边界。具体而言，CNN首先输出与道路边界对应的深度然后，我们的cSnake模块，这是一个卷积递归网络，输出对应于每个道路边界的折线。我们通过广泛的消融研究和与强基线的比较证明了我们方法特别是，我们实现了87的F1得分。2%，距离地面实况道路边界5个像素，连通性为99。百分之二。在未来，我们计划利用航空图像与我们的激光雷达和相机传感器，以及扩大我们的方法，以其他静态元素的场景。9520引用[1] David Acuna，Huan Ling，Amlan Kar，and Sanja Fidler.使用polygon-rnn++对分割数据集进行有效的交互式注释。2018. 3[2] Jose M Alvarez，Theo Gevers，Yann LeCun和Antonio MLopez。从单幅图像中分割道路场景。欧洲计算机视觉会议，第376Springer，2012. 一、二[3] Jo se'MA'l v arezAl v arez和AntonioMLopez。基于光源不变 性 的 道 路 检 测 IEEE Transactions on IntelligentTransportation Systems，12（1）：184-193，2011。2[4] Marie-Flavie Auclair-Fortier ，Djemel Ziou ，and CostasAr-menakis.航空和卫星图像中道路提取工作的调查。2002年12月。2[5] 白民，盖勒特·马特乌斯，纳姆达尔·霍马云法，王神龙，科西卡·拉克什米坎特，什里尼迪和拉奎尔·乌尔塔孙。深度多传感器车道检测。在IROS，2018年。3[6] Ruzena Bajcsy和Mohamad Tavakoli。计算机从卫星图片中识别道路。IEEE Transactions on Systems，Man，andCybernetics，6：623-637，1976. 2[7] 放大图片作者：Simon Baker，Daniel Scharstein，J.放大图片作者：Michael J. 布莱克和理查德·塞利斯基光流数据库和评价方法。国际计算机视觉杂志，2011年，92。二、八[8] IoanAndreiBrsan，PeidongLiu，MarcPollefey ys，andAn-dreas Geiger.大规模动态环境下的鲁棒密集映射2018年IEEE机器人与自动化国际会议（ICRA），第7510-7517页。IEEE，2018年。3[9] IoanAndreiBarsan ， ShenlongWang ， AndreiPokrovsky，and Raquel Urtasun.学习使用激光雷达强度图进行定位。在2018年第二届机器人学习会议上1[10] FavyenBastani ， SongtaoHe ， Sofiane Abbar ，Mohammad Al-izadeh ， Hari Balakrishnan ， SanjayChawla，Sam Madden，and David DeWitt.Roadtracer：从航 空图 像中 自动 提取 在计算 机视 觉和 模式 识别（CVPR），2018年。一、二[11] Matthias Butenuth和Christian Heipke。网络蛇：使用活动轮廓模型进行基于图形的对象描绘。马赫目视Appl. ，23：91-109，082012. 2[12] Sergio Casas ， Wenjie Luo ， and Raquel Urtasun.Intentnet：学习从原始传感器数据预测意图。在机器人学习会议上，第947-956页，2018年。1[13] Lluis Castrejon，Kaustav Kundu，Raquel Urtasun，andSanja Fidler.使用多边形rnn注释对象实例。在CVPR，2017年。3[14] Abhishek Chaurasia和Eugenio Culurciello。Linknet：为有 效 的 语 义 分 割 开 发 编 码 器 表 示 . CoRR ，abs/1707.03718，2017。4[15] 郑旭勇、郑博申、曾佩婷、范国钦。交通场景中运动车辆 的 车 道 线 检 测 。 IEEE Transactions on IntelligentTransportation Systems，7（4）：571-582，2006。一、二[16] Andreas Geiger，Julius Ziegler，and Christoph Stiller.立体声扫描：实时高密度三维重建。在智能9521车 辆 研 讨 会 （ IV ） ， 2011 IEEE ， 第 963-968 页 。IEEE，2011年。3[17] Namdar Homayounfar，Wei-Chiu Ma，Shrinidhi Kow-shika Lakshmikanth，and Raquel Urtasun.结构化在线地图的层次回流注意网络在IEEE计算机视觉和模式识别会议上，2018年6月。三、四[18] Max Jaderberg，Karen Simonyan，Andrew Zisserman，等.空间Transformer网络。神经信息处理系统进展，2017-2025页，2015年。4[19] 索伦·卡梅尔和本杰明·皮策。基于激光雷达的车道标记检测和映射。在Intelligent Vehicles Symposium，2008IEEE，第1137-1142页中。IEEE，2008年。2[20] 迈克尔·卡斯安德鲁·维特金和德米特里·特佐普洛斯。Snakes：活动轮廓模型。国际计算机视觉杂志，1（4）：321-331，1988。2[21] 迪德里克·金马和吉米·巴。Adam：随机最佳化的方法。ICLR，2015年。6[22] Hui Kong，Jean-Yves Audibert，and Jean Ponce.从单个图像进行一般道路检测。IEEE Transactions on ImageProcessing，19（8）：2211-2220，2010。一、二[23] 托比亚斯·库恩尔，弗朗兹·库默特，还有詹尼克·弗里奇。用于实时自我通道提取的空间射线特征。在智能运输系统（ITSC），2012年第15届国际IEEE会议上，第288-293页。IEEE，2012。一、二[24] 伊凡·拉普捷夫，赫尔穆特·迈耶，托尼·林德伯格，沃尔夫冈·埃克斯坦，卡斯滕·斯蒂格，阿尔伯特·鲍姆加特纳.基于尺度空间和蛇的航空影像道路自动提取。Machine Vision and Applications，12（1）：23-31，2000. 2[25] Dan Levi ， Noa Garnett ， Ethan Fetaya ， and IsraelHerzlyia. Stixelnet：用于障碍物检测和道路分割的深度卷积网络。在BMVC，第109-1页，2015年。2[26] 贾斯汀·梁和拉奎尔·乌塔森。用于绘制人行横道的端到端深度在欧洲计算机视觉会议（ECCV）的会议记录中，第396- 412页，2018年。3[27] Ming Liang ，BinYang ，Shenlong Wang ，and RaquelUrtasun.多传感器三维目标检测的深度连续融合在欧洲计算机视觉会议（ECCV）的会议记录中，第641-656页1[28] David Lieb，Andrew Lookingbill，and Sebastian Thrun.使用自监督学习和反向光流的自适应道路跟踪。机器人：科学与系统，273-280页，2005年2[29] 林宗义、多拉尔、葛希克、何凯明、哈里哈兰、贝隆吉.用于对象检测的特征金字塔网络。arXiv预印本arXiv：1612.03144，2016。4[30] Wei-Chiu Ma，Shenlong Wang，Marcus A Brubaker，Sanja Fidler，and Raquel Urtasun.通过观察太阳和其他语义线索找到你的路。在机器人和自动化（ICRA），2017年IEEE国际会议上，第6292-6299页。IEEE，2017年。1[31] Diego Marcos，Devis Tuia ，Benjamin Kellenberger，Lisa Zhang，Min Bai，Renjie Liao，and Raquel Urtasun.学习-9522端到端的深度结构化活动轮廓。 进行中-[46]第四十六话Pire，Rodrigo Baravalle，ArielIEEE计算机视觉和模式识别会议，第8877-8885页，2018年。2[32] RameshMarikhu ， MatthewNDailey ， StanislavMakhanov，and Kiyoshi Honda.一个用于道路提取的二次蛇族。亚洲计算机视觉会议，第85-94页。Springer，2007. 2[33] 迪米特里奥斯·马尼斯、康拉德·辛德勒、扬·德克·韦格纳、西尔瓦诺·加利亚尼、米哈伊·达特库和乌韦·斯蒂利亚。带边缘的分类：用边界检测改进图像的语义分割。ISPRS Journal of Photogrammetry and Remote Sensing，135：158-172，2018。一、二[34] 马马尼斯、韦格纳、加利亚尼、辛德勒、达特库和斯蒂利亚.基于cnss集成的航空影像语义分割。ISPRS Annalsof the Photogrammetry ， Remote Sensing and SpatialInformation Sciences，2016，3：473-480，2016. 一、二[35] Gel le'rtM a' ttyus，WenjieLuo，andRaquelUrtasun. 深度道路测绘：从航空影像中提取道路拓扑. IEEE国际计算机视觉会议（ICCV），2017。一、二[36] Gellert Mattyus ， Shenlong Wang ， Sanja Fidler ， andRaquel Urtasun.通过解析世界各地的航空图像来增强道路图。在IEEE计算机视觉国际会议论文集，第1689-1697页，2015年。2[37] 吉尔·L·E·M·A·蒂尤斯、神龙·王、桑加·菲德尔和拉奎尔·乌尔塔松。高清地图：通过解析地面和空中图像进行细粒度道路分割。在IEEE计算机视觉和模式识别会议论文集，第3611-3619页，2016年。2[38] 赫尔穆特·迈耶，伊万·拉普捷夫，阿尔伯特·鲍姆加特纳。多尺度和蛇自动道路提取.欧洲计算机视觉会议，第720-733页。Springer，1998年。2[39] 胡安·B·梅纳和何塞·马尔皮卡。从高分辨率卫星图像开始 的 农 村 和 半 城 市 地 区 道 路 自 动 提 取 方 法 Patternrecognition letters，26（9）：1201-1220，2005. 2[40] Volodymyr Mnih和Geoffrey E Hinton.学习在高分辨率航空图像中检测道路。在欧洲计算机视觉会议上，第210施普林格，2010年。一、二[41] Volodymyr Mnih和Geoffrey E Hinton.学习从噪声数据中标记航空图像。InICML，2012. 一、二[42] 拉胡尔·莫汉场景解析的深度解卷积网络。arXiv预印本arXiv：1411.4101，2014年。2[43] Ja vie rAMonto ya-Zeg arra，JanDWegner，L注意间隙：在（道路）网络中建模本地和全局上下文。德国模式识别会议，第212-223页。Springer，2014. 2[44] Hans P Moravec和Alberto Elfes。广角声纳的高分辨率地图。在IEEE Conference on Robotics and Automation的会议记录中，第19-24页，1985年。2[45] LinaMariaPaz，PedroPin ie's ，andPaulN e wman. 一种基于单目视觉的在线道路和路径分割方法。在机器人与自动 化 （ ICRA ） ， 2015 年 IEEE 国 际 会 议 上 ， 第1633IEEE，2015年。2哈维尔·西韦拉 立体声系统的实时密集地图融合。Robotica，第1-17页，2018年。3[47] MarcPollef e ys ， D a vidNist e'r， J-MFrahm ， AmirAk-barzadeh ， Philippos Mordohai ， Brian Clipp ， ChrisEngels，David Gallup，S-J Kim，Paul Merrell，et al.详细的实时城市三维重建从视频。国际计算机视觉杂志，78（2-3）：143-167，2008。3[48] John A. Richards和Xiuping Jia. 遥感数字图像分析。Springer，2013. 2[49] Marie Rochery，Ian H Jermyn和Josiane Zerubia。高阶活动轮廓。International Journal of Computer Vision，69（1）：27-42，2006。2[50] 大卫·S·西蒙尼特，弗洛伊德·M·亨德森，德怀特·D·埃格伯特。关于利用空间摄影确定运输路线：问题的总结。1970. 2[51] Ceryen Tan，Tsai Hong，Tommy Chang，and MichaelShneier.基于颜色模型的道路跟随实时学习。智能交通系统会议，2006年。ITSC'06。IEEE，第939-944页。IEEE，2006年。2[52] Carles Ventura、Jordi Pont-Tuset、Sergi Caelles、Kevis-Kokitsi Maninis和Luc Van Gool。用于道路拓扑提取的迭 代 深 度 学 习 。 arXiv 预 印 本 arXiv ： 1808.09814 ，2018。一、二[53] 王神龙，白敏，盖勒特·马特乌斯，朱航，罗文杰，杨斌，梁杰，乔尔·切维里，桑加·菲德勒和拉奎尔·乌尔塔孙。多伦多市：用一百万只眼睛看世界。InICCV，2017. 6[54] 安德烈亚斯·韦德尔、赫恩·安·巴迪诺、克莱门斯·拉贝、海蒂