DAGMapper：绘制高速公路车道拓扑的有效方法

12911DAGMapper：通过发现车道拓扑学来绘制地图Namdar Homayounfar1，2Wei-Chiu Ma1，3Justin Liang1Xinyu Wu1Jack Fan1Raquel Urtasun1，21Uber Advanced Technologies Group 2多伦多大学3MIT{namdar，weichiu，justin.liang，xinyuw，jackwindows，urtasun}@ uber.com摘要规模化自动驾驶的根本挑战之一是能够以低成本创建准确的高清地图（HD地图）。目前自动化这一过程的尝试通常集中在简单的场景上，估计每帧独立的地图，或者不具有现代自动驾驶车辆所相比之下，在本文中，我们专注于绘制复杂的高速公路的车道边界与许多车道，包含拓扑结构的变化，由于分叉和合并。为了实现这个目标，我们制定了一个有向非循环图形模型（DAG）的推理问题，其中的图形的节点编码的几何和拓扑属性的局部区域的车道边界。由于我们不先验地知道通道的拓扑，因此我们还推断DAG拓扑（即，节点和边）。我们证明了我们的方法在两个主要的北美高速公路在两个不同的国家的有效性，并表现出高精度和召回率以及89%的正确拓扑结构。1. 介绍自动驾驶汽车配备了大量的传感器，包括GPS、摄像头、激光雷达、雷达和超声波。这使得车辆可以看到360度的视野，可能具有超人的能力。尽管经过数十年的研究，构建能够处理现实世界复杂性的可靠解决方案大多数现代自动驾驶车辆使用高清地图（HD地图），其包含关于车道的位置、其类型、人行横道、交通信号灯、十字路口规则等的信息。该信息是非常准确的，典型地具有几厘米量级的误差。因此，它可以帮助定位[37，8，36]，感知[60，32，12]，运动规划[62]，甚至模拟[16]。然而，构建这些地图是大规模构建自动驾驶汽车的主要障碍之一。典型的过程是非常繁琐的，涉及车队通过多个图1：我们模型的输入是聚合的LiDAR强度图像，输出是由深度神经网络参数化的车道边界的DAG。时间在同一地区建立准确的几何表示的世界。然后，注释者从鸟瞰图中手工标记所有这些语义地标的虽然构建地理地图是耗时的，但手动注释在资金方面是昂贵的。在本文中，我们解决的问题，自动创建高清地图的公路是一致的大面积。与业内的常见做法不同，我们的目标是从车辆的一次通行中绘制整个区域为了实现这一目标，我们首先利用安装在自动驾驶汽车上的激光雷达来构建世界的鸟瞰然后，我们利用深度网络来提取底层车道网络的确切几何形状和拓扑结构。这项任务的主要挑战来自于这样一个事实，即高速公路包含复杂的拓扑变化，由于分叉和合并，其中车道边界分为两个或两个车道边界合并为一个。我们通过将问题公式化为有向非循环图模型（DAG）中的推理来解决这些挑战，其中图的节点编码了12912距离变换全球环境网络方向报头状态标题旋转ROI多尺度特征Concat位置插头图2：网络架构：在LiDAR强度图像上应用深度全局特征网络，然后是三个循环卷积头部，用于参数化车道边界的DAG。DT图像用于车道边界的初始化以及从错误中恢复。车道边界的局部区域。由于我们不先验地知道通道拓扑，因此我们还推断DAG拓扑（即，节点和边）。我们利用深度神经网络的能力来表示DAG中然后，我们设计了一个简单而有效的贪婪算法来增量估计图以及每个节点的状态。我们以端到端的方式学习深度神经网络的所有权重。我们称之为DAGMapper方法。我们证明了我们的方法在两个主要的北美高速公路在两个不同的国家相隔1000公里该数据集由LiDAR传感数据和高复杂性区域（如分叉和合并）的相应车道网络拓扑组成我们的方法实现了89%和88.7%的准确率和召回率，分别在最大的15厘米远离车道边界的实际位置。此外，我们的方法获得正确的拓扑结构的89%的时间。最后，我们通过在高速公路上进行训练并在另一个属于不同状态的高速公路上进行测试，展示了我们方法的强大泛化能力。我们的实验表明，没有域适应是必需的。2. 相关工作道路和车道检测：检测车道标记[56，11]，推断车道边界[6，58，22]以及在道路上找到可驾驶表面[18，5，54]对于自动驾驶车辆至关重要。已经提出了许多方法来解决这个问题。[53，33，48，3，24，15，59，2，25]中的作者使用外观和几何线索以无监督或半监督的方式检测道路，而[46，28，61]应用图形模型来估计自由空间。随着现代深度学习的出现[26]，已经建立了车道标记检测的新研究路线。在[27]中，作者采用消失点并训练检测车道的神经网络边界[19]使用生成对抗网络[20]来进一步改进检测并获得更薄的分割。作者在[4]中设计了一种通过小波变换增强的对称CNN，在[6]中，采用相机和LiDAR图像以阈值距离变换的形式预测车道边界的密集表示。在[47]中，作者将车道检测视为实例分割任务，其中对应于车道标记的深度特征被聚类。路网提取：利用航空和卫星图像进行道路网络提取的任务可以追溯到几十年前[17，49]。在早期，研究人员主要通过对道路的光谱特征使用简单的几何学迭代地生长图来提取道路网络拓扑[50，7]。最近，深度学习和更先进的图搜索算法已经被杠杆化[43，44，45，38，39，40，55，9]以更有效地从航空图像中提取道路网络。比如说，[29]从航空影像中直接提取多边形形式的建筑物和道路网络图。[41，42]增强开放街道地图与车道标记，人行道和停车位，通过应用图形模型的顶部深功能。[51]利用GPS数据增强航空图像中的道路提取。[10]预测道路的方向和语义掩码，以从航空图像获得拓扑正确且连通的道路网络。然而，应该注意，这些方法以粗略的尺度执行道路网络提取和语义标记。虽然它们可以用于路由目的，但它们缺乏自动驾驶应用所需的分辨率。高清地图：创建具有厘米级精度的高清地图对于自动驾驶车辆的安全导航至关重要。最近，研究人员已经放弃了从各种图像自动生成高清地图的想法。12913感官数据[23]。例如，[30]中的作者从自上而下的LiDAR和摄像机图像中提取人行横道多边形。[31，21]采用深度卷积网络以多段线的形式提取道路和车道边界这些映射工作类似于实例分割方法[13，1，35]，其中获得对象的结构化表示，例如多边形。算法因此服从于循环中的注释器。在高水平上，我们的工作与[21]有相似之处，[21]通过利用递归卷积神经网络从自上而下的BEV Li-DAR图像预测车道边界。然而，[21]不能处理车道边界的拓扑变化，并且已经引入了我们在本文中解决的车道边界排序的概念。3. 学习映射我们的目标是直接从3D传感数据创建高清地图。更具体地，我们的系统的输入是BEV聚合LiDAR强度图像D，并且输出是对应于车道的结构化折线的集合。边界而不是专注于局部地区，我们试图提取精确的拓扑结构和几何形状的车道网络网络上的一个很长的高速公路。由于高速公路包含复杂的拓扑变化（例如，分叉和合并）并且覆盖区域非常大。为了实现这一目标，我们将底层的几何拓扑表示为有向无环图，并提出了一种新的递归卷积网络，可以有效地从LiDAR数据中提取这种拓扑。我们通过描述我们的输出空间公式来开始我们的讨论。接下来，我们将解释如何利用神经网络来参数化每个条件概率分布。最后，我们描述了如何推理和学习- ING进行。3.1. 问题表述和DAG提取我们从人类在构建地图时如何创建车道图中汲取灵感。给定一个初始顶点，注释器首先使用一系列与局部几何体相关的单击来跟踪车道边界。然后，如果在该过程期间存在拓扑的改变，则注释器识别这样的点并相应地进行注释例如，如果点击到达路的尽头，一个简单的停止;如果有一个分叉，只需通过单击创建另一个分支。通过使用这种简单的方法，注释器可以有效地以DAG的形式标记道路网络。在这项工作中，我们设计了一种方法来道路网络DAG发现，模仿这样的注释过程。更正式地，设G=（V，E）是DAG，其中V和E表示定义拓扑的节点和边的对应集合DAG中的每个节点vi=（xi，θi，si）编码车道边界的局部区域的几何和拓扑性质我们进一步使用vP（i）和vC（i）算法1：深度DAG拓扑发现输入：聚合点云、初始顶点{vinit=（θ init，x init，s init）}输出：公路DAG拓扑1用顶点{vinit}初始化队列Q;2 whileQ not emptydo3vi←Q.pop（）;4i← C（i）;5whilesP（i）not Terminatedo6θi←argmaxp（θi|θP（i），sP（i），xP（i））;7x i←arg maxp（x i|θ i，sP（i），xP（i））;8s i←arg maxp（s i|θ i，sP（i），xP（i））;9如果si=Fork，则10Q.插入（vi）;11端部12i← C（i）;13端部14的端分别表示节点的父节点和子节点五岛几何分量xi表示顶点在全局坐标中的位置，θi表示前一顶点位置xP（i）处的转角。状态分量S1是分类随机变量，其表示是否在没有拓扑的任何改变的情况下继续车道边界、是否在分叉处产生用于新车道边界的额外顶点、或者是否终止车道边界（在合并处）。因此，如果s i是一个fork，那么|C（i）|= 2;如果s i在车道边界的车道终点处停车，则|C（i）|= 0。给定聚合的BEV LiDAR数据D，我们的目标是在 所 有 可 能 的 图 G 的 空 间 上 找 到 最 大 后 验 概 率（MAP）：G=arg max p（G| D）。（一）G∈G由于G在我们的情况下是DAG，因此联合概率分布p（G| D）可以分解为：Yp（G|D）=p（vi|vP（i），D），（2）vi∈V其中每个条件概率进一步分解成几何和拓扑分量：p（vi|vP（i），D）=p（θi|θP（i），sP（i），xP（i），D）×p（x i|θ i，sP（i），xP（i），D）×p（s i|θ i，sP（i），xP（i），D）.（三）这种条件分布是用深度神经网络建模的，以处理现实世界的复杂性。图3示出了示例BEV图像D和存在分叉的车道边界的推断过程。12914在下一节中，我们将深入讨论这些网络。129154444HW图3：（a）BEV聚合的具有分叉的高速公路区域的LiDAR图像D。绿色框显示了一个放大的区域，用于可视化推理过程。(b)推断的底部车道边界的当前子图。(c)预测新ROI（黄色框）沿车道边界的方向θi。 (d)一个新的节点被预测为位置xi(red点），其中分叉状态为S1。（e）两个车道边界从分叉节点发出，并且该过程继续。拓扑提取：不幸的是，G的空间是指数大的。因此，考虑所有可能的DAG在计算上是难以处理的为了解决这个问题，我们设计一种快速构造图并计算每个顶点的几何和拓扑性质的方法。具体来说，我们取方程中每个分量的arg max(3)以获得每个节点Vi的最可能的拓扑和几何状态。给定一个父节点vP（i），我们首先预测节点vi将沿着哪个方向θi。然后，我们注意到沿着由θi指定的车道边界的局部感兴趣区域，并预测顶点位置xi和局部状态si。该状态指定或者（1）没有拓扑变化并且我们正常地继续，（2）存在分叉并且我们正常地继续当前通道边界，但是同时产生用于新通道边界的新顶点，或者（3）当前通道边界已经在合并处终止，并且因此节点vi没有子节点。通过迭代过程，我们能够获得DAG的结构以及它们的几何位置。我们的结构发现算法在Alg.1.接下来，我们描述用于提取上下文特征的骨干网络和近似几何和拓扑概率分布的报头网络。3.2. 网络设计在这项工作中，我们利用神经网络来近似上一节中描述的DAG概率分布1.在高水平，如图所示。2.首先利用全局特征网络提取多尺度特征，利用距离变换网络编码车道线边界信息。然后将这些要素传递到方向标头，以预测沿车道边界旋转的感兴趣区域（RoI）。最后，RoI内的特征上的位置标头和状态标头条件预测下一个顶点的位置和状态。我们现在介绍每一个完整架构的描述。全球特征网络：这个网络的目的是为报头网络建立可供借鉴的功能。由于拓扑结构的变化通常是非常渐进的，如果特征仅捕获局部观察或网络具有小的感受野，则很难推断出它们（见图2）。（3）第三章。例如，在分叉处，车道边界逐渐分成两个，使得车辆有足够的时间离开高速公路并以安全的方式减速。类似地，在合并处，两条车道在很长一段时间内逐渐变成一条车道，这样车辆就可以增加速度，顺利进入高速公路，而不会与正在进行的交通流发生碰撞该网络的输入是BEV预计聚合LiDAR强度图像D ∈R1×H×W，每像素5 cm。我们的图像是尺寸8000像素的宽度由最大-最大高度1200，对应于400米乘最大60米的测绘车辆的行驶方向，如图所示。3.因此，为了更好地推断每个顶点的状态，必须利用更大的上下文信息。在下文[21]中，我们采用了构建在特征金字塔网络[34]上的编码器-解码器架构自底向上、自顶向下的结构使网络能够处理和聚合多尺度特征;跳过链接有助于保存空间信息在每个分辨率。该网络的输出是一个特征映射F ∈ RC×H × W。距离转换网络：距离变换（DT），更具体地说，阈值逆DT已被证明是映射的有效特征[30，31]。它在图像中的每个点处编码到最近车道边界的相对距离因此，我们采用了一个由一系列剩余层组成的头部，全局特征图F，并输出阈值化的逆DT图像D∈R1××。 我们使用这个DT图像D来标题，并请读者参考补充材料，有三个目的：1）我们将其堆叠到全局特征图F1291622精密度（px）在（px）F1 at（px）235102351023510DT基线[6]68.187.996.398.065.885.093.596.266.986.494.997.0HRAN [21] with GT init55.671.084.090.945.958.168.374.050.163.775.181.4我们76.489.094.696.676.288.794.296.176.388.894.496.3表1：与[6，21]中基线的比较。我们强调了在2，3，5和10 px（5cm/px）阈值下的精确度，召回率和F1指标。作为一个额外的通道，并将其馈送到其他头。我们的目标是使用D作为对车道边界位置的关注形式。2)我们对D进行阈值化、二值化和归一化，得到骨架的端点作为图的初始3)在使用Alg. 1，我们通过初始化D中未被我们的图覆盖的区域上的点来绘制错过的车道边界方向头：该网络用作p（θi ） 的 近 似|θP （i），sP （i），xP（i））。Given几何和采用卷积RNN对历史进行编码，输出是三个状态的softmax概率。3.3. 学习我们采用多任务目标来监督模型的所有不同部分。由于所有组件都是可微的，因此我们可以端到端地学习我们的模型。特别地，类似于[21]，我们采用对称倒角距离将每个GT_Q与其预测P相匹配：父顶点的拓扑信息，此标头预测沿当前顶点所在的车道边界旋转的RoI的方向。此标题的输入是来自L（P，Q）=Σminpi−q+q∈Q我Σminp∈PJ这是以xP（i）为中心的F、D的级联和状态sP（i）的信道方式的独热编码。在分叉或合并处，两个车道边界彼此非常接近。调节到报头的状态向量信号，以预测对应于其通道边界的正确方向。该输入被馈送到一个简单的卷积RNN中，该卷积RNN输出下一个旋转ROI的方向向量我们使用RNN来编码先前方向和状态的历史。职位标题：这个网络可以看作是对p（x i）的一个近似|θ i，sP（i），xP（i））。给定前一个顶点的状态和位置，网络预测一个概率，沿direc- tion header生成的通道边界的旋转ROI内所有可能位置的能力分布该RoI是从F、D的级联和sP（i）的逐通道独热编码双线性内插的。插值后，我们将该区域上采样到原始图像维度，并将其传递给卷积递归神经网络（RNN）。RNN的输出被馈送到轻量级编码器-解码器网络，该轻量级编码器-解码器网络输出被映射到图像的全局坐标系的位置 xi的softmax概率图状态头这个头可以看作是对p（s i）的近似|θ i，sP（i），xP（i）），其推断车道边界的局部拓扑状态。具体来说，网-Work预测了一个分类分布，指定当我们到达合并时，是继续正常绘制、停止绘制还是分叉新的车道边界该模型的输入是位置标题的相同旋转RoI其中p和q是多边形上的密集采样坐标P线和Q线。为了学习拓扑状态，我们使用多标签焦点损失，并进行了轻微的修改;而不是取所有单个损失的平均值，我们将它们相加并除以焦点权重的总和。在这里，直觉是错误的预测更重要，并且不会受到与正常状态对应的过采样类的抑制。最后，我们使用余弦相似性损失和余弦2损失来学习方向和距离变换。我们建议读者参考完整的培训和实施细节的补充材料。4. 实验评价数据集：我们的数据集由LiDAR点云组成，这些点云是通过驾驶测绘车辆多次通过北美主要高速公路而捕获的。对于车辆的每次运行，我们使用IMU里程计数据在具有任意原点的公共坐标系中聚合点云。在我们的离线地图设置中，局部区域中的点云聚合来自所有过去以及未来击中该区域的LiDAR扫描。接下来，我们将点云以每像素5 cm的分辨率投影到BEV和光栅上，方法是获取具有最低高程值的返回点的强度。由于我们对落在道路表面上的车道边界的高清映射感兴趣，因此通过获取最低高程点，我们的目标是过滤掉来自其他移动车辆的LiDAR返回。我们感兴趣的是绘制高速公路上的困难区域，因此，我们定位这些有趣的拓扑出现的位置，并裁剪一个矩形12917精密度（px）在（px）F1 at（px）GMRS235102351023510---C75.487.491.693.562.172.075.677.468.179.082.884.7C--C74.186.693.095.965.676.582.084.569.581.287.289.8C-CC73.385.992.695.472.885.291.694.473.185.692.194.9CCC-69.883.090.693.470.283.591.294.270.083.390.993.8CC-C77.089.595.196.975.087.292.494.276.088.393.795.5CCCC76.489.094.696.676.288.794.296.176.388.894.496.3表2：我们评估了模型中不同组件的贡献。特别是，我们评估了全局特征网络（G），conv-RNN（M），状态（S）的概念，以及在丢失车道边界的情况下使用DT图像（R）进行恢复。2 px3 px5像素10 px精度57.472.183.488.6召回53.066.276.180.9F155.169.079.584.6表3：新公路的推广：我们报告了在一条高速公路的所有图像上训练和在一条全新的高速公路上测试的精确度、召回率和F1指标。8000像素乘最大1200像素的区域，矩形的长边垂直于测绘车辆的轨迹。注意，在每个示例中，图像的高度根据道路的曲率而变化。该作物对应于400米乘最大60米的区域。我们通过绘制与每个车道边界相关联的实例来注释地面实况。在一个岔路口，我们为出现的新车道边界添加一个新的符号。我们总共从高速公路上的68个独特的分叉/合并区域创建了3000张图像。由于我们的目标是可扩展的高清晰度的公路地图，我们评估我们的方法在不同的地理区域的不同的公路上的有效性。因此，我们在这条新的高速公路上多次驾驶我们的测绘车辆，并从高速公路上的114个独特的分叉/合并区域收集和注释336张图像。我们只使用这个较小的数据集进行评估。为了创建我们的train、val和test分割，我们首先以70：15：15的比例随机划分68个fork/merge区域，并将每个区域的图像放置在相应的分割中。这样，相同的分叉/合并区域不会出现在不同的拆分中。为了在我们报告的指标中获得统计学显著性，我们将此过程重复三次以获得三个交叉验证分割。因此，对于基线比较和消融研究，我们对每个模型进行了三次训练和测试。基线：由于文献中没有使用BEV LiDAR图像对长距离高速公路进行离线测绘的基线，因此我们创建了两个基线[6]和[21]。对于基于[6]的第一个基线（由DT基线表示），我们使用具有额外上采样和残差层的全局特征网络的相同主干，仅预测原始图像维度处的逆阈值DT图像。我们在车道边界的每一侧的32个像素处对距离变换进行阈值化。接下来，我们对DT图像进行二值化，[52]以获得车道边界的密集表示这是一个非常强的基线，因为骨干网络的整个容量然而，我们的方法的不同之处在于，我们以端到端的方式以折线的形式输出车道边界的结构化表示，该方式适合于循环中的我们根据[21]创建第二个基线，由（HRAN）表示。HRAN架构的循环车道计数模块具有关注图像底部道路从左到右的新车道边界的概念，该概念对于在分叉和合并处产生新车道边界的一般情况而言是不适用的。因此，我们在训练和推理过程中删除了车道计数模块，并为初始化提供了基础事实起点，从而请注意，我们的方法从DT图像自动推断初始点。精密度/召回率：我们报告[57]的精确度和召回率。精度定义为落在GT多段线阈值范围内的加密的预测顶点数除以预测多段线的总长度。在所有图像上进行求和和除法，而不是类似于对象检测任务度量的每个车道边界或每个图像召回是相同的，但预测和GT多段线的作用是相反的。我们在对应于10、15、25和50 cm的2、3、5和10个像素处进行评估正如我们在表1中看到的，我们的表现优于两个基线。对于DT基线，我们在对应于10和12的 2和3像素处15.然而，该基线在对应于25和50 cm的5和10像素处的精确度和召回率方面表现更好。对于自动驾驶应用，其中cm accu-12918图4：定性结果：图1-3展示了我们方法的有效性。第4行是失败的情况，其中两个车道边界底部被部分绘制。为了保证自动驾驶车辆的安全导航，我们的方法被证明是有价值的。 为[21]HRAN基线，我们通过使用GT初始点使其更强，我们观察到其性能明显更差。这是由于HRAN在模型中没有明确的状态概念，这阻止了车道约束。aries在fork处分裂，在merge处终止。拓扑：为了使循环中的注释器进行最少数量的点击，最好只将一个预测的XML片段分配给GT XML。 为此，我们将每个预测的车道分配给GT车道GT预测GT预测GT预测GT预测12919图5：推广到新的高速公路：我们在一条高速公路的所有图像上进行训练，并在完全不同地理区域的另一条高速公路上进行测试，以测试我们模型的通用化。请放大。在GT内20像素距离处具有最大交点的边界。我们发现，89%的GT车道边界- aries有正确的拓扑结构。消融术研究：在我们的消融研究中，我们评估了全局特征网络（G）、头部的卷积RNN存储器（M）以及当我们错过绘制车道边界时从DT预测（R）重新初始化的重要性。最后，我们通过从我们的模型中完全删除状态（S）的概念来评估它的重要性。也就是说，节点vi将不具有状态分量si，并且位置xi和方向θi将不以si为条件。为了评估全局特征网络的重要性，我们将方向、状态和位置标头直接应用于局部ROI处的LiDAR图像。这样，每个报头的接收场被限制到关注的ROI，并且缺乏车道边界的全局上下文。通过比较表2的第1行和第2行，我们发现仅仅添加全局特征网络就可以大幅提高召回率。精度仍然具有竞争力，因为模型仍然可以很好地预测局部区域中车道边界的位置。此外，我们在表2的第3行和第5行中观察到，将存储器和DT恢复添加到全局特征网络再次大幅提升性能，特别是在召回方面。然而，我们注意到，最大的增益是从存储器组件获得的。如果我们删除状态的概念并保留所有其他组件，则精确度和召回率都会受到显着影响，如第4行所示。这突出了在我们的模型中具有状态的重要性最后，我们注意到，我们的完整模型与所有组件相比，精确度略低于没有恢复的模型（第5行）和更好的召回率，但总体上在F1方面表现最好我们注意到，这些消融是三个交叉验证分割的测试集的平均值定性结果：有关定性结果，请参见图4。在第1行中，我们展示了我们的模型如何通过在分叉处生成两个新的车道边界来正确推断拓扑的变化。在第2行和第3行中，我们展示了我们的模型在合并时的行为，其中两个车道边界成为一个，其中一个或两个终止。在行4. 我们展示了一个失败模式。在分叉处，尽管我们已经检测到拓扑的变化，但方向头无法推断出正确的ROI。在合并处，上合并车道边界与直线车道边界重叠而不停止。在这里，注释器必须手动修复这些问题，而不是从头开始绘制所有内容。新建高速公路：我们的方法的最终目标是实现高速公路的大规模高清地图，从而促进大规模的安全自动驾驶。为了评估我们方法的泛化能力，我们在数据集的训练、验证和测试分割中的所有图像上训练了一个新模型，并在位于不同地理区域的不同高速公路上进行了评估。在表3中，我们从查准率和查全率方面评估了我们的模型。虽然与表1相比，性能如预期的那样下降特别是，在2像素或5厘米，我们有57。4%的精确度和53. 0%的召回率，而在10像素或50厘米的更宽的阈值，我们获得的精确度和召回率值为88。6%和80。9%。在图5中，我们展示了我们对这条新高速公路的预测。失效案例：故障模式包括车道边界部分未绘制或完全缺失，并反映在我们的召回指标中。在这些情况下，注释者必须只纠正有问题的情况，而不是从头开始绘制所有内容。5. 结论在本文中，我们已经展示了如何绘制车道边界的复杂公路与许多车道，包含拓扑结构的变化，由于分叉和合并。为了实现这一目标，我们已经制定了一个DAG的推理问题，其中的图形的节点编码的局部区域的车道边界- aries的几何和拓扑属性我们还导出了一个简单而有效的贪婪算法，该算法允许我们推断DAG拓扑（即，节点和边）。我们已经证明了我们的方法在两个主要的北美高速公路在两个不同的国家的有效性，并表现出高精度的线条画和恢复的拓扑结构。我们计划扩展我们的方法，利用自动驾驶汽车上通常可用的摄像头，以进一步提高性能。GTPRGTPR12920引用[1] David Acuna，Huan Ling，Amlan Kar，and Sanja Fidler.使用polygon-rnn++对分割数据集进行有效的交互式注释。在CVPR，2018年。[2] Jose M Alvarez，Theo Gevers，Yann LeCun和Antonio MLopez。从单幅图像中分割道路场景。ECCV，2012年。[3] 乔是艾尔·瓦雷斯和安东尼奥·洛佩兹。基于光源不变性的道路检测ITS，2011年。[4] 赛义德·马吉德·阿兹米、彼得·菲舍尔、马可·科恩和彼得·雷纳茨。空中局域网：使用小波增强的成本敏感对称全卷积神经网络的航空图像中的车道标记语义分割。GRSL，2018年。[5] 她叫巴迪诺，乌维·弗兰科和鲁道夫·梅斯特。使用随机占用网格和动态规划的自由空间在ICCV动态视觉研讨会，2007年。[6] 白民，盖勒特·马特乌斯，纳姆达尔·霍马云法，王神龙，科西卡·拉克什米坎特，什里尼迪和拉奎尔·乌尔塔孙。深度多传感器车道检测。在IROS，2018年。[7] Ruzena Bajcsy和Mohamad Tavakoli。计算机从卫星图片中识别道路。SMC，1976年。[8] Ioan Andrei Barsan ， Shenlong Wang ， and RaquelUrtasun.学习使用激光雷达强度图进行定位。在CORL，2018年。[9] FavyenBastani ， SongtaoHe ， Sofiane Abbar ，Mohammad Al-izadeh ， Hari Balakrishnan ， SanjayChawla，Sam Madden，and David DeWitt.Roadtracer：从航空图像中自动提取在CVPR，2018年。[10] Anil Batra，Suriya Singh，Guan Pang，Saikat Basu，C.V.贾瓦哈尔和马诺哈尔·帕鲁里。通过方向和分割的联合学习改进道路连通性。在CVPR，2019年。[11] 卡斯滕·贝尔德和乔纳斯·维特。从自动生成的标签中深度学习车道在IROS，2017年。[12] Sergio Casas ， Wenjie Luo ， and Raquel Urtasun.Intentnet：学习从原始传感器数据预测意图在CORL，2018年。[13] Lluı sCastrejo´ n ， Kausta vKundu ， RaquelUrtasun ，andSanjaFidler.使用多边形rnn注释对象实例。在CVPR，2017年。[14] Abhishek Chaurasia和Eugenio Culurciello。Linknet：为有效的语义分割开发编码器表示. VCIP，2017年。[15] 郑旭勇、郑博申、曾佩婷、范国钦。交通场景中运动车辆的车道线检测。ITS，2006年。[16] Jin Fang，Feilong Yan，Tongtong Zhao，Feihu Zhang，Dingfu Zhou，Ruigang Yang，Yu Ma，and Liang Wang.使用真实场景和交通流模拟用于自动驾驶的激光雷达点云。arXiv，2018年。[17] M.-F.AuclairFortier ， DjemelZiou 和 CostasArmenakis。航空和卫星图像中道路提取工作综述。技术报告，2002年。[18] 乌维·弗兰克和我。库茨巴赫快速立体声为基础的物体检测，停去交通。1996年第四[19] Mohse nGhafoorian ， CedricNugteren ， No'raBaka ，OlafBooij和Michael Hofmann。El-gan：嵌入损失驱动的生成对抗网络用于车道检测。在ECCV，2018。[20] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。NeurIPS，2014。[21] Namdar Homayounfar ， Wei-Chiu Ma ， Shrinidhi Kow-shika Lakshmikanth，and Raquel Urtasun.结构化在线地图的层次回流注意网络。在CVPR，2018年。[22] Yuenan Hou ， Zheng Ma ， Chunxiao Liu ， and ChenChange Loy.通过自注意蒸馏学习轻量级车道检测cnns。在ICCV，2019年。[23] 索伦·卡梅尔和本杰明·皮策。基于激光雷达的车道标记检测和映射。2008年第四[24] Hui Kong，Jean-Yves Audibert，and Jean Ponce.从单个图像进行一般道路检测。2010年，国际劳工组织[25] 托比亚斯·库恩尔，弗朗兹·库默特，还有詹尼克·弗里奇。用于实时自我车道提取的空间InITS，2012.[26] Yann LeCun，Yoshua Bengio，and Geoffrey Hinton.深度学习Nature，2015.[27] Seokju Lee ， Junsik Kim ， Jae Shin Yoon ， SeunghakShin ， Oleksandr Bailo ， Namil Kim ， Tae-Hee Lee ，Hyun Seok Hong， Seung-Hoon Han ，and Inso Kweon.VPgnet：用于车道和道路标记检测和识别的消失点引导网络。InICCV，2017.[28] Dan Levi ， Noa Garnett ， Ethan Fetaya ， and IsraelHerzlyia. Stixelnet：用于障碍物检测和道路分割的深度卷积网络。在BMVC，2015年。[29] Zu o YueLi ， JanDirkWegne r ， andAur e'lienLucchi.Polymap-per：使用多边形提取城市地图。arXiv，2018年。[30] Justin Liang和Raquel Urtasun。用于绘制人行横道的端到端深层结构模型。在ECCV，2018。[31] Justin Liang ， Namdar Homayounfar ， Wei-Chiu Ma ，Shen-long Wang，and Raquel Urtasun.卷积递归网络用于道路边界提取。在CVPR，2019年。[32] 梁明，杨斌，陈云，胡瑞，拉奎尔·乌塔孙.三维目标检测的多任务多传感器融合。在CVPR，2019年。[33] David Lieb，Andrew Lookingbill，and Sebastian Thrun.使用 自监 督学 习和 反向 光流的 自适 应道 路跟 踪。InRSS，2005.[34] 放 大 图 片 作 者 ： 林 宗 毅 ， 彼 得 · 多 尔 ， 罗 斯 ·B.Girshick，KaimingHe，Bharath Hariharan，and Serge J.贝隆吉用于对象检测的特征金字塔网络。在CVPR，2016年。[35] Huan Ling，Jun Gao，Amlan Kar，Wenzheng Chen，and Sanja Fidler.用curve-gcn实现快速交互式对象标注。在CVPR，2019年。[36] Wei-Chiu Ma ， Zhaoacio Tartavull ， Ioan Andrei BaBerrsan，Shen-long Wang，Min Bai，Gellert Mattyus，NamdarHomayoun-far，ShrinidhiKowshikaLakshmikanth，Andrei Pokrovsky，and Raquel Urtasun.利用稀疏语义高清地图进行可负担的本地化。IROS，129212019年。[37] Wei-Chiu Ma，Shenlong Wang，Marcus A Brubaker，Sanja Fidler，and Raquel Urtasun.通过观察太阳和其他语义线索找到你的路。在ICRA，2017年。12922[38] 迪米特里奥斯·马尼斯、康拉德·辛德勒、扬·德克·韦格纳、西尔瓦诺·加利亚尼、米哈伊·达特库和乌韦·斯蒂利亚。带边缘的分类：用边界检测改进图像的语义分割。arXiv，2016.[39] 马马尼斯、韦格纳、加利亚尼、辛德勒、达特库和斯蒂利亚.基于cnss集成的航空影像语义分割ISPRS，2016年。[40] Gel le'rtM a' ttyus，WenjieLuo，andRaquelUrtasun. 深度道路测绘：从航空影像中提取道路拓扑. InICCV，2017.[41] Gellert Mattyus ， Shenlong Wang ， Sanja Fidler ， andRaquel Urtasun.通过解析世界各地的航空图像来增强道路图。在ICCV，2015年。[42] 吉尔·L·E·M·A·蒂尤斯、神龙·王、桑加·菲德尔和拉奎尔·乌尔塔松。高清地图：通过解析地面和空中图像进行细粒度道路分割。在CVPR，2016年。[43] 胡安湾Mena和Jose 'A。马尔皮卡从高分辨率卫星图像开始的农村和半城市地区道路自动提取方法审查处，2005年。[44] Volodymyr Mnih和Geoffrey E.辛顿学习在高分辨率航空图像中检测道路。ECCV，2010年。[45] Volodymyr Mnih和Geoffrey E.辛顿学习从噪声数据中标记航空图像。InICML，2012.[46] 拉胡尔·莫汉场景解析的深度解卷积网络。arXiv，2014.[47] DavyNeven 、 BertDeBrabandere 、 StamatiosGeorgoulis、Marc Proesmans和Luc Van Gool。面向端到端车道检测：实例分割方法。IV，2018年。[48] LinaMariaPaz，PedroPin ie's ，andPaulN e wman. 一种基于单