3D-LaneNet：直接预测3D车道的网络

29213D-LaneNet输入图像3D-LaneNet：端到端3D多车道检测Noa Garnett Rafi Cohen Tomer PeHaMada St. 7，赫兹利亚，以色列{noa.garnett，rafi.cohen，tomer.peer，roee.lahav，dan.levi}@ gm.com摘要我们介绍了一个网络，直接预测三维布局的车道在道路场景从一个单一的图像。这项工作标志着第一次尝试解决这一任务与板上感测，而不假设一个已知的恒定车道宽度或依赖于预先映射的环境。我们的网络架构3D-LaneNet应用了两个新概念：网络内反向透视映射（IPM）和基于锚点的车道表示。网络内IPM投影促进了常规图像视图和顶视图中的双重表示信息流。一个锚每列输出表示使我们的端到端的方法，取代常见的算法，如聚类和离群拒绝，铸造车道估计作为一个对象检测问题。此外，我们的方法显式地处理复杂的情况，如车道合并和拆分。结果显示在两个新的3D车道数据集，一个合成的和一个真正的。为了与现有方法进行比较，我们在仅图像的tuSimple车道检测基准上测试了我们的方法1. 介绍3D车道检测包括可驾驶车道相对于主车辆的3D位置的准确估计，是自动驾驶的关键推动因素。存在两种互补的技术解决方案：加载离线生成的预映射车道[33]和基于感知的实时车道检测[4]。离线解决方案在给定精确的主机定位（在地图坐标中）的情况下在地理上是准确的，但是部署和维护复杂最常见的现有的基于相机的方法在图像域中检测车道，然后通过假设平坦地面将它们投影到3D世界[4]，当假设被验证时，不仅在高程上而且在车道曲率上都导致不准确。受最近卷积神经网络（CNN）在单目深度估计中的成功启发[20]，我们建议改为直接检测3D中的车道。更具体地，给定从前置摄像头拍摄的单个图像，任务是输出摄像头坐标中的一组3D曲线，每个曲线描述车道线或车道中心线。图1. 说明了端到端方法。左：输出表示在顶视图。右上：3D可视化结果。右下角：投影到原始输入图像的结果我们提出的解决方案3D-LaneNet是一种执行3D车道检测的深度CNN。经过端到端训练的网络在每个纵向道路切片中输出车道通过切片的置信度及其相机坐标中的3D曲线。我们的方法如图1所示。我们的直接，单次拍摄的方法避免了后处理中使用的现有方法，如集群，ING和离群拒绝。该网络的骨干是基于一种新的双通道架构，使用几个网络中的投影功能地图虚拟鸟瞰图。这种双重表示为网络提供了在道路场景中推断3D的增强能力，并且可能用于需要这种能力的其他任务（例如，3D汽车检测）。输出由一个新列表示-2922基于锚点编码，其使得网络水平不变并实现端到端方法。每个输出都与一个锚点相关联，类似于单次拍摄，基于锚点的对象检测方法，如SSD [21]和YOLO[29]。有效地，我们的方法将问题转换为对象检测问题，其中每个车道实体是一个对象，并且其3D曲线模型就像对象的边界框一样被估计。我们在三个不同的数据集上验证了我们的方法。用于开发该方法的主要数据集是新的计算机图形数据集，合成3D车道1提供对每个车道元素的精确3D位置的完全访问。虽然存在几个驾驶模拟器[8，30]，但它们并不专注于3D车道检测任务，并且在相关场景属性的可变性方面受到限制（例如，车道曲率）。我们在这一领域的主要成就是能够随机生成具有高度可变的3D形状和车道拓扑的路段。因此，我们将其用作评价和消融研究的主要数据集为了验证我们在真实世界图像上的方法，我们从车载前置摄像头收集了一个额外的数据集，即3D车道3D车道标注使用Li-dar扫描仪以半手动标注方案完成。最后，为了与仅在图像域中操作的最先进的车道检测方法进行比较，我们将我们的方法适应于该任务，并演示了端到端的仅图像车道检测。在tuSimple数据集[1]上测试了此仅图像版本总结一下，我们的主要贡献是：• 引入一个新问题：无需几何假设的单帧3D车道检测，以及新的评估指标• 一种新的双通道架构，采用网络内特征映射IPM投影• 一种新的基于锚点的车道输出表示，可实现直接的端到端训练网络，用于3D和基于图像的车道检测。• 一种用于生成具有车道拓扑变化的随机合成示例的方法（即，车道数、合并、拆分）和3D形状。2. 相关工作传统的车道检测系统（例如，[10]）将诸如方向滤波器之类的低级操作与诸如霍夫变换之类的高级试探法相结合，以检测图像中的连续车道。 一个普通的流水线包括4个阶段：局部车道特征提取（1）、车道模型 拟 合 （ 2 ） 、 图 像 - 世 界 对 应 （ 3 ） 和 时 间 聚 集（4）。Bar-Hillel等人 [4]提供了这种模块化1https://sites.google.com/view/danlevi/3dlanes分解以及传统系统的详细概述。近年来，通过将一个或多个CNN应用于图像来执行局部特征提取阶段，但整体流水线保持非常相似，并且后面的后处理阶段仍然存在。最初，CNN被用于通过增强边缘图（Kim和Lee[15]）或对候选块进行分类（He等人 [12]）来改进特征提取。 于瓦尔[13]使用对象检测CNN检测局部车道线段。VPGNet（Lee等人。 [18]）遵循类似的概念，并额外检测其他道路标记和消失点，以改善车道检测。Kim和Park [16]将局部特征提取阶段重新表述为语义分割问题，其中两个类对应于左车道和右车道分隔符，从而扩展了网络的范围以执行聚类。然而，世界坐标车道模型仍然必须拟合到每个聚类，并且不处理多个车道 Neven等人[25]尝试端到端多车道检测，通过训练CNN不仅创建二进制车道像素掩码，而且创建用于聚类车道点的特征嵌入。Ghafoorian等人。 [9]提出应用生成对抗网络，以使语义分割网络输出在车道检测的背景下更加真实。一些作品（如Meyer等人[23]，Oliveira等人[26]）建立在类似的方法上，其中主机和可能相邻的车道是语义类（车道内部而不是车道分隔符）。与所有提出的方法相反，3D-LaneNet通过在单个前馈通道中直接从图像提供3D世界坐标中的完整多通道表示来统一公共管道的前三个阶段此外，以前的方法使用平坦地面假设的图像到世界的对应关系，而我们的方法完全估计的参数化的3D曲线定义的车道。只有少数方法直接解决3D车道估计：[24]，使用立体声，和[34，6]，其遵循多视图几何方法并假设已知的恒定道路/车道宽度来解决深度模糊性。相反，我们使用数据驱动的方法，不做几何假设。反向透视映射（IPM）从相机视图生成场景的虚拟俯视图（有时称为鸟瞰图），如图1中的示例所示。它由Mal- lot等人 [22]在障碍物检测的背景下引入，IPM已经被广泛用于车道检测（例如：[5，3]），因为在该视图中车道通常是平行的，并且它们的曲率可以用低阶多项式精确地拟合。此外，去除透视效果会使车道标记看起来相似（模糊效果除外），而不管它们与摄像机的距离如何。最近，He等人 [12]介绍了一种2923���ƴ���ƴ2i=1i=1图2. 测试图像上的结果可视化。合成3D通道示例的中心线检测（左列和中间列）和3D通道真实图像示例的分隔符检测（右列）。置信度> 0的检测。5显示。地面实况（蓝色）和方法结果（红色）显示在每个图像中，旁边是3D可视化。请注意，3D轴是场景自适应的。忽略的泳道以青色标记。最左下方的示例显示了无法正确分配车道拆分，可能是由遮挡引起的每个产生一个描述符（每个视图一个），然后将其连接并应用于候选图像位置。Li等人[19]使用CNN直接在顶视图图像上检测车道标记以及几何属性，例如局部位置和方向，这保留了对这些属性的不变性。此外，他们还部署了第二个循环网络，该网络遍历图像以检测一致的车道。Neven等人。 [25]使用子网络（与以前的工作相比，我们利用这两种观点在一个协同的单一网络的方法。更一般地说，我们提出了第一种方法，该方法使用端到端训练的CNN来直接检测多个车道并估计每个这样的车道的3D曲率。我们还表明，我们的方法是适用于中心线和分隔符的能力，处理分裂和合并，以及，没有任何进一步的后处理。3. 方法我们的方法得到从安装在车辆上的前置摄像头拍摄的单个图像作为输入，如图3所示。我们假设已知的固有相机参数κ（例如，焦距、投影中心）。我们还假设摄像机安装在相对于局部地平面的零度滚动处。我们不假设已知的摄像机高度和俯仰角，因为这些可能会由于车辆动力学而改变。道路场景中的车道可以描述为摄像机间距图3. 摄像机位置和道路投影平面一组车道分隔符{Di}ND，如图所示。5.每个此类车道图元（中心线或切线）都是以相机坐标（C相机）表示的3D曲线。任务是检测车道中心线和/或车道界线的集合这是给图像。3.1. 顶视图投影我们简要回顾了反向透视映射（IPM）。简而言之，IPM是将前视图图像扭曲为虚拟顶视图图像的单应性，如图1的左上图像所示。这相当于应用相机旋转单应性（视图向下旋转），然后进行各向异性缩放[11]。在我们的实现中，我们希望确保顶视图图像中的每个像素对应于道路上的预定义位置，独立于相机固有特性及其相对于道路的姿态。参见图3，了解以下定义的说明通过中心线{Ci}NC的集合每一条车道的选项。设置摄像机摄像头Ccamera=（x′，y′，z′），ℎ���������2924输入图像W道路平面预测分支W/2W/4W/8图像查看路径H/4HH/2小时/8w/16h/16512w/32h/32w/64h/64128w/12864小时/128小256512θt256128SIPM64ŵ1/2车道预测头1/410/810/8俯视路径1/2/410/83D车道检测=20826/8=24222016128464646464646464256256 256256256256256 256concat128128 128128concatconcat射影变换层非学习型操作特征图产生于：卷积合并+转化投影到顶部视图投影到顶视图+转换图4. 3D-LaneNet网络架构。yyK（xiK，yJ（xj，zj）我Y参考y1（xi1，XA1Xi一XNX一锚图5. 输出表示。注意，锚的数量（N）等于输出层宽度（在图中标记为w/8）。4）. 将显示一条车道中心线的几何图形表示。车道分隔符（白色虚线曲线）类似地表示。使得y' 是相机的视角方向。设Proad是与局部道路表面相切的平面我们定义道路坐标Croad=（x，y，z）如下：z方向是Proad的法线，y是y′在Proad上的投影，原点是摄像机中心在Proad上的投影。设Tc2r为6自由度。C相机和C道路之间的转换（3D平移和3D旋转）。既然我们假设零摄像机滚转，Tc2r由摄像机俯仰角θ及其在地面上的高度h凸轮唯一定义。将P道路上的每个点映射到图像平面坐标的单色图Hr2i：P2›→P2由Tc2r和κ确定（参见[11]，第8.1.1节）。最后，从Hr2i使用定义顶视区域边界的固定参数组IPM参数和从米到像素的各向异性缩放顶视图图像是使用由采样网格SIPM定义的双线性插值来生成的。3.2. 网络结构3D-LaneNet的概述如图4所示信息在两个并行流或路径中处理：图像视图路径和顶视图路径。我们称之为双通道主干。图像视图路径处理并保存来自图像的信息，而顶视图路径提供具有平移不变性的特征，并用于预测3D车道检测输出。图像视图路径的架构基于VGG16 [31]，而顶视图路径的结构类似。信息通过如下四个投影变换层流向顶视图3.3. 投影变换层我们架构中的一个主要构建块是图中用蓝色标记的投影转换层。4.该层是空间Transformer模块[14]的具体实现，略有变化。它执行空间上对应于图像平面的输入特征图的可重构采样，以输出空间上对应于场景的虚拟顶视图的特征图，同时保持通道的数量。实现了差分采样2925一Jj=1j=1通过如第2节所述生成的网格， 3.1，使用由下一节中描述的道路投影预测分支预测的IPM。除了第一组之外，所得到的投影特征图被连接到来自顶视图路径的下游特征图。在级联特征图上操作的后续神经元组合以下两个期望的特性以用于车道检测。第一，在俯视平面中的平移不变性这是有价值的，因为在俯视图中，车道在空间上具有相似的外观和几何形状。第二，保存双重信息背景-在图像和顶视图中。附加的图像视图上下文对顶视图中不存在的信息进行编码，诸如对解密场景的3D结构至关重要的围栏、天际线和树木。特别地，在远距离中，图像-视图上下文在视觉信息方面丰富得多，并且与顶视图相比表示大得多的实际区域。3.3.1道路投影预测分支图像查看路径的第一中间输出对于每个锚点i，我们输出存在与该锚点相关联的通道的置信度Pi我们使用预定义的纵向坐标Y ref进行关联。与车道相关联的锚X i是最接近y=Y ref处车道的x坐标的锚。对于每个锚点，网络输出多达三种类型（t）的车道描述符（置信度和几何形状），前两种（c1，c2）表示车道中心线，第三种类型（d）表示车道宽度。为每条车道分配两条可能的中心线产生了对合并和拆分的网络支持，这通常可能导致两条车道的中心线在Y参考处重合并在不同的道路位置处分离，如图5中最右侧的示例与中心线相比，车道分隔符的拓扑通常更复杂，并且我们的表示无法捕获所有情况（例如，车道分隔符不与y=Y ref交叉，图5）。设计了3D-LaneNet的预测头以产生所描述的输出。通过一系列在y维度上没有填充的卷积，特征图被减少，并且最终预测层大小为3·（2·K+1）X1XNs. t。 每个列i ∈ {1. . . N} cor-响应于单个锚Xi。每个锚，Xi和类型网络是对“道路投影平面”的估计A. A我i iΣt∈ {c1，c2，d}网络输出用xt，zt，pt表示。P路。 本质上，这个分支预测了Tc2r，摄像机（C摄像机）到道路（C路）的转换。它是以监督的方式训练的。Tc2r确定顶视图同质性Hr2i和采样网格SIPM，如在第12节中所解释的图3.1中所示，并且因此需要用于顶视图路径的前馈步骤。在推理时，它还用于转换以C路表示的网络输出，回到C相机。如第3.1节所述，Tc2r是de-在我们的情况下由摄像机高度h_cam和间距θ确定，因此这是该分支的两个输出。最终预测执行1D非最大抑制，如对象检测中常见的：仅保留置信度局部最大的通道（与左和右相邻锚点相比）。使用样条插值将由少量（K）3D点表示的每个剩余车道3.4. 培训和地面真相协会给定图像示例及其对应的3D车道曲线，{Ci}NC（中心线）和{Di}ND（分隔符），i=1i =13.3.2车道预测头我们端到端方法的核心是基于锚点的车道表示。 受对象检测的启发，我们使用锚点来定义车道候选者，并使用精细的几何表示来描述每个锚点的精确3D车道形状。输出坐标系是由hcam，θ确定的C路的估计。我们的锚点对应于该坐标系中的纵向线，而精确的车道几何形状对应于相对于相应训练如下进行。 Ground Truth（GT）坐标系Croad定义为局部道路相切平面，如第2节所述 3.1使用已知的间距（θ）和摄像机高度（hcam）。 Ne xt，投影到C道路的x-y平面的每个车道曲线v e与Y ref处的最近锚点相关联。最左边的车道是-与锚点相关联的大多数中心线被分配给该锚点的C1和D如果一个附加的中心线与同一个锚点相关联，它将被指定为输出类型c2。此赋值定义了每个示例的GT主播如图5所示，我们通过以下方式定义锚点：与输出的格式相同：per anchorXi和类型t. i i iΣAix位置的等距垂直（纵向）线相关GT表示为xt，zt，pt ，其中pt是一个. XiN. 对于每个锚X1，3D通道由下式表示：锚/类型分配指示器，以及C路中的坐标。一i=1A.Σ..ΣΣ2·K个输出神经元激活xi，zi=xi，zi， K，J其与K个预定义的y个位置（y={yj}K）的固定向量一起）定义一组三维车道点。的无论是在训练时间还是在评估中，如果车道点没有穿过有效的俯视图图像边界内的Y参考，则忽略车道点;如果车道点被地形遮挡，则忽略车道点（即超越山顶）。总损失函数-值xi是相对于锚位置的水平偏移。J第十条也就是说，.Σxi，zi代表了网络的作用在等式中给出1.一、它结合了三个同等加权损失项：车道检测（交叉熵-.阿吉Jxi+Xi，yj，zi∈R3，在C道路坐标系中。此外，本发明还提供了一种方法，损失）、车道几何形状和道路平面估计（L1-损失）。jAj2926不tttt....ΣL=−ΣN我我i Σ。我的天车道俯视图几何图形。在俯视图中的主要道路的几何形状是由一个四次多项式产生轻度极端曲率建模连接点为t∈{c1， c2，d}i=1ptlogpt+1−pt日志1−pt选择合并/拆分以及车道宽度这你好。¨¨ ¨ ¨Σ结果在顶视图车道级地图如图所示第6（b）段。+pi·t∈{c1，c2，d}i=1xi−x+<$zi−<$zi<$1泳道3D。 俯视车道地图放置在地形上，二级公路被提升以模拟普通公路，....+。θ−θ。 +。hcam−hcam。4. 实验（一）字体学图6（c）示出了该阶段的结果。地形和道路外观。道路和地形的纹理是从一组纹理中选择的车道标记的类型和颜色也是随机的。对象 从一组模型中选择的汽车和树木我们的实验工作如下。我们首先提出了用于生成新的合成数据集合成3D车道的方法，该方法用于得出本研究的大部分结论。接下来，我们介绍为验证真实世界图像而生成的3D通道数据集使用一种新提出的3D车道检测评估方法，然后我们在两个数据集上展示结果，包括一项消融研究，仔细检查我们整体方法中每个概念的贡献。最后，我们将3D-LaneNet的仅图像版本与tuSimple基准测试[1]上现有的最先进方法进行了比较。（一）（b）第（1）款（c）第（1）款图6. 合成场景生成示例。（a）表面（b）道路拓扑和曲率（c）表面4.1. 合成3D车道数据集我们使用开源图形引擎blender[2]生成了合成3D通道数据集我们的编程方法允许我们随机化每个建模元素，从场景的3D几何形状到对象类型，如图6所示。生成每个场景的过程由以下步骤组成：3D地形。地形模型采用混合高斯分布，高斯分布的个数及其参数随机化。图6（a）示出了这种地形的示例。通道拓扑。选择主干道上的车道数。然后我们选择是否有二级公路和其中的车道数。根据摄影机在场景中的稍后方向，次要道路的交叉点被视为合并或拆分。..2927分别放置在场景中的道路上和道路外。场景渲染。主车辆摄像机通过选择其车道和围绕车道中心的横向偏移来定位在主道路上。相机高度在140cm和190 cm之间随机设置，并且选择0和5度之间的向下倾斜。最后，设置照明并从相机视图渲染场景。每个车道中心线和切线的三维点都转换为相机坐标，以生成地面实况。每个生成的示例由一个图像（360 × 480像素）及其相关的地面实况组成：三维车道，摄像头的高度和角度。图2（左栏和中栏）提出了几个例子，显示由此产生的多样性和复杂性。随机生成过程中使用的确切参数见附录I。生成的数据集包含300K训练和5K测试示例。一个附加的1K验证集用于学习率调度和选择最佳性能的快照。4.2. 真实世界3D车道数据集为任务获取带有3D的地面真实标记数据是一项需要复杂的多传感器设置以及可能还需要昂贵的高清地图的努力为此，我们引入了一个新的这样的数据集，3D车道，使用多传感器设置创建，包括前视相机，Velo-dine HDL 32激光雷达扫描仪和高精度IMU，所有同步和准确对齐。这些数据是在6次驾驶中收集的，使用激光雷达和IMU，我们生成聚合激光雷达顶视图图像，如[33]所示，然后将其与半手动注释工具一起用于生成地面实况。总共注释了85K图像，其中1K由单独的驱动器组成，用作测试集，其余的用作训练集。激光雷达信息还用于提供每条车道的完整3D曲线。这种方法的缺点是，由于遮挡或距离处的有限分辨率，激光雷达不能充分看到的因此，标记有点嘈杂，如图所示。2（右栏）。此外，数据集在几何和拓扑方面的可变性是适度的2928与合成3D通道数据集相比。因此，我们使用具有完美地面真实的合成数据来开发方法并进行消融研究，而真实世界的数据集用于验证该方法对真实数据和定性分析的可转移性。4.2.1评价结果评估指标。我们提出了一个三维车道检测的评价，从几何估计精度分离的检测精度。检测准确度通过精确度-召回率曲线的标准平均精确度（AP）测量来计算。我们首先计算GT和检测到的车道之间的曲线到我们沿着曲线在一组预定义的y值上测量距离，在0-80米的范围内每80厘米。距离较远的点的权重降低然后，我们通过选择相似度递减的配对来执行一对一（曲线）匹配。如果加权距离低于某个相当允许的阈值（1.5米），则认为匹配是正确的。在通道置信度阈值上迭代，我们生成精确度-召回率曲线。对于匹配检测，我们通过测量用于测量曲线到曲线距离的相同点上的误差分布（逐点欧氏距离）来评估几何估计精度。由于误差幅度的不同，我们进一步将整个数据集划分为近距离（0- 30 m）和远距离然后，我们计算每个范围的1σ误差，作为68误差百分位数，2σ误差作为95百分位数。车道中心线和车道检测分别使用这种方法进行评估。与训练阶段一样，在评估中忽略不相关的车道点实作详细数据。 3D-LaneNet和本节中引入的所有变量均使用相同的协议进行初始化和训练。图像视图路径从在imagenet上训练的VGG16初始化[7]。我们使用Adam优化[17]和初始学习率5·10−4进行训练。 我们使用[32]中描述的循环学习率机制的变体，最小学习率为10- 6。顶视图表示的y范围为80米，x范围为20米。IPM比例在x和y方向上不同：在第一个顶视图特征图中，每个像素对应于横向16 cm（x）和纵向38.4 cm最后一个顶视图特征图小了8倍，由于每列有一个锚点，因此锚点之间的距离为16 × 8 = 128cm。我们设置K（= 6）垂直参考点为y={5，20，40，60，80，100}并且Yref=20m。合成3D泳道数据集的结果。测试集上的典型网络结果如图2所示，并标记了地面实况。 表1中的第一行示出了数量。用于中心线检测的3D-LaneNet的有效结果。有效的与合成数据集相关的问题是其可变性太有限，并且学习的网络记忆整个示例空间而不是学习泛化。一个积极的迹象表明，这不是这种情况是，测试AP（0.952）远低于列车AP（0.966），几何评估措施也是如此。与3D-LaneNet一样，在本文所述消融测试中训练的所有网络均从VGG 16初始化，并使用相同的训练参数和时期数进行训练。我们首先通过将其与其他架构进行比较来研究双路径架构的作用。仅图像视图版本将图像视图路径直接连接到车道检测头，其输出C 道 路中的表示，与3D-LaneNet完全相同。在这种情况下，锚定位置XA由最后一个特征图中的列：对于每一列，我们在预定义的图像y坐标处选取一个像素，并将其投影到顶视图，以确定对应于该列的锚。仅顶视图版本首先将图像本身投影到顶视图，并继续与顶视图路径相同的计算。此外，我们测试了两个版本，其中包括双通道的有限版本。早期的IPM包括一个单一的双上下文模块（全网络中四个模块中的第一个）。后期IPM类似地仅包含四个中的最后一个双上下文模块。表1中总结的结果表明，完整的双通道架构具有优于所有其他变体的性能兼容性。特别地，最差的结果由仅图像视图版本提供，强调顶视图处理路径的重要性。请注意，后期IPM由双通道的修剪版本组成，提供了第二好的精度，但计算成本降低，使其成为实时实现的良好候选者我们还尝试了道路投影平面的其他定义。一种方法在拟合道路平面时考虑整个场景，而不仅仅是局部道路法线。为了测试它，我们设计了一个地面真值生成算法，该算法采用最远的可见道路点，并将其连接到本地道路位置，以确定间距。该方法在表1中被称为水平，因为它类似于水平估计方法。显然，它的表现一般略差，虽然我们观察到一致的情况下，场景地形有利于这一定义。我们还尝试假设相机，其中平均间距（2. 5cm）和摄影机高度（165cm）来定义Tc2r。最后，我们注意到如[25]中所提出的，在没有明确监督的情况下学习预测每个场景的最佳道路投影平面，对于我们的任务来说，未能产生令人满意的结果。表1中的最后一行（平坦地面）强调与当前现有方法相比全3D车道估计的重要性：仅图像检测和2929图像到世界的转换使用平地投影。通过将3D-LaneNet结果投影到图像平面来获得仅图像检测对于图像到世界的阶段，我们需要选择将图像结果投影到的平面我们尝试了两个选项，都是使用地面真实值计算的：道路平面PRoad和由Horizon定义的平面，如前面的实验中所述。如可以预期的，基本上使用针对整个场景的最佳平面拟合的基于水平线的方法产生了更好的结果，其仍然劣于执行全3D估计的3D-LaneNet的结果。3D-LaneNet的检测性能为0. 971 AP（位置误差：12.9cm@1σ，33cm@2σ近距离; 30cm@1σ，106cm@2σ远距离）。这些指标显示出比中心线检测稍好的性能一种可能的解释是，在道路上清楚地标记限制器，而间接地推断中心线。由于输出是从道路转换到摄像机坐标使用估计的Tc2r，我们还测量了这种估计的质量及其对结果的影响。 音高绝对误差的中位数◦表2.3D车道数据集上的分隔符检测结果近端AP误差（cm）远端误差（cm）1σ2σ1σ2σ3D-LaneNet 0.918 7.5 19.6 12.4 33平地仅车道检测。tuSimple lane数据集[1]由3626张训练图像和2782张测试图像组成。不幸的是，今天没有访问测试图像的标签。因此，我们将原始训练集划分为我们自己的训练/验证集（90%训练和10%验证）。虽然我们知道我们的评估（在验证集上获得）和测试集上的评估之间可能存在偏差由于该数据集不包含3D信息，因此我们训练了3D-LaneNet的变体，该变体检测图像域中的车道。通过消除高程（zi）分量，将网络输出还原为道路投影平面上的2D点，而不是3D表示。只不过，（θ）和相机高度（h_cam）为0。09和2。4cm（分别）活泼地为了消除该误差的影响，我们通过获取原始网络输出（在转换为C相机之前）来评估道路坐标C道路中的性能，并且在测量的性能中得到可忽略的差异。3D-lanes数据集上的结果。为了在真实世界的数据上操作，我们在火车部分训练了3D-LaneNet，3D-lanes数据集来自相应测试集的结果示例如图所示。2（右栏）。注意，由于相机以向下的俯仰安装，因此3D通道被检测为向上上升。评价指标见表2。如在合成数据中一样，对真实数据使用平坦地面假设会降低性能，在远距离上实现4倍大的误差。表1.合成3D车道数据集上的中心线检测结果近端AP误差（cm）远端误差（cm）固定位置0.948 13.6 37.3 35.4 139输出类型被保持（t=d），因为标记的条目数据集中的连接是车道分隔符。固定的单应性，手 动 选 择 图 像 平 面 与 道 路 投 影 平 面 之间的 HtuSimple，使得直车道在俯视图中变得平行。网络直接预测的车道使用HtuSimple转换为图像视图中的车道。由于HtuSimple是固定的，因此不使用道路投影平面预测分支除了上述之外，网络与针对合成3D通道数据集配置的3D-LaneNet相同tuSim- ple主要评估指标（acc）[1]是每个图像检测到的地面真值点的平均比率在我们的验证集上使用我们的端到端方法，我们达到了0的准确率。951，与tuSimple 2017年竞赛获胜方法[27]，（0. 965）。考虑到我们的整个方法是针对3D估计任务设计的，这个结果是令人鼓舞的并且有些令人惊讶的特别地，我们的几何损失（Eq. 1)在俯视图坐标中计算，实际上给予远距离车道点高得多的权重，而在tuSimple acc度量中，所有点同等地贡献。5. 结论本文提出了一种新的三维多车道检测问题，以及基于学习的端到端解决方案，3D-平地0.566 46.9 114 99 2894.3. 纯图像车道线检测本实验的目的是将我们的方法与现有技术进行比较，现有技术用于图像处理。LaneNet。该方法已开发使用一个新引入的合成数据集，并验证了真实的数据。该方法原则上适用于除复杂城市交叉口以外的所有驾驶场景。最后，我们认为，双通道架构可以促进额外的道路上重要的3D估计任务，如3D车辆检测。1σ2σ1σ2σ3D-LaneNet0.95213.334.433.1122图像视图0.81920.35074.7241顶视图0.92917.539.649.5208早期IPM0.93413.735.543.5189后期IPM0.94814.537.237.4139地平线0.94914.840.436.71322930引用[1] http://benchmark.tusimple.ai，车道挑战。[2] https://www.blender.org/网站。[3] 穆罕默德·阿里城市街道中车道标志的实时检测在IVS，第7-12页[4] Aharon Bar Hillel、Ronen Lerner、Dan Levi和Guy Raz。道路和车道检测的最新进展：调查。Machine Vision andApplications，25（3）：727[5] Amol Borkar，Monson Hayes，and Mark T.史密斯基于ransac 和kalman 滤波 器的鲁棒 车道线 检测与 跟踪。ICIP，第3261-3264页[6] 皮埃尔·库隆博和克劳德·劳若。基于视觉的车辆横摆、俯仰、侧倾及三维车道形状恢复智能汽车研讨会，2002年。IEEE，第2卷，第619-625页，第2卷，2002。[7] J. 邓，W。东河，巴西-地索赫尔湖J. Li，K.Li和L.飞飞ImageNet：一个大规模的分层图像数据库。CVPR，2009。[8] Alexey Dosovitskiy 、 German Ros 、 Felipe Codevilla 、Antonio Lopez和Vladlen Koltun。卡拉：一个开放的城市驾驶模拟器。在第一届机器人学习年会论文集，第1-16页[9] MohsenGhafoorian 、 CedricNugteren 、 No'raBaka 、OlafBooij和Michael Hofmann。El-gan：嵌入损失驱动的生成对抗网络用于车道检测。CoRR，abs/1806.05525，2018。[10] R. Gopalan，T.Hong，M.Shneier和R.切拉帕一种车道线检测与跟踪的学习方法.IEEE Transactions on IntelligentTransportation Systems，13（3）：1088[11] 理查德岛哈特利和安德鲁·齐瑟曼。计算机视觉中的多视图几何。剑桥大学出版社，ISBN：0521540518，第二版，2004。[12] 北河，芮爱，杨岩，仙鹏浪。基于双视角卷积神经网络的车道线检测。在IVS，第1041-1046页[13] Brody Huval、Tao Wang、Sameep Tandon、Jeff Kiske、Will Song、Joel Pazhayampallil、Mykhaylo Andriluka、Pranav Rajpurkar、Toki Migimatsu、Royce Cheng-Yue、Fernando Mujica、Adam Coates和Andrew Y. Ng.深度学习 对 高 速 公 路 驾 驶 的 实 证 评 估 。 CoRR ，abs/1504.01716，2015。[14] Max Jaderberg，Karen Simonyan，Andrew Zisserman，Koray Kavukcuoglu.空间Transformer网络。参见NIPS，第2017-2025页[15] Jihun Kim和Minho Lee。基于卷积神经网络和随机样本一致性的鲁棒车道线检测。神经信息处理，第454-461页，2014年[16] Jiman Kim和Chanjong Park基于自动驾驶汽车顺序迁移学习的端到端自我车道估计。在CVPR研讨会，第1194-1202页[17] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[18] Seokju Lee ， Junsik Kim ， Jae Shin Yoon ， SeunghakShin ， Oleksandr Bailo ， Namil Kim ， Tae-Hee Lee ，HyunSeok Hong ， Seung-Hoon Han ， and In So Kweon.Vpgnet：消失点引导网络，用于车道和道路标记的检测和识别.在CVPR中，第1947-1955页，2017年。[19] Jun Li，Xue Mei，Danil Prokhorov，and Dacheng Tao.用于交通场景中结构预测和车道线检测的深度神经网络IEEE Transactions on Neural Networks and LearningSystems，28（3）：690[20] Fayao Liu，Chunhua Shen，and Guosheng Lin.用于从单个图像进行深度估计的深度卷积神经场。在CVPR中，第5162-5170页[21] Wei Liu ， Dragomir Anguelov ， Dumitru Erhan ，Christian Szegedy ， Scott Reed ， Cheng Yang Fu ， andAlexander C.伯格。Ssd：单发多盒探测器。In BastianLeibe ， Jiri Matas ， Max Welling ， and Nicu Sebe ，editors，ECCV，pages 21-37，Germany，1 2016. 斯普林格。[22] Hansp e terA. HeinrichH. Mallot Bülthoff，JamesLittle，andStefan Bohrer.逆透视映射简化了光流计算和障碍物检测。Biological Cybernetics，64（3）：177[23] A. Meyer，N. Salscheider，P. Orzechowski和C.斯蒂勒用于无地图驾驶的深度语义车道分割。在IROS，2018年10月。[24] 谢尔盖·内德维奇罗尔夫Schmidt，Thorsten Graf，RaduDanescu，Dan Frentiu，Tiberiu Marita，Florin Oniga，and Ciprian Pocol.基于立体视觉的三维车道线检测系统。在IEEE智能交通系统会议上，第161-166页[25] DavyNeven 、 BertDeBrabandere 、 StamatiosGeorgoulis、Marc Proesmans和Luc Van Gool。针对端到端车道检测：实例分割方法。CoRR，1802.05591，2018。[26] 加布里埃尔湖Oliveira，Wolfram Burgard，and ThomasBrox.用于单目道路分割的高效深度模型。在IROS，第4885-4891页[27] Xingang Pan ， Jianping Shi ， Ping Luo ， XiaogangWang，and Xiaoou Tang.空间一样深：用于交通场景理解的空间CNN。在AAAI，第7276-7283页[28] 波莫洛院长拉尔夫：快速适应横向位置的处理器。IVS，第506-511页，1995年9月[29] 放 大 图 片 作 者 ： Joseph Redmon ， Santosh KumarDivvala，Ross B. Girshick和Ali Farhadi你只看一次：统一的实时目标检测。在CVPR，第779-788页[30] Shital Shah 、 Debadeepta Dey 、 Chris Lovett 和 AshishKapoor。Airsim：用于自动驾驶车辆的高保真视觉和物理模拟。在现场和