基于形状匹配和嵌入的3D车道线检测算法

4291基于形状匹配和嵌入的三维车道线检测算法刘瑞鑫，关志豪，袁泽健中国西安交通大学人工智能与机器人研究所{sweetyldingyuan，duduguan} @ stu.xjtu.edu.cnyuan.ze. xjtu.edu.cn刘敖，周彤，唐坤，李二龙，郑超，梅树琪，腾讯地图，腾讯，中国{allliu，kyriezhou，kunntang，erlongli，chrisczheng，shawnmei} @ tencent.com摘要基于LiDAR点云的3D车道检测是一项具有挑战性的任务，需要精确的位置，准确的拓扑结构和可区分的实例。在本文中，我们提出了一个双层次的形状注意力网络（DSANet），具有两个分支的高精度3D车道预测。具体地，一个分支预测细化的车道段形状和对近似车道实例形状进行编码的形状嵌入，另一个分支检测车道实例的粗粒度结构在训练阶段，引入两级形状匹配损失函数，对两个分支输出的形状参数进行联合优化，简单有效，提高了训练精度。此外，提出了一种形状引导的路段聚集器，根据不同层次预测的实例形状差异，帮助局部路段聚集成完整的车道实例在我们的BEV-3DLanes数据集上进行的实验表明，我们的方法优于以前的方法。1. 介绍基于LiDAR点云的3D车道检测是自动驾驶的一项重要视觉感知任务，它提供了厘米级的位置、精确的几何形状以及本车道和相邻车道的实例级信息由于其大量的实际应用，如车道偏离警告[19]、车道保持辅助、车辆导航和高清（HD）地图构建[9]，引起了极大的关注。近年来，高精度的三维车道线检测仍然是一个挑战。大多数以前的研究是在RGB图像上进行的[22，10，14，4，12]，通常基于前视图。然而，相机此外，车道存在于各种细长形状（直线、多段线、曲线等）和复杂的拓扑结构（分叉、合并等），从正面观看普通情况进行遮挡。与图像相比，点云可以完全保留3D场景的准确原始几何信息，因此，稀疏和不规则的点云被编码到结构化鸟瞰现有的研究通过深度学习技术取得了重大基于分割的方法[22，30，17，21]推断逐像素分割图，需要密集的注释和繁琐的后处理。基于锚点[13，5，26，24]的方法参考预定义的锚点预测车道形状，这使得远离锚点的预测不准确。基于参数的[15，27，4]方法设计整体车道形状模型，具有快速推理和无需后处理，但精度优势较小。作为替代方案，基于网格的方法[23，18，14，10]通过灵活的稀疏点回归消除冗余预测。这种方法通过测量嵌入特征的相似性[10]或具有最高空间相关性的特征[24]来聚类车道点。然而，初始聚类中心的随机性对聚类结果有很大的影响。在这项工作中，我们设计了一个双层次的形状注意力网络（DSANet）的两个分支，它既侧重于局部结构的车道和全球车道形状。一个分支检测车道段形状，并且预测对车道的近似形状进行编码的对应形状嵌入。另一个分支关注车道的全局信息并预测车道实例形状。提出了形状匹配和嵌入损失函数，共同优化形状参数，有效提高了训练速度和车道线拟合精度。更重要的是，由全局实例形状（即，形状引导片段聚合器）是4292建议利用我们的DSANet的输出，以有效地聚合段的形状，并确定车道实例的数量。我们通过对自采集的三维点云数据集BEV-3DLanes进行对比实验和消融研究，在更严格的厘米级距离阈值下验证了我们方法的有效性我们的数据集上的实验表明，我们的方法优于以前的国家的最先进的方法具有出色的准确性，特别是在更高的精度标准。我们工作的主要贡献可以概括如下：• 我 们 开 发 了 一 种 新 的 双 层 形 状 注 意 力 网 络（DSANet），它具有两个分支，融合了局部和全局层面的上下文信息，以检测高精度的3D车道。• 提出了简单有效的车道形状双层表示和相应的形状匹配约束，分别预测细粒度路段形状和粗粒度实例形状。• 设计了一个形状引导的片段聚合器，将柔性片段聚类成实例，实例形状作为显式聚类中心。2. 相关工作本节讨论现有的基于LiDAR和基于图像的车道检测方法。传统的方法主要依赖于手工制作的特征（基于颜色[3]，强度值[7]，边缘[11]等）。和强先验知识[16]，缺乏对可变场景的鲁棒性。最近，基于深度学习的方法在准确性和速度方面都表现出了优异的性能，大致可以分为以下几种模式。基于分割的方法。这些用于图像[2，22，20，30]和点云[17，21]的方法将车道检测视为逐像素语义分割任务，其为每个像素分配车道或非车道的标签。LoDNN [2]利用FCN来扩大感受野，并预测俯视图的道路置信度图。SCNN [22]和LLDN-GFC [21]将车道检测视为多类分割问题，预测每个车道类别的概率图，并使用启发式技术进行聚类和车道拟合。基于分割的方法需要密集的注释，冗余的预测和繁琐的后处理，具有相当大的时间和计算成本。相比之下，我们的方法简化了架构，以一个轻量级的，但有效的形式与网格级的预测和准确的形状匹配。基于网格的方法这样的方法遵循类似于语义分割的网格方式，在每个网格内进行细粒度的本地化回归。由于网格间约束较弱，因此预测是灵活的。UFAST [23]将车道线检测公式化为具有全局特征的基于行的选择方法，实现了快速的速度。CondLaneNet [14]提出了一个自顶向下的框架，该框架利用提案头和条件卷积来获取实例判别。受人类姿势估计的启发，PINet [10]利用堆叠的沙漏网络来预测网格关键点和嵌入特征，并通过测量嵌入特征之间的相似性将点聚类到实例HRAN [8]利用分层递归网络，从自上而下的BEV LiDAR图像迭代预测车道边界的初始区域和顶点序列。大多数基于网格的方法无法避免后处理。为了将稀疏点聚类到单个实例中，它们测量没有物理意义的隐式嵌入特征的相似性，或者通过具有最高空间相关性的特征迭代搜索邻居。作为一种改进，该方法将丰富的局部几何信息集成到每个网格中，以预测精确的车道段形状，并设计了一个嵌入相应实例形状的低维特征进行分组。其 他 方 法 。 一 些 方 法 ， 如 Line-CNN [13] ， 3D-LaneNet [5]和LaneATT [26]回归偏移，以使用预先设计的锚点优化车道形状。其他方法（如PolyLaneNet[27]和LSTR [15]）通过多项式表示对车道形状进行建模，并预测重新制定的多项式回归问题的参数。此外 ， DAGMapper [9] 制 定 了 一 个 有 向 无 环 图 模 型（DAG），以递归地推断旋转区域内车道的定位、拓扑和状态这些方法中的一些是后处理免费的，但强大的形状先验假设阻止他们拟合复杂的场景。我们的DSANet灵活地为每个网格回归精确的段形状，这适用于复杂的拓扑结构和具有高曲率的车道。3. 方法本节定义了遵循部分到整体策略的车道检测问题：检测小片段并将它们分组为完整的实例，其中考虑局部和全局上下文。具体而言，我们提出了一个自下而上的方法，集中在车道形状在两个层次上，我们引入形状匹配和嵌入损失函数的联合优化。此外，还介绍了形状引导的片段聚集器，它将片段聚集成实例.3.1. 双层车道形状表示双层车道形状表示分别描述局部细粒度段形状和全局粗粒度实例形状。4293∈F×FRRRR×HW××(a)（b）第（1）款l=（x l，y l，l l l，θ l），其中（x l，y l）是直线段w.r.t. ll和θl分别是它的长度和弧度。3.2. 双层形状注意力结构我们提出的DSANet的整体架构如图2所示，其中包含由CNN和自注意（SA）模块组成的共享骨干，以及用于双粒度通道形状的两个分支。骨干我们的主干由CNN和自我注意模块组成。给定I，ResNet18 [6]用于提取编码高维空间的低分辨率特征Fc图1.双层车道形状表达，以红色标记（a）：线段形状表示是在网格坐标系xg-og-yg中定义的、近似网格内的局部车道的直线线段. (b)：实例形状表示是连接完整车道起点和终点的直线段，在图像坐标系xi-oi-yi中定义。线段形状表示。用灵活的网格表示法定义局部车道段形状。给定一幅由聚集LiDAR点云投影得到的伪BEV图像I R H×W×4，I被划分为大小为r的网格r，总共产生HW非重叠网格。对于每个网格，可以存在由矢量s=（xs，ys，zs，ls，θs）表示的小车道段，其中xs和ys是到网格原点的偏移，ls和θs是长度和弧度，并且zs是3D空间中的高程，如图1（a）所示，用红色标记。具体地，车道段被近似为通过（xs，ys）的直线段，其通过对最靠近网格中心的点进行采样而获得。ls和θs是红色切线的性质。与直接检测稀疏点的常用网格方法相比，路段形状表示可以补充更多的局部车道形状细节。形状嵌入表示。对于每个网格，引入与片段形状相关联的4通道形状嵌入e=（xe，ye，le，θe），将可区分实例的形状外观编码到具有物理意义的低维特征空间中，该特征空间指定片段可能属于的实例。（xe，ye）定位近似车道实例的直线段的中心点，le和θe是长度和弧度。与常用的嵌入特征[10，24]相比，由于对物理实例形状的联合约束，e实例形状表示。由于粗略描述足以区分车道实例，因此车道实例形状近似为连接其起点和终点的直线段，如图1（b）所示，用红色标记。全局通道实例可以表示为重要信息由于车道需要全局上下文信息，由于其细长的形状和长的范围，自注意模块堆叠在CNN之后，以更好地捕获全局相关性。c被发送到自注意模块，以用位置信息补充融合特征，并且自注意模块的输出序列被重新整形为用于两个分支的s线段形状分支。段形状分支回归网格级段形状和形状嵌入由两个解耦的头使用细化的特征图。一方面，车道段（LS）头预测准确的网格内车道位置和段形状。更具体地，LS头输出大小为6的网格级地图，其中第一通道是一组分段exis。置信度Cs指示是否存在车道段，其余通道分别对应于段s的5个形状参数，其集合写为S。另一方面，形状嵌入（SE）头预测路段可能属于的车道实例的形状参数估计，表示为E。实例形状分支。 实例形状分支通过几个CNN和具有简单2层感知的前馈网络（FFN）来预测全局实例形状。为了预测可变数量（

下载后可阅读完整内容，剩余1页未读，立即下载