没有合适的资源?快使用搜索试试~ 我知道了~
基于车道的自动驾驶轨迹预测及性能优化
17134LTP:基于车道的自动驾驶轨迹预测王静克1*,叶腾菊1*,顾自清1,2,陈俊波1<$1阿里巴巴集团2清华大学{jingke.wjk,tengju.ytj}@ alibaba-inc.com,junbo. taobao.com@ gmail.com摘要合理预测周围交通参与者的轨迹特别是,由于未来的多种可能性,如何预测多个可能的轨迹仍然是一个具有挑战性的问题。基于建议的预测方法通过两阶段方法解决多模态问题,通常使用意图分类,然后是运动回归。本文提出了一种基于两阶段建议的运动预测方法,该方法利用切片车道段作为细粒度的、可共享的 和 可 解 释 的 建 议 。 我 们 使 用 Graph 神 经 网 络 和Transformer来编码地图子图和智能体子图之间的形状和交互信息。此外,我们提出了一个基于方差的非最大值抑制策略来选择代表性的轨迹,以确保最终输出的多样性。在Argoverse数据集上的实验表明,该方法的性能优于现有方法,基于车道段的建议和基于方差的非最大值抑制策略都有助于提高性能。此外,我们证明了所提出的方法可以实现可靠的性能与较低的碰撞率和较少的越野场景中的闭环仿真。1. 介绍预测周围智能体的可能轨迹是自动驾驶的一个关键问题,也是一个具有挑战性的问题,特别是在未来可能性不确定的多模式交通场景早期的方法[11,16]仅学习确定性轨迹,导致多模式场景中的输出平均,也称为模式崩溃问题。提出了概率方法[2,4],通过对具有概率偏差的不同轨迹进行*这些作者对这项工作的贡献是相同的。†通讯作者。分配(例如,GMM)。然而,这些方法的预测轨迹的可解释性差,严重依赖于预定义的分布。为了解决上述多模态问题,基于建议的方法[8,14,24]将轨迹预测问题解耦为基于分类的意图预测和基于回归的运动预测。一些作品[8,24]人为地对每个可预测代理唯一的目标点进行采样,作为建议,这些建议不能被其他可预测代理重用。Lapred [10]利用完整的车道作为建议,使得很难对细粒度的意图进行因此,选择能够(i)准确地建模意图,以及(ii)在所有代理之间共享的建议至关重要。此外,如何选择具有代表性的轨迹也是一个至关重要的问题。基于提议的方法基于提议生成候选轨迹的集群。输出仅按预测建议的概率排序的top-k轨迹是有缺陷的,因为一些inten- tions虽然概率略低,但对于安全性非常关键。传统方法采用非最大值抑制(NMS)算法,给定一个固定的阈值,将阈值区域外的轨迹依次选择到然而,固定的阈值不能平衡准确性和多样性.因此,一些方法[7,8]试图通过基于优化的方法输出多个轨迹,导致复杂的工作流程和增加的计算成本。在本文中,我们提出了一种新的基于车道的轨迹预测(LTP)方法的自动驾驶。我们认为,没有必要任何复杂的手工制作的建议,因为在地图中的车道段是适合的意图建模的性质的建议。使用车道段作为建议有三个优点:(i)每个车道段明确表示细粒度的意图。车道段可以表示战术级别的意图,例如“超车变权”或“停车变权”。而使用整个道路车道作为建议的方法只能学习“左转”或“右转”等道路级别的意图。[10](二)相互作用:1217135可以很好地捕获车道段和代理之间的关系。当学习与地图的交互时,车道段的表示将自然地通过网络。因此,它将生成更具信息性的嵌入,而不像TNT [24]那样直接将未学习的点级建议连接到代理嵌入。(iii)基于车道段的建议可以在代理之间共享。车道段独立于代理,这意味着一旦通过主干学习,车道段的嵌入是固定的,无论要预测多少代理。只需将代理和车道段的嵌入连接起来,就可以预测同一场景中的不同代理,而不像DenseTNT [8]需要学习不同代理的唯一建议嵌入。基于这些建议,我们的方法预测哪个车道段将是未来的目的地,并回归相应的轨迹。此外,我们发现,学习车道段概率得分的方差表示模型对当前情况的不确定性。为此,本文提出了一种基于方差的NMS方法,该方法根据top-k预测得分的方差动态调整NMS阈值,实现了准确性和多样性的平衡。本文的贡献总结如下:• 提出了一种基于车道线的外显意图建模轨迹预测方法,该方法以车道线段为建议,一次性预测所有智能体• 提出了一种新的基于方差的NMS算法,该算法根据预测输出的不确定性动态调整NMS阈值,实现了准确性和多样性的平衡。• 在Argov- erse预测基准上,我们的表现优于所有已发表的方法。我们还表明,所提出的LTP可以实现可靠的性能作为一个规划师在闭环仿真。2. 相关作品轨迹预测问题主要包含三个子任务:表示环境、学习交互和生成多模态输出。我们在本节中回顾了一些相关的工作。国家代表。表示地图和智能体的状态对于在运动预测任务中提取有效特征至关重要。一组典型的方法将状态呈现为具有鸟瞰视图的多通道光栅化图像[2,4]。卷积神经网络(CNN)[22]是一种常见的选择,主要关注空间特征。然而,栅格化表示导致准确性损失并且遭受捕获空间上远距离的相互作用。最近,图形架构引起了人们的广泛关注,例如VectorNet [5]和LaneGCN [13],利用GNN对高清(HD)地图进行编码并生成矢量化表示。我们从两者中获得灵感,而不同之处在于我们通过连接的车道段来描述同时,车道段也可以用作意图建议并在智能体之间共享。交互建模。未来的轨迹很大程度上受到相关代理和环境之间复杂但微妙的相互作用的影响。随着自然语言处理的发展,引入注意力机制[21]来捕获长期关系。在运动预测领域中,已经采用各种基于注意力的方法来对不同级别中的关系进行建模:空间级别、时间级别和实体级别(例如,道路元素、代理轨迹)。VectorNet [5]引入了一个统一的自注意力模型来直接学习环境中所有子图之间的交互,但它缺乏更详细的交互建模。目标导向的车道注意力[15]被提出来强调智能体和车道之间的关系,而注意力被应用于道路级别,这使得难以对细粒度的交互进行建模。此外,LaneGCN [13]使用分裂-联合注意力机制对参与者和通道之间的四种类型的交互进行建模,该机制有效地捕获了通道图的复杂拓扑和长期依赖性。受VectorNet的启发,我们还使用注意力模型对交互进行建模。与VectorNet不同的是,我们利用自注意和交叉注意来处理来自不同领域的信息,并引入多层注意来融合学习到的嵌入。多模式输出。预测模型应输出多模态轨迹,以适应环境不确定性[4,15,19]。相关工作主要采用两类方法:隐式地将多模式建模为潜在变量,以及利用模型或先验知识显式地生成多个引导方案。具体来说,former训练高斯混合模型(GAN)[2]或混合密度网络(MDN)[17],在可能的轨迹上生成一个分布,然后利用VAE或GAN [2,9,12]从潜在变量中采样不同的未来模式。缺点在于可解释性,使得难以保证与人类理解的每个显式意图相关联的概率基于提议的方法设计了不同的提议,以将预测问题解 耦 为 意 图 预 测 和 运 动 预 测 。 区 域 级 建 议 由mmTransformer [14]提出,但这些建议依赖于人工预定义的区域,最终性能对建议的数量敏感一些方法[8,24]围绕车道中心线对建议点进行采样,因此17136,,设为c=c,j∈[1,N]. N控制分辨率A{}联系我们我我我、、、IN×K真实世界状态表示形状编码器×N相互作用编码器图1. LTP体系结构:(1)首先将矢量化的车道段和智能体轨迹输入到形状编码器以提取形状特征。(2)自注意和交叉注意层用于捕捉地图信息和智能体信息之间的长期交互(3)目标代理嵌入与地图中的每个车道段嵌入连接,并输入到分类头和回归头。分类头预测哪个车道段更可能是目的地,并且回归头生成每个车道段的轨迹(4)提出了一种基于方差的NMS算法,用于从生成的所有轨迹中选择具有代表性的轨迹可以很好地捕捉到详细的意图。然而,他们的抽样依赖于人为设计的规则。不同的代理人不能共享建议,所以算法只能预测每个代理人串行。LaPred [10]提出了一种车道感知预测方法,该方法使用车道作为对车辆意图建模的建议。但是它直接输入整个车道,使得不可能对细粒度的意图进行与上述方法不同的是,我们使用地图中的车道段作为建议,它可以清晰地描述智能体的细粒度意图,并在全球范围内为了从所有预测轨迹中选择代表性轨迹,NMS广泛用于基于建议的方法中。TNT [24]和mmTransformer[14]采用传统NMS作为模型输出后的选择器。然而,它是困难的,ficult平衡精度和多模态输出与一个固定的NMS阈值。引入基于优化的方法来选择轨迹的端点[7,8]。DenseTNT [8]进一步设计了一个网络来学习优化结果。但预测系统仍然很复杂,计算量也增加了。本文提出了一种基于方差的NMS算法,该算法可以根据模型对场景的不确定性动态调整NMS阈值,兼顾了准确性和多模态性。3. 方法我们的LTP的架构如图1所示,我们将在本节中介绍详细信息。3.1. 环境表示受VectorNet [5]的启发,我们将车道段和智能体历史轨迹表示为连接的向量首尾相连与VectorNet的不同之处在于,我们的地图由切片的车道段组成,以精确地对意图进行建模。具体地说, 给定 一个 环境 场景 E:在哪里 =C i表示场景中的车道段,并且表示所有代理的优先级。如果车道短于5 m,则每条车道中心线线段ci的长度被缩短至5 m或更短,J我地图上的每个cj描述5米车道的一部分,定义为[sx,sy , ex , ey , th , le , ty] , 其 中 ( sx , sy ) 和(ex,ey)是矢量的起点和终点,th和le表示矢量的航向角和长度,ty表示地图元素的类型,例如中心线或边线。类似地,对于每个代理轨迹,ai=aj,j∈[1,T],其中T表示总步骤在矢量y中,每个aj描述构成轨迹的矢量,定义为[sx,sy,ex,ey,th,le,ty,ts]。 前六个维度的定义和cj 相 同。ty表示代理的类型,例如车辆或骑自行车的人。此外,ts描述了相对于当前帧的绝对时间,以克服由数据采集频率抖动引起的噪声。3.2. 嵌入提取形状编码器。由于场景中通常有大量的车道和智能体,因此有必要首先聚合每个子图的局部信息这里我们遵循VectorNet对局部形状特征进行编码,它借鉴了PointNet [20]的思想,将一个车道段或智能体的所有信息编码到一个固定长度的嵌入中方差NMS轨迹分类评分轨迹回归分类头…回归水头…地图嵌入代理嵌入……映射子图代理子图中心线段地面实况目标代理周边代理…地图特征…agentfeat联系我们+联系我们伊联系我们+的联系我们17137--P我P我--我J12P(2)第一章K(3)第一章K通过一个完全连接的图形神经网络。对于具有其向量节点v 1,v 2,.的每个向量(即上面的c i或a i),VP,局部形状编码器的每一层被定义为:v(l+1)=φrel.gen c(v(l)),φa g.,genc(v(l)),语法,(1)其中v(l)是第l层的输入,并且vj是与viin连接的其他向量。 我们对待每个子图是完全连接的φrel是特征级联操作,genc是多层感知(MLP),φagg是最大池化操作。 最后,对于输出嵌入,{vo,vo,.,vo},max-pooling用于进一步生成独特的嵌入,整合了整个图像的形状信息。全局交互建模。通过形状编码器,我们为每个车道段和智能体生成一个嵌入。在此基础上,引入了一个多层注意力网络来捕捉智能体与车道段之间的全局交互,条款。给定任意特征矩阵O,U和它们的线性投影OQ , OK , OV 和 UQ , UK 和 UV , Self Attn ( O ) 和CrossAttn(U,O)被定义为:图2.基于方差的NMS方法示意图我们根据模型预测的不确定性动态调整NMS阈值R剂 然后将ei输入到分类头中进行预测自Attn(O)=Softmax(OQOT)K每个意图的概率和基于意图的回归运动轨迹。因为cj是独立的-CrossAttn(U,O)=Softmax(OQUT)KDent的建议,它只需要连接不同的代理嵌入与车道段在一起,以便预测未来的轨迹,多个代理并行。车道段分类。 我们使用三层MLP其中k是密钥向量的维数我们设计了一个多层交叉注意网络来模拟智能体和车道段之间的对于每个层l,通过Self Attn和CrossAttn操作融合嵌入A(l)的代理和嵌入C(l)的对每个车道段进行评分并预测其是否是代理的未来目的地。因此,它成为一个二元分类问题,为每个车道段。在开始训练之前,我们设计了一个函数f来对车道段进行评分单位设计为(1+1)=自助(A(l))+CrossAttn(C(l),A(l) )、(4)f=α1oi−li+α2|θoi−θli|+α3sin|θoi−θli|. (6)第一项测量两个物体之间的笛卡尔距离(1+1)=自助(C(l))+交叉联系人(A(l)、C(l))的情况。(五)轨迹终点Oi和车道段的中心点Li。第二项测量的是3.3. 多模态弹道预测道路车道是为引导车辆而设计的,因此它们在预测车辆的运动中起着关键作用。一旦车道段已知,就容易基于目标车道段回归轨迹因此,设计了一个两阶段的轨迹预测框架,首先对车道段进行分类,然后基于不同的目标车道段预测方向轨迹我们将目标智能体的嵌入ai与地图中所有车道段的嵌入cj连接起来,合并为张量ei=[ai,c0],[ai,c1],.,[ai,cM]. ei中的每一个元素都代表了目标的一种意图智能体航向θoi和车道段的方向θli,最后一项惩罚轨迹航向垂直于车道方向的情况分数小于D的车道段被标记为地面实况,以提供密集监督。轨迹回归。 回归头也是一个三层MLP. 对于ei的每个元素,将生成一个预测每个预测轨迹被定义为[x0,y0,x1,y1,., x T,y T],其中T是预 测 的最大时间步长,0. 1秒间隔。损失函数我们的损失函数由三项组成,即分类损失Lclf、回归损失Lreg和多样性损失Ldiv。对于M通道的分类输出一C17138ΣNT(a)交叉路口(b)斯普利特公路(c)超车(d)出车道(e)加快10m目标代理周围的代理预测轨迹地面真相中心线分段低高预测概率(a)交叉路口(b)斯普利特公路(c)超车(d)出车道(e)加快目标代理周边代理低注意力得分高中心线线段低注意力得分高图3.(上图)Argoverse验证集中的预测轨迹。 车道段上的紫色阴影代表分类得分的水平,这证明LTP可以在具有挑战性的场景中给出可解释的预测。(下)与上层场景对应的注意力地图。颜色的深度表示目标智能体对每个车道段和周围智能体的关注程度。我们可以看到,与目标代理具有更高交互的周围代理受到了更多的关注。对车道段的关注表明模型已经学习了正确的道路拓扑连接。段p0,p1,...,p M,分类损失函数定义为:MLclf=−(yilogσ(pi)+(1−yi)logσ(1−pi)),(7)i=1其中,如果第i个车道段是地面实况,则yi为1,并且3.4. 基于方差的非最大值抑制如图2所示,当模型不确定其预测时,概率值将被平均。而当智能体的未来轨迹被确定时,前6个分类的变化将很大。在此基础上,我们设计了一个自适应阈值函数,0否则。σ是sigmoid函数。对于回归轨迹τ1、τ2、…τN,回归损失函数被定义为十个10. max(kvar(p),γ1),γ2),(11)L=1SmoothL1Loss(τ,τ),(8)其中var(p)是前6个概率的方差,γ1和γ2是阈值的上限和下限,并且regNi=1i gtk是常数。利用计算的阈值,我们从生成的轨迹clus中选择轨迹其中τgt是地面实况轨迹,其确保预测轨迹与所提供的车道段的接近度。此外,为了生成多样化的轨迹,我们设计了一个多样性损失的轨迹=τ1,τ2,.,从前6个最高得分车道段生成的τ6,div= min SmoothL1Loss(τ,τ gt)。(九)τ∈T最后的损失函数是上述三项的加权相加,损失=λ1Lcls+λ2Lreg+λ3Ldiv,(10)其中λ1、λ2和λ3实际上被设置为0.5、1.0和1.0L17139按概率降序排列。当选择一个轨迹时,从其端点开始的其他轨迹将被丢弃。通过这种低成本设计,输出轨迹的密度将取决于模型的不确定性,从而兼顾精度和多样性。4. 实验4.1. 实验设置数据集。 我们在Argoverse数据集和我们的内部数据集上评估我们的方法。Argoverse运动预测数据集为轨迹预测提供了一个常用的基准,由205942个训练集的轨迹组成,17140−10m图4.我们内部数据集的预测结果。橙色车辆是用于数据采集的自动驾驶车辆(SDV)。黑色曲线表示周围代理的历史轨迹,红色曲线是其地面实况轨迹。蓝色、青色和绿色曲线分别是行人、骑自行车者和车辆的预测未来轨迹为了简单起见,我们只显示前1个轨迹。注意,利用统一的车道段作为地图表示,对所有周围智能体的预测可以并行工作b-minFDE6minFDEkminADEkk=1K=6k=1K=6Vnet [5][10]第10话\2. 144.01\3.29 1.441.81\1.48 0.71TNT炸药[24]4.95 1.452.17 0.91LGCN [13]2.053.78 1.361.70 0.87[14]第十四话2.03四点三四1.77 0.84DNT [8]1.983.63 1.281.68 0.88[第18话]1.894.051.231.810.80Gohome [6]1.863.68 1.291.70 0.89我们1.8563.551.291.620.83表1.与Argorse Leader Board中的SOTA进行比较Lapred的结果来自验证集。验证集有39,472条轨迹,测试集有78,143条每个轨迹分为两部分,过去2秒作为输入,未来3秒作为标签。该数据集是在迈阿密和匹兹堡的公共道路上收集的,只需要预测车辆。我们从校园道路收集了一个内部数据集,以进一步评估我们的方法,由7,897,558个轨迹组成,包括1,331,862辆汽车,1,962,140骑自行车的人,和4,603,556行人。我们的地图格式和轨迹持续时间与Argoverse数据集一致。不同的是,我们的内部数据集主要关注校园道路和拥挤的交通。在实验中,两个数据集的数据和模型没有以任何形式混合。指标. 我们遵循Argoverse基准在CVPR-2021竞赛中使用的指标。对于2021年的比赛,排行榜按brier最小最终位移误差(b-minFDE6)排序,其定义为(1. 其中p对应于最佳预测轨迹的概率,并且minFDE6是6个候选轨迹的最佳预测轨迹的端点与地面实况之间的L2我们还报告了测试集中的度量minFDE6,minADE6,FDE1,ADE1,对应于top-6和top- 1轨迹的最终点位移误差和平均位移误差4.2. 结果Argoverse数据集。 我们将LTP与最近在Argoverse测试集上发表的几种最先进的(SOTA)方法进行了比较,并在表1中报告了结果。LTP优于最近公布的所有方法的主要官方指标b-minFDE6.此外,我们的模型实现了类似的结果在其他指标项。与最近的基于建议的SOTA方法[8,10,14,24]相比,我们的方法在几乎所有指标上都取得了领先。请注意,Lapred [10]图3显示了LTP在Argoverse验证集上生成的定性结果。实验结果表明,LTP在多模式场景下可以产生多个合理的轨迹该模型可以预测慢速运动场景中不同意图的轨迹,如减速等待或加速超车。此外,LTP在具有挑战性的场景中预测准确和多样化的轨迹,例如驶出车道和突然加速。注意力分数的可视化进一步表明,该模型学习地图的拓扑关系和智能体之间的交互当跟随慢速车辆时,模型将密切关注前方车辆、远处的超车车道段和前方跟随车道段,例如图3所示的超车场景。内部数据集。表2显示了我们内部数据集的结果,这表明我们的模型可以对不同类型的代理实现准确的预测图4显示,LTP可以为自动驾驶车辆周围的各种代理生成合理的轨迹,历史:地面真相:预测:行人骑车车辆SDV:17141类型Top-1 (m)前六名(m)FDEAdeFDEAdeAgent中心PEDCycVeh0.641.632.190.320.730.990.380.861.150.200.390.52自我中心PEDCycVeh0.661.682.270.330.751.020.400.891.180.210.410.54表2.在我们的内部数据集上,在以主体为中心和以自我为中心的坐标系中,对行人(Ped)、自行车(Cyc)和车辆(Veh)的LTP预测结果。模型。请注意,我们内部数据集中坐标系的原点是我们自我自动驾驶车辆的当前位置预测过程可以与共享的编码器骨干并行工作,这显著地提高了预测效率。实验表明,在以自我为中心的坐标系中的预测精度与以代理为中心的坐标系相当。模型大小和计算时间。模型大小和计算时间比较见表3。我们从Ar- goverse验证集中选取了具有多个可预测智能体的场景进行实验,比较了推理时间与可预测智能体数量之间的关系。考虑到基于GNN的方法的时间消耗与场景的复杂度有关,我们在100个场景中进行了测试,并取平均值作为结果。实验结果表明,LaneGCN的模型消耗和时间消耗最大。当代理数为1时,VectorNet和TNT的时间消耗较小,但当代理数为8时,VectorNet和TNT的时间消耗大于LTP(Para)。LTP处于中等水平表3.模型参数和时间消耗与SOTA方法的比较。LTP(Seq)是以Agent为中心的坐标系统,按顺序预测每个Agent的LTPLTP(Para)代表具有自我中心坐标系的LTP,并且并行地预测场景中的所有代理。n表示在同一场景中要预测的代理Vnet和TNT是我们自己实现的。时间数据是用10G内存的GeForce RTX 3080显卡测试车道AttnNMSTop-1 (m)前六名(m)FDEAdeFDEAde整个3.711.661.610.9610m5mC-4没有3.031.381.300.872.811.291.230.852m2.911.341.250.865m没有没有3.661.681.400.90C-13.071.401.340.86C-42.811.291.230.855mC-4修复2.811.291.140.80ADAP2.811.291.070.78表4.车道段长度、注意方法和NMS政策的消融。C-N是Cross-attention with N layers的缩写。在模型规模方面,它是水平的,但在FDE和minFDE6结果上优于其他同时,在以自我为中心的坐标系下,LTP(Para)可以并行地预测周围的智能体,这使得它的规模随着要预测的智能体数量的增加而增加。4.3. 消融研究为了证明LTP中的每个模块对最终结果的贡献,我们进行了消融研究,如表4所示。所有的烧蚀实验都是在Ar- goverse验证集上进行的,我们主要验证了车道段长度、注意模块和NMS算法的作用车道段长度的影响。为了验证车道段长度的影响,我们将车道分为10m、5m、2m和不拆分的结果进行了比较。实验结果表明,不拆分车道比拆分车道更糟糕。以5m的间隔进行分割表现最好,这考虑了细粒度的意图,同时保持提议的数量不太多。注意力模块的影响。实验表明,由于车道段嵌入和智能体嵌入的串联,该模型即使在没有注意力的情况下也能很好地学习预测结果,尤其是在top6指标上。还可以看出,更深的注意力层显示出更大的潜力,这表明该模型可以学习具有更深网络的智能体与地图之间的更多隐式交互NMS政策的影响。我们比较了不使用NMS、使用固定半径的NMS和使用自适应NMS这三种方法对于后两种方法,我们手动调整阈值并报告最佳结果。结果表明,基于方差的NMS从候选轨迹聚类中选择更具代表性的轨迹,并显著改善了minFDE6结果。4.4. 闭环仿真Vanilla Closed-loop inference. 轨迹预测问题类似于模仿学习中的行为克隆方法ParamsFDEk(m)推理时间(毫秒)k=1K=6n=1n=4n=8LGCN3.7M2.961.0843.0179.1356.2Vnet179K3.30-3.615.029.4TNT二十六万九千3.951.294.516.833.5LTP(Seq)1.1M2.811.0711.445.292.017142图5.LTP(上图)和VectorNet(下图)在闭环实验中的比较最左边的图是测试地图,它是迈阿密地图的一红色路径是从全局角度看两个方法遍历的路径。颜色越亮代表速度越快。右图显示了LTP可以生成高质量轨迹的场景,而VectorNet不断进入不可驾驶区域。ing. 一个自然的想法是预测模型是否可以用于轨迹规划。然而,模仿学习中的分布漂移[3]问题会导致预测轨迹自适应地偏离车道因此,要完成闭环地图漫游,需要对地图有深刻的理解,而不是简单地跟随过去的轨迹趋势。为了测试LTP的闭环规划能力,我们从Argoverse的Mi-ami映射上的随机起始点给出2s初始轨迹,并让LTP利用其自己的预测轨迹作为输入来连续图5显示了我们的规划结果的比较方法和VectorNet在未来的300秒。实验中,LTP算法能够高质量地完成地图的闭环漫游,而Vec torNet算法的轨迹则不断进入不可行驶区域。成本量优化。 我们采用了成本体积优化的方法,以进一步降低碰撞率在密集的交通。通过在vanilla闭环推理中的实验,我们发现LTP能够在空地图中完成安全漫游受先前工作[1,23]的启发,我们将其他车辆的多模型预测累积到成本卷中。我们还预测多模型轨迹自我车辆的候选人和搜索的最佳自我车辆轨迹与最低的成本在成本量。我们在1000个来自我们内部数据集的具有挑战性的驾驶日志中测试了该模型,并比较了单帧和整个行程的碰撞率。整个行程由大约40帧组成,并且只有所有帧不碰撞的行程才是安全行程。比较结果示于表5中,定性结果示于图6中。我们可以看到,我们的多模型预测产生的成本量大大提高了避障仿真结果表明,LTP在仿真和闭环导航中具有很大的应用潜力0s3sSDV:计划轨迹:成本量图6.在密集交通中使用成本体积的闭环模拟帧碰撞发生率(%)行程碰撞发生率(%)无成本量5.265.0成本量0.717.2表5.LTP的帧碰撞率和行程碰撞率5. 结论我们提出了一种基于车道的轨迹预测方法,称为LTP的多模态预测。所提出的方法利用切片车道段,以实现准确的,可解释的,和有效的轨迹预测。我们证明了所提出的LTP的有效性与实验Argoverse运动基准和我们的内部数据集。此外,我们证明了闭环规划能力的建议LTP,与可靠的perfor-曼斯在闭环仿真实验。6. 确认这项工作得到了阿里巴巴集团通过阿里巴巴研究实习生计划(AIR)的支持。17143引用[1] Sergio Casas Abbas Sadat和Raquel Urtasun Mp3:一个统一的模型来映射,感知,预测和计划。在IEEE/CVF计算机视觉和模式识别会议上,第14403-14412页,2021年。8[2] 柴玉宁、本杰明·萨普、马扬克·班萨尔和德拉戈米尔·安格洛夫。多路径:用于行为预测的多个概率锚轨迹假设。arXiv预印本arXiv:1910.05449,2019。一、二[3] F. Cod e villa,E. Santana 、AML o'pez和A. 盖顿探索行为克隆用于自动驾驶的局限性。IEEE,2019。8[4] Henggang Cui , Vladan Radosavljevic , Fang-ChiehChou,Tsung-Han Lin,Thi Nguyen,Tzu-Kuo Huang,Jeff Schnei-der,and Nemanja Djuric.使用深度卷积网络进行自动驾驶的多模式轨迹预测。2019年国际机器人与自动化会议(ICRA),第2090-2096页。IEEE,2019。一、二[5] Jiyang Gao,Chen Sun,Hang Zhao,Yi Shen,DragomirAnguelov , CongcongLi , andCordeliaSchmid.Vectornet:从矢量化表示编码高清地图和代理动态。在IEEE/CVF计算机视觉和模式识别集,第11525二、三、六[6] 托马斯·吉勒,斯特凡诺·萨巴蒂尼,德米特里·齐什库,博格丹·斯坦丘列斯库,法比安·穆塔尔德. Gohome:面向图形的热图输出,用于未来的运动估计。arXiv电子印刷品,第arXiv-2109页,2021年。6[7] 托马斯·吉勒,斯特凡诺·萨巴蒂尼,德米特里·齐什库,博格丹·斯坦丘列斯库,法比安·穆塔尔德. Home:用于未 来 运 动 估 计 的 热 图 输 出 。 arXiv 预 印 本 arXiv :2105.10968,2021。第1、3条[8] 顾君如,孙晨,赵航。Densetnt:从密集目标集进行端到 端 轨 迹 预 测 。 arXiv 预 印 本 arXiv : 2108.09640 ,2021。一、二、三、六[9] 阿格里姆·古普塔、贾斯汀·约翰逊、李飞飞、西尔维奥·萨瓦雷塞和亚历山大·阿拉希。社会性伙伴:具有生成对抗网络的社会可接受的投射物。在IEEE计算机视觉和模式识别会议论文集,第2255-2264页,2018年。2[10] ByeoungDo Kim、Seong Hyeon Park、Seokhwan Lee、Elbek Khoshimjonov 、 Dongsuk Kum 、 Junsoo Kim 、Jeong Soo Kim和Jun Won Choi。Lapred:动态代理的多模态未来轨迹的车道感知预测。在IEEE/CVF计算机视觉和模式识别会议论文集,第14636-14645页,2021年。一、三、六[11] N.李,W。Choi,P. Vernaza,C. B. Choy、Phs Torr和M. Chandraker欲望:在具有交互代理的动态场景中的遥远未来预测。2017年1[12] Namhoon Lee , Wongun Choi , Paul Vernaza ,Christopher B Choy , Philip HS Torr , and ManmohanChandraker.欲望:在具有交互代理的动态场景中的遥远未来预测。在IEEE计算机视觉和模式识别会议论文集,第336-345页2[13] 梁明,杨斌,胡锐,陈云,廖仁杰,宋峰,拉奎尔·乌塔孙。学习通道图表示a-用于运动预测。欧洲计算机视觉会议,第541-556页。Springer,2020年。二、六[14] Yicheng Liu,Jinghuai Zhang,Liangji Fang,QinhongJiang,and Bolei Zhou.使用堆叠变压器的多模态运动预测。在IEEE/CVF计算机视觉和模式识别会议论文集,第7577- 7586页,2021年。一、二、三、六[15] Chenxu Luo,Lin Sun,Dariush Dabiri,and Alan Yuille.自动驾驶车辆的具有车道注意力的概率多模态轨迹预测2020 年 IEEE/RSJ 智 能 机 器 人 和 系 统 国 际 会 议(IROS),第2370-2376页IEEE,2020年。2[16] W. 洛湾,巴西-地Yang和R.乌塔松快速而激烈:使用单个卷积网络进行实时端到端3D检测、跟踪和运动预测 。 2018 年 IEEE/CVF 计 算 机 视 觉 和 模 式 识 别 会 议(CVPR),2018年。1[17] Osama Makansi,Eddy Ilg,Ozgun Cicek,and ThomasBrox.克服混合密度网络的局限性:多模态未来预测的采样和拟合框架在IEEE/CVF计算机视觉和模式识别会议论文集,第7144-7153页,2019年。2[18] Jiquan Ngiam , Benjamin Caine , Vijay Vasudevan ,Zheng-dong Zhang , Hao-Tien Lewis Chiang , JeffreyLing , Rebecca Roelofs , Alex Bewley , Chenxi Liu ,Ashish Venugopal,et al. Scene Transformer:A unifiedmulti-taskmodelforbehaviorpredictionandplanning.arXiv预印本arXiv:2106.08417,2021。6[19] Tung Phan-Minh , Elena Corina Grigore , Freddy ABoulton,Oscar Beijbom,and Eric M Wolff. Covernet:使用轨迹集进行多模式行为预测。在IEEE/CVF计算机视觉和模式识别会议论文集,第14074-14083页,2020年。2[20] Charles R Qi, Hao Su ,Kaichun Mo, and Leonidas JGuibas.Pointnet:对点集进行深度学习,用于3D分类和分割。arXiv预印本arXiv:1612.00593,2016。3[21] Ashish Vaswani, Noam Shazeer , Niki Parmar , JakobUszko-reit , Llion Jones , Aidan N Gomez , ukaszKaiser,and Illia Polosukhin.注意力是你所需要的。神经信息处理系统的进展,第5998-6008页,2017年。2[22] Takuma Yagi , Karttikeya Mangalam ,Ryo Yonetani,and Yoichi Sato.第一人称视频中的未来人物定位。在IEEE计算机视觉和模式识别会议论文集,第7593-7602页2[23] Wenyuan Zeng , Wenjie Luo , Simon Suo , AbbasSadat,Bin Yang,Sergio Casas,and Raquel Urtasun.端到端可解释的神经运动规划器。在IEEE/CVF计算机视觉和模式识别会议论文集,第8660-8669页,2019年。8[24] 赵航,高吉阳,田兰,孙晨,本杰明·萨普,巴拉克里什南·瓦拉德拉詹,沈岳,沈毅,柴玉宁,科迪莉亚·施密德,等。TNT:目标驱动的轨迹预测。arXiv预印本arXiv:2008.08294,2020。一、二、三、六
下载后可阅读完整内容,剩余1页未读,立即下载
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功