自动驾驶车辆的多样化未来预测和规划方法

SDVSDV161070LookOut: 多样化的自动驾驶多未来预测和规划0Alexander Cui * , 1 , 2 , Sergio Casas � , 1 , 2 , Abbas Sadat � , 1 , Renjie Liao 3 , Raquel Urtasun 1 , 20† †  Waabi 1 , 多伦多大学 2 , Google Brain 30{ acui, sergio, asadat, urtasun } @waabi.ai, rjliao@google.com0摘要0在本文中，我们提出了一种名为L OOK OUT的新型自主系统，该系统感知环境，预测场景可能展开的多样化未来，并通过优化一组对这些未来实现进行备选计划来估计SDV的轨迹。特别地，我们在交通场景中学习了一个多智能体未来轨迹的多样化联合分布，该分布覆盖了各种未来模式，并具有高样本效率，同时利用生成模型的表达能力。与以往的多样化运动预测工作不同，我们的多样性目标明确奖励采样需要SDV采取不同反应以提高安全性的未来场景。然后，我们的备选计划器找到舒适且非保守的轨迹，以确保对各种未来场景做出安全反应。通过广泛的评估，我们展示了我们的模型在大规模自动驾驶数据集中表现出显著更多样化和样本效率更高的运动预测，以及与当前最先进模型相比，在长期闭环模拟中更安全且不那么保守的运动规划。01. 引言0自动驾驶车辆（SDV）有潜力显著提高道路安全性，因为与人类不同，它们可以在驾驶时不会分心或受到损伤的情况下不断扫描周围环境。自动驾驶车辆成功的关键是其能够感知周围环境并预测可能影响其决策的交通参与者的未来轨迹。然后，运动规划模块利用这些预测来规划一种安全且舒适的动作以达到目标。预测交通参与者的行为非常具有挑战性，因为人类并不总是遵守交通规则，有时会表现出不稳定的行为。此外，场景可能以多种可能的方式展开。0* 表示相等贡献 † 本工作是作者在Uber ATG期间完成的0图1。我们通过展示场景级别上的2个不同未来来说明未来是高度不确定和多模态的。在这种情况下，L OOK OUT规划了一种短期可执行的动作，以在两种情况下保持安全的两个备选计划。0未来的预测很大程度上取决于参与者之间的相互作用（例如，在合并时，参与者A要么让步给参与者B，要么反之亦然）。尽管大多数研究预测每个参与者的未来独立[11, 10, 29, 8,4]，但最近的方法模拟参与者之间的相互作用，并且可以生成能够以一致方式解释整个场景的样本[2, 33, 38,5]。然而，它们需要大量的样本来覆盖分布的长尾。这是一个问题，因为这些长尾对于安全至关重要，如果不考虑它们可能导致事故（例如，受损的驾驶员垂直地穿过SDV的预定轨迹运行红色交通灯）。因此，需要开发能够高效采样多样化可能未来的预测系统。不幸的是，现有的方法[46,47]在样本效率上不够高，因为它们在欧几里得空间中平凡地鼓励多样性，从而利用样本覆盖与SDV行为无关的参与者或行为。此外，现有的运动规划器无法利用产生场景一致样本的预测系统[53, 13, 1,36]。相反，它们通过对每个参与者的边际分布进行采样来优化预期成本，从而忽略了一些这些未来不能同时发生的事实（例如，水平或垂直交通可以在四路停车标志处流动，但不能同时流动）。这些规划器还假设SDV必须致力于单一的长期轨迹，而实际上它可以执行短期动作并在新的传感器观测可用时重新规划。因此，它们导致次优和过于保守的轨迹[50, 39]。161080例如，自动驾驶车辆过早制动以应对不太可能发生的未来情况，而不是在能够安全舒适地停下来之前保持速度。在本文中，我们提出了一种名为LOOKOUT的全面端到端自主系统，该系统检测场景中的参与者，以高样本效率预测一组多样化的一致未来，并规划一种行动，既能对潜在危险采取防御性行为，又不会对远期低概率危险做出过度反应。特别地，为了解决运动预测中的样本效率低和模式覆盖有限的问题，我们将这个任务形式化为一个多样化集合预测问题，集合中的每个元素都反映了场景层面上的一个可能的未来。为了使这个集合能够涵盖对我们决策制定至关重要的未来模式，我们直接优化了下游自车运动规划的多样性。然后，一个场景评分模块估计集合中每个未来的概率，使我们的规划器能够考虑到不太可能但关乎安全的情景，而不过度保守。最后，我们提出了一种新颖的应急规划器，能够利用多个一致的未来为每个未来规划独立的长期响应，同时共享一个行动初始阶段，该行动在未来方案中表现出非保守性，并避免立即碰撞。图1展示了两个多样化未来和相应的共享行动和应急计划的示例。我们通过大规模的开环和闭环实验来证明我们方法的有效性，这些实验涵盖了各种复杂场景。我们广泛的实验表明，LOOKOUT的驾驶安全性显著提高，而且比先前的最先进方法更不保守。此外，多样性和重构质量之间存在权衡；我们的方法可以产生比其他具有相似多样性的方法更好的重构，也可以产生比其他具有相似重构能力的方法更高的多样性。02. 相关工作0级联检测、运动预测和运动规划模块组成的自主管道相比于黑盒端到端模型[30, 3, 9, 20,26]具有许多优势，如安全性、可解释性、错误追踪和数据效率。此外，最近的研究[23, 6, 48, 35, 49, 7,40]表明，端到端学习这种可解释的管道是有益的。因此，我们将文献综述集中在可解释的方法上。对于目标检测，我们简单地利用了基于LiDAR点云的3D体素化目标检测的最新进展[22, 12, 44, 52,43]，这些方法已经证明在速度和准确性之间取得了很好的平衡。在下面的段落中，我们将深入探讨最近在运动预测和运动规划方面的进展，因为我们的工作的主要贡献就在于这些模块上。0运动预测：对于演员建模，常见的方法是独立预测每个演员的轨迹[32, 11, 4, 8, 19, 29,51]。这些预测可以表示为闭合形式的高斯分布[11, 4,8]，离散网格/图形/集合结构上的分类或能量[19, 51, 29,49]，或者是随机模型的轨迹样本[32,17]。一种可行的方法是通过一次随机采样一个可能的未来场景，通过采样编码了联合场景动力学，然后解码未来的轨迹[33, 38, 5]。这些方法主要分为自回归模型[33,38]和隐式潜变量模型[5]。然而，这些方法需要大量的样本来描述场景。相比之下，多样性运动预测的研究主要集中在实现高样本效率以覆盖分布的主要模式。这在自动驾驶中尤为重要，因为自动驾驶车辆需要能够预测道路上其他参与者的罕见或危险行为，以制定安全的应对策略。最近的研究[46,47]探索了如何从预训练的变分推理模型中鼓励更多样化的预测。他们训练新的编码器，输出一组联合多样化的潜变量样本。[46]中的公式直接输出潜变量集合，并根据行列式点过程(DPP)评估其多样性。在[47]的工作中，通过共享噪声对一组多元高斯分布进行联合采样，并使用基于运动预测样本之间L2距离的多样性损失来增加预测的多样性。另外，[18]训练条件GAN以在潜空间上使用最远点采样输出多样化的样本，以覆盖更多的潜空间模式。最后，[28]训练他们的轨迹样本保持在可行驶区域内，以增加多样性同时保持可接受性。虽然这些工作在运动预测方面实现了更大的多样性和准确性，但这些改进如何转化为更好的自主代理运动规划尚不清楚。0规划：在运动规划中，目标是为自动驾驶车辆生成一条安全、舒适且朝着目标前进的轨迹[27]。实现这个任务的一种流行方法是设计一个编码所有上述目标的成本函数，并找到一个最小成本轨迹。这些优化问题可以使用连续优化[53]、采样[36,35]或搜索[1]来解决。这些方法通过在目标函数中包含与场景中参与者的预测轨迹相关的碰撞成本来实现安全。然而，在概率设置中，预测采用轨迹分布的形式，上述方法在期望中计算碰撞成本，最小化161090图2. LOOK OUT推理。对于可学习的组件，颜色表示不同的训练阶段。首先训练骨干CNN、参与者CNN和预测解码器（第3.1节），然后是多样的采样器（第3.2节），最后是场景评分器（第3.3节）0所有未来预测场景中的预期成本。给定一组联合多样的预测，SDV可能需要为更多不太可能但安全关键的未来场景进行规划，这将要求它采取防御性驾驶（例如让行、变道）。然而，总是预防性地制动这样的罕见场景，或者完全忽视它们是不可取的。优化型运动规划中的工作[45, 15, 50,39,31]通过选择能够确保安全应对这些罕见场景的轨迹规划，同时优化进展和舒适等目标。[15]将计划的轨迹分为一个初始共享部分和一组从共享部分末尾可以采取的分支计划。[50,39]预测在不久的将来可能需要防御性机动的概率，并决定是否将决策推迟到未来（在那时将有更多信息可用）。[31]的并行工作学习了一个自回归的应急规划器，可以灵活地分支，并将周围的代理建模为反应性。然而，在线策略优化可能会收敛到不安全的局部最优解。3.多样预测和规划0在本节中，我们将将将传感器数据映射到可执行动作的自主问题分解为几个模块，这些模块提供了SDV决策的可解释性。为了实现这个目标，我们首先学习一个联合感知和未来预测模型，该模型检测相关对象，并估计所有参与者未来轨迹的联合分布，其中包含一个隐式潜在变量模型[5]（第3.1节）。尽管这种生成模型的样本效率低，但它使我们能够从潜在样本中学习一个非常强大和高效的轨迹解码器。接下来，我们利用这个解码器学习一个多样的潜在采样器，从规划者的角度实现高样本效率（第3.2节）。然后，我们估计集合中每个未来实现的概率（第3.3节）。最后，我们设计了一种新颖的应急规划器，为每个可能的未来规划一个安全的轨迹，而不过于谨慎（第3.4节）。图2概述了我们的方法。3.1.联合感知和运动预测0为了提取对检测和运动预测都有用的特征，我们采用了一个卷积骨干网络，受到[44,6]的启发，该网络接受体素化的LiDAR扫描历史和光栅化的高清地图作为输入，两者都在0鸟瞰图（BEV）以SDV为中心。然后，我们使用浅层卷积头执行多类对象检测，以识别车辆、行人和自行车的存在、BEV姿态和尺寸，并应用旋转RoI align[24]从每个参与者位置周围的场景上下文中提取小的特征裁剪。最后，一个参与者CNN通过最大池化将每个参与者n的特征图减少为一个特征向量x localn。由于这个局部上下文缺乏关于参与者姿态与场景其余部分的全局信息，我们将BEV质心和相对于SDV的旋转作为附加特征包括在内，得到最终的参与者上下文x n = [x local n,x global n] ∈RD，其中[∙,∙]表示按通道连接。我们将所有检测到的参与者上下文的集合称为X = {x1, x2, ...,xN}。关于LiDAR和地图参数化以及骨干网络、对象检测器头和参与者CNN的详细信息将在补充材料中介绍，因为它们不是我们工作的重点，并且受到以前文献的启发[23, 6,4]。我们使用2D欧几里得空间中参与者质心的时间序列来参数化每个参与者的轨迹，即y n ∈ R2T，其中每个轨迹在参与者的相对坐标系中在鸟瞰图（BEV）中预测，该坐标系由其质心和航向定义。然后，我们的潜在变量模型如下描述了参与者轨迹的联合分布：0p（Y | X）=0Z p（Y | X，Z）p（Z | X）dZ，（1）0其中Z ={z1，z2，...，zN}是捕捉潜在场景动态的一组连续潜在变量，Y ={y1，y2，...，yN}是所有演员的未来轨迹。我们假设一个固定的先验p（Z | X）≈p（Z）= Nn = 1p（zn），其中zn�N（0，I）∈RL。根据[5]，我们采用一个隐式的解码器Y =fθ（X，Z），其中fθ是由具有空间感知的图神经网络（GNN）[4]参数化的确定性函数。由于我们只能获得（X，Y）对的观测数据，因此引入了一个后验或编码器函数qφ来近似训练期间的真实后验分布p（Z |X，Y）[37]，也由GNN参数化。这个编码器函数有助于该模型学习一个强大的解码器，因为仅给定X，由于未来的固有多模态性和不确定性，可能存在许多可行的Y。01“隐式”意味着p（Y | X，Z）没有解析形式。Z1ZK𝜀Z1ZKLookOutILVM�161100采样K次0X GNN样本0一次0图3.从隐式潜在变量模型（ILVM）中获取K个潜在样本意味着从先验中独立地采样K次。相比之下，我们的多样化采样器利用GNN映射从单个噪声中预测K个潜在样本（并行）。0主干网络、检测头、演员CNN、编码器和解码器共同训练目标检测和运动预测任务。我们对于演员的存在使用每个类别的二元交叉熵和硬负样本挖掘，对于回归目标（即姿态和尺寸）使用Huber损失[44]。更多细节请参见补充材料。我们使用CVAE框架[37]进行潜在变量模型的训练，该框架优化对数似然的证据下界（ELBO）log p（Y |X）。由于确定性解码器导致对Y的隐式分布，我们使用Huber损失ℓδ作为重构损失[5]，并使用β按[16]的建议对KL项进行重新加权：0L预测 = 10N0T0t ℓδ（ytn−ytn,GT）0+ β ∙ KL（qφ（Z | X，Y = YGT）∥p（Z）），（2）0其中第一项最小化轨迹样本Y = {ytn |�n，t} =fθ（X，Z），Z � qφ（Z | X，Y =YGT）与其对应的真实值YGT之间的重构误差，第二项使得特权后验qφ（Z | X，Y =YGT）和先验p（Z）更加接近。到目前为止，我们已经从中学习到了一个强大的未来模型，可以为场景中的所有演员生成一致的样本，与[5]非常相似。特别是，该模型的推理工作如下：首先，我们将传感器数据编码为演员上下文X。然后，我们从先验中采样K次{Zk �p（Z）|�k}，并并行地解码场景潜在样本以获得每个K个未来{Yk =fθ（X，Zk）|�k}。尽管该模型具有很高的表达能力和吸引人的并行采样，但它有两个主要缺点：（一）样本效率低，（二）没有闭合形式的似然；分别导致反应时间增加和缺乏下游概率风险评估。接下来，我们通过学习联合采样一组多样化的潜在编码，以映射到轨迹的覆盖分布，并通过学习一组多样化未来的分类分布来解决这两个问题。3.2.以规划为中心的多样化采0目标是在利用其表达能力的同时，纠正第3.1节中介绍的场景级生成模型的样本效率问题。为此，我们学习了一个多样化的采样函数M：X →Z，将来自每个演员周围传感器数据的演员上下文X映射到一组紧凑的场景潜在样本Z = {Z1，...，ZK}0其解码轨迹Y实现了良好的覆盖。这个采样器将在推断过程中取代来自先验分布p(Z)的蒙特卡洛采样，如图3所示。为了利用在第3.1节中训练的解码器，该解码器被训练用于解码来自高斯近似后验分布的样本，多样采样器引起的潜在分布也应该是高斯分布，以减少分布偏移[47]。因此，我们假设p(Z|X) = ΣKk=1 p(Zk|X)，其中p(Zk|X) = N(µk, Σk)，µk∈ RNL，Σk ∈RNL×NL。为了采样一组潜变量Z，使它们彼此足够不同，以便将它们解码为一组多样的未来，我们使用重参数化技巧[21]将共享噪声ε�N(0,I)∈RNL映射到K个潜变量映射{Mηk|k∈1...K}上：0Zk = Mηk(X, ε) = bηk(X) + Aηk(X)ε, (3)0其中η = {ηk|�k}是可学习参数集，µk = bηk(X)，Σk =Aηk(X)Aηk(X)T。为了处理输入X∈RND的大小变化（即角色数量N在场景之间变化），我们使用一对GNNs参数化M：一个用于生成均值，另一个用于生成协方差。两个GNNs都假设一个完全连接的图，其中每个节点都锚定到一个角色，并将节点状态初始化为{xn}。然后，我们进行消息传递，以在每个节点上聚合整个场景的信息。最后，第一个GNN中的每个节点通过MLP预测an∈RKL。然后，我们可以轻松提取Aηk(X) = diag([akL:(k+1)L1, ...,akL:(k+1)LN])。类似地，第二个GNN中的每个节点通过另一个MLP预测bn∈RKL，bηk(X) = [bkL:(k+1)L1, ...,bkL:(k+1)LN]。然后，可以通过解码器在第3.1节中学习的方式确定性地解码多样的潜变量码Zk = fθ(X,Zk)。通过采样和解码，我们获得了场景中所有角色的K个未来轨迹实现Y = {Y1, ...,YK}。这个过程是并行的，因为它通过利用一对GNNs在单轮消息传递中执行所有K个潜变量映射Z�M(X, ε;η)。然后，我们可以批量解码K个潜变量样本Y = fθ(Z,X)。这个多样采样器的目标是能够生成一组多样的未来Y，同时很好地恢复地面真实观测Ygt，可以通过能量E(Y,Ygt)来表示。此外，为了鼓励最小化预训练解码器fθ的输入的分布偏移，我们还最小化了所有多样的潜变量分布p(Z =Zk|X)与先验分布p(Z)之间的KL散度。在实践中，这个术语使学习更加稳定。为了找到这两个目标之间的正确平衡，我们添加了一个超参数β。总体而言，最小化可以表示为：0min η E(Y, Y gt) + β0k = 1 KL (p(Zk|X) ∥ p(Z)), (4)Er(Y) = minkℓ2(Yk − Ygt).(6)R(Y) = 1KK�i=1K�j̸=iℓ2(τi − τj),(7)Ep(Y) = −EY[R(Y)] ≈ − log p(Z|X)R(Y)(8)=1K(K − 1)K�i=1K�j̸=i− log p(Zi, Zj)ℓ2(τi − τj),Ed(Y) =1K(K − 1)K�i=1K�j̸=iexp(−ℓ2(Yi − Yj)σd).(9)pψ(Yk|X) =exp(lk)k′ exp(lk′).(10)q(Yk|X) =exp(−αℓ2(Yk − YGT ))k′ exp(−αℓ2(Y ′k − YGT )),(11)161110其中Y = {Y1, ..., YK}，Yk = fθ(X, Zk)，Zk = Mηk(X,ε)，最小化是关于一对GNNs的可学习参数η。注意，解码器是固定的，即θ不被优化。注意，联合学习解码器会损害现实性，以最大化规划多样性（例如，通过使代理在未来突然出现在SDV前面，迫使其改变计划）。我们的能量函数由几个术语组成，促进多样性同时保持数据重建：0E(Y, Y gt) = Er(Y, Y gt) + Ep(Y) + Ed(Y). (5)0现在我们更详细地定义能量项。0重建能量：这个术语鼓励在记录日志时发生的现实情况至少被至少一个样本捕捉到：0规划多样性能量：增加预测多样性有助于预测不同的未来场景，这些场景需要不同的自动驾驶车辆（SDV）规划（例如，车辆在SDV前方切入或保持在原车道上行驶）。因此，我们通过最大化以下奖励函数来促进对于运动规划下游任务有意义的多样样本：0其中  τ i  =  τ ( Y i )是我们在第3.4节中概述的应急运动规划器为预测的场景样本  Y i  规划的SDV轨迹。由于每个场景的最佳规划轨迹  τ i对  Y i  不可微分，我们利用REINFORCE梯度估计器将能量E p  表示为多样采样器下的对数似然函数的函数。0其中  log  p ( Z i , Z j ) = log  p ( Z j ) + log  p ( Z i )。近似来自于对  Z  的边缘化的蒙特卡罗估计。0一般多样性能量：由于基于规划的多样性的信号对于没有任何与SDV交互的场景来说可能是稀疏的，我们还鼓励所有参与者行为的多样性：0通过我们提出的多样采样器，由不同噪声  ε 诱导的每个  Y有效地覆盖了未来的分布。因此，在推理过程中，我们可以简单地采用由模式  ε = 0诱导的集合来消除所有的随机性。我们注意到，确定性对于自动驾驶的安全性、验证和可重复性非常重要。03.3. 场景概率估计0包含 K 个未来实现  Y = { Y 1 , ..., Y K }提供了安全运动规划所需的覆盖范围。然而，为了准确评估风险，我们需要估计集合中每个未来实现的概率分布。为了实现这个目标，我们扩展了我们的模型，还输出了所有未来实现的得分 l  =  s ψ ( X,  Y ) ，其中  s ψ是一个以参与者特征和所有  K个样本未来场景为输入的GNN。然后，我们可以通过重新归一化来轻松恢复这些得分的分布。因此，每个样本的概率为：0由于我们只能访问单个地面真实化（即在训练日志中发生的真实化），我们训练评分函数  s ψ以匹配未来场景的近似分类分布  q ( Y k | X )  在 KL（ p ψ∥ q ）散度下。我们将这个近似分布定义如下：0其中  α  = 10是我们经验性选择的温度超参数。更好地捕捉每个参与者与SDV相关性的距离函数的研究留作将来的工作。03.4. 应急规划师0运动规划模块的目标是为SDV生成安全、舒适且不过于保守的轨迹。我们通过模型预测控制（Model PredictiveControl）实现这一目标，其中考虑到有限的时间范围规划轨迹，并在新的激光雷达扫描可用时执行轨迹直到重新规划新的轨迹。文献中的大多数规划框架 [ 27 ,  14 ,  1 ,  36]采用基于优化的方法，选择最小化预期成本的轨迹进行执行：0τ�0:T = arg minτ0:T∈T0:T(x0)Ep(Y)c(τ0:T, Y)，(12)0其中T0:T(x0)表示从SDV状态x0开始到horizonT的可能轨迹集合，c表示规划器成本函数。注意，期望是在所有参与者可能的未来实现的分布上进行的。然而，上述公式没有利用只有一个预测场景将来会发生的事实，并且相反地优化了一个在期望中“好”的单一轨迹。请注意，如果我们将方程12中的期望改为max运算符，规划器将优化最坏情况下的情景，而不考虑其可能性。因此，规划器将变得过于保守，例如，在一个非常低概率的情况下，即车辆穿过SDV车道，它将施加强制制动，如[50, 39]所示。)161120图4.应急规划范式。短期自我行为的成本通过对K个不同的预测未来以及K个最合适的自我轨迹的反应能力来捕捉。0在本文中，我们采取了一种不同的方法，不是为多个未来找到单一的运动计划，而是生成一个单一的共同即时行动，然后是一组未来轨迹，每个轨迹对应于场景的一个未来实现，如图4所示。这种应急规划范式找到一个即时行动τ0:t，该行动在Y的所有可能实现中都是安全的，并且舒适地过渡到一组应急轨迹，每个轨迹都是为一个单一的未来实现而专门规划的。这种决策延迟避免了过于保守的行为，同时在获得更多信息之前保持安全。重要的是，只有当预测的未来场景集合多样化并涵盖可能的实现，包括低概率事件时，才能实现这一点。具体而言，我们规划了一条短期轨迹，该轨迹在所有可能的未来中都是安全的，并允许为每个未来实现制定适当的应急计划：0τ�0:t = arg minτ0:t∈T0:t(x0)0行动成本maxYc(τ0:t, Y) +0Yi∈Yp(Yi)g(xt, Yi)0其中g(x, Y) = minτt:T∈Tt:T(x)c(τt:T,Y)表示从时间t到T的最小成本轨迹，从状态x开始，假设有一个未来实现Y。0成本函数：规划器成本函数c(∙) =0i w i s i ( ∙ ) 是各种精心设计的子成本si的线性组合，这些子成本编码了驾驶的不同方面，包括安全性、舒适性、交通规则和路线。这里，w = {w i |�i}是一组可学习的参数。然而，在应急规划范式（方程13）中学习这些参数是一个开放问题，因为我们只有在日志记录时发生的未来的专家演示。因此，我们将这个问题留给未来的工作，并通过方程12中的权重来利用通过[36]学习到的权重。关于子成本，碰撞和安全距离子成本惩罚与其他参与者的预测轨迹重叠或与其接近距离高速的SDV轨迹。同样，违反与前车的车头间隔的轨迹也会受到惩罚。其他子成本促进在车道和道路边界内行驶，并惩罚超过限速或违反红色交通信号灯的轨迹。最后，运动抖动、高前向加速度、减速度和轨迹的横向加速度受到惩罚，以促进舒适的操纵。所有子成本的详细信息可以在补充材料中找到。0推理：我们采用抽样方法来解决方程13中的最小化问题。具体而言，我们生成一组成对{ (τ0:t, Tt:T(τt))}，其中包括可能的短期轨迹τ0:t及其可能的后续轨迹集合Tt:T(τt)。重要的是要考虑到一组密集的初始行动，以使最终执行的轨迹平滑且舒适。类似地，一组密集的长期轨迹使规划器能够为未来找到适当的应急计划，从而获得更准确的初始行动成本。为了管理上述搜索空间的复杂性，我们采取以下抽样策略：(i)首先生成一组(空间)路径，(ii)对于每条路径，对初始速度轮廓进行抽样，创建短期轨迹集合，(iii)在这些初始轨迹的结束状态条件下，对剩余的规划范围进行速度轮廓抽样，假设SDV遵循相同的路径。总共，样本集包含≈240个行动，对于每个行动，有≈260个长期轨迹。上述路径和速度生成是在期望车道中心线的Frenet坐标系中进行的，通过对横向和纵向轮廓进行抽样[42,36]。更多细节请参阅补充材料。04. 实验0在本节中，我们提供实证结果来验证我们的多样性采样器改善了运动预测中多样性/重建的权衡的假设，并且当与应急规划器相结合时，它可以比现有技术更安全、更少保守地驾驶。04.1. 实验设置0数据集：ATG4D由超过一百万帧的激光雷达、具有非常准确的物体轨迹的高清地图组成。它是在北美几个城市中由经验丰富的专家驾驶员精心收集的。所有模型都经过训练，以预测给定1秒激光雷达历史的5秒轨迹。我们在该数据集的测试集中评估运动预测。0闭环模拟器：我们使用模拟的激光雷达环境[25]进行闭环实验，评估我们的端到端驾驶模型的质量，该模型是从真实静态环境和参与者中重建的。这些场景是从真实驾驶日志中精心策划的，特别具有挑战性，并且与ATG4D中的场景不重叠，以评估泛化能力。在重新播放场景时，如果由于SDV的动作而导致场景偏离原始场景，参与者将切换为反应式参与者[41]。模拟器以100毫秒的间隔展开约18秒，这与数据收集车辆获取新的激光雷达扫描所需的时间相同。我们注意到，所有的训练都是在真实的离线数据上进行的，但由于其高度逼真，它在模拟环境中表现良好。)Acc()LOOKOUT7.93790.3762.654.690.370.790.53161130模型碰撞率 (%) 进展0碰撞 ( m ) 进展 ( m ) 急加速 ( m0s 3  ) 横向加速度 ( m0s 2  ) 减速度 ( m0CVAE-DPP[46] 17.07 123.97 21.17 11.99 0.06 1.11 0.80 CVAE-DLow[47] 14.63 377.07 55.18 5.22 0.15 0.84 0.54 MultiPath[8]12.20 394.37 48.09 12.92 0.13 1.24 0.80 CVAE[37] 8.54 655.22 55.93 7.22 0.15 0.96 0.62 ESP[33] 11.59 464.44 53.81 6.52 0.150.89 0.57 ILVM[5] 10.98 553.96 60.80 5.50 0.16 0.86 0.560表1.闭环模拟中的端到端驾驶结果。所有运动预测基线都使用PLT规划器[36]（公式12），因为它们没有提出运动规划器。请参阅我们的补充材料，了解当它们与我们的规划器（公式13）配对时的结果。0图5.规划质量和多样性的预测重建关系。多样性并不总是越多越好。为了清晰起见，我们在这些可视化中不包括CVAE-DPP，因为它的性能远低于其他模型，会超出图表范围。0基线：对于运动预测，我们使用多模态和多样性预测的最先进基线，所有这些基线都使用相同的骨干网络和物体检测器架构进行端到端训练，以进行公平比较，遵循[4,5]中的实验设置。MultiPath[8]、CVAE[37]、CVAE-DPP[46]和CVAE-DLow[47]独立地对每个参与者的未来轨迹进行分布建模。因此，为了构建这些基线的场景样本，我们为每个参与者随机采样一条轨迹，按照[5]的方法进行。对于对所有参与者的未来轨迹进行联合分布建模的方法，我们与ESP[33]和ILVM[5]进行了比较，它们在[5]中进行比较时表现最好。为了将LOOK O UT的驾驶与基线进行比较，我们使用最先进的PLT规划器[36]（公式12）来为那些没有提出规划器的运动预测模型进行规划。0闭环驾驶指标：我们通过测量碰撞率（CR）来反映驾驶安全性。这是在SDV和另一个参与者之间至少发生1次碰撞的模拟的百分比。我们还评估SDV在整个模拟时间范围内在期望路线上的进展，以米为单位，以及每次碰撞的进展，以提供非保守性和安全性之间的比例。最后，我们通过测量平均加速度和加速度来评估驾驶舒适度。由于自主性在长时间内执行自己的动作，潜在地偏离专家驾驶员执行的路径，这些指标捕捉到了端到端系统的质量，包括其对分布转移的鲁棒性[34]。0子系统级指标（开环）：在开环评估中，我们的模型在ATG4D数据集中的真实数据日志上进行评估（即被访问的场景）。0专家驾驶员），与我们展开自己的计划的闭环评估相反。为了评估目标检测质量，我们使用标准的平均精度（mAP），但将结果推迟到补充材料中，因为所有模型共享相同的感知主干架构，并且这不是本文的重点。为了衡量重建能力和场景级运动预测的多样性，我们使用K =15个场景样本，意味着预测了15个不同的未来情景，每个情景有1个演员的轨迹。最小场景平均位移误差（minSADE）衡量我们如何回忆起地面真实轨迹，而平均场景平均位移误差（meanSADE）衡量了预测分布的精度，如[5]所提出的。为了评估这些预测的多样性如何影响随后的情景计划，我们测量了配对计划平均自身距离（meanPlanASD），即2个不同未来情景的情景计划之间的平均距离。最后，场景平均自身距离（meanSASD）计算了场景样本之间的平均成对距离，作为衡量一般多样性的方法，如[46,47]所提出。详细信息请参见补充材料。04.2.与最先进的规划基准的比较：运动规划的闭环实验结果如表1所示。L OOK OUT在几乎所有指标上优于基线。特别是，与该指标的下一个最佳基线CVAE +PLT相比，我们看到进展与碰撞之间的每次碰撞增加了21％，这是碰撞减少了8％加上进展增加了12％的组合，表明我们的模型能够在道路上避免危险情况而不减速（即在提供额外安全性的同时更少保守）。为了完整起见，基线与我们的情景计划器配对的结果可在补充材料中找到。161140ID Mη Ep sψ Planner CR（%） Progress0碰撞（m）进展（m）抖动（m）0s3) 横向加速度（m）0s2) 加速度（m）0s2) 减速度（m）0s2)0L OOK O UT - Conting. 7.93 790.37 62.65 4.69 0.37 0.79 0.530M1 - N/A - Conting. 9.15 709.60 64.90 4.40 0.38 0.77 0.52 M2 - Conting. 10.98 626.79 68.79 8.77 0.20 1.09 0.73 M3 - Conting.9.15 658.58 60.24 4.96 0.35 0.79 0.53 M4 - PLT 12.80 436.29 55.87 6.26 0.16 0.90 0.590表2. 对多样化采样器Mη、规划多样性能量Ep、情景评分器sψ和运动规划器对端到端驾驶能力的消融研究（在闭环模拟中评估）。0情景1 情景2 情景30图6.闭环中多样化的多个未来预测和计划。车辆的目标检测和运动预测为蓝色，行人为粉色。绿色边界框为自动驾驶车辆（SDV），其即时动作（1秒）以黑色显示（从后轴开始），并且针对每个可能的未来情景规划的轨迹以不同的颜色显示。LiDAR点云未可视化。0多样性权衡：L OOK OUT实现了最安全的驾驶（图5a）并取得了最大的进展（图5b），同时在其情景计划中获得了非常高的多样性。相比之下，我们可以看到对于基线来说，更多的多样性通常会使驾驶更加不安全，同时减少其进展。如图5c和图5d所示，更多的多样性通常会导致在样本预算恒定的情况下，运动预测变得不太准确和覆盖。我们的方法通过专注于预测对驾驶下游任务重要的未来情景来避免了这种多样性诅咒。这使得我们的模型能够谨慎地进行安全规划，而不会出现太多无关或过度变异的预测的缺点。我们在补充材料中提供了与情景计划器配对的基线结果。4.3. 消融研究0表  2  显示了我们的主要贡献的影响，为我们提供了关于LOOK O UT 的驾驶更安全、更少保守的原因的见解。0多样化采样器与蒙特卡洛采样的对比: M 1 从先验分布 p ( Z) 中独立采样。与 L OOK O UT相比，我们可以看到完整的多样化采样器（包括场景评分和规划多样性能量）对于预测和避免更多的碰撞至关重要，同时几乎达到相同的舒适性和进展。0规划多样性能量: M 2表明从多样化采样器目标中移除规划多样性能量会导致碰撞率增加36%。我们还观察到抖动和横向加速度出现了相反的波动。我们假设这个能量项更偏向于早期和预防性的横向位移，而不是来自规划器的晚期紧急刹车。进一步的研究留待未来工作。0场景评分与均匀概率的对比: M 3去除了场景评分，将每个多样化场景分配相等的概率作为规划器的输入。我们可以看到场景评分改善了安全性和进展，表明它防止了自动驾驶车辆不必要地过早刹车以避免低概率风险。0应急规划器与PLT的对比: 剔除应急规划器的消融实验 M 4表明应急规划器的重要性，它几乎在所有指标上都有所改善，尤其是将碰撞减少了38%。04.4. 定性结果0图  6显示了自动驾驶车辆在闭环模拟中遇到的三个具有挑战性的场景。我们可以看到在每个场景中，自动驾驶车辆规划了多个应急轨迹，每个轨迹都可以安全地应对预测的未来情况。因此，如果任何前方来车或转弯车辆阻挡了其路径，自动驾驶车辆可以采取非保守的即时行动，并找到安全的未来轨迹。05. 结论0我们提出了一种预测和规划模型，可以生成更多样化的运动预测和更安全的轨迹。我们的预测模型学习从行为轨迹的联合分布中生成多模态轨迹样本。与以前的多样化预测方法不同，我们直接优化预测可能影响自动驾驶车辆的罕见行为，并估计这些样本的概率分布以进行更准确的风险评估。我们的应急规划器改进了对这些多样化样本的决策。总的来说，L OOK O UT比以前的最先进模型实现了更安全、更少保守的驾驶。[28] Seong Hyeon Park, Gyubok Lee, Manoj Bhat, Jimin Seo,Minseok Kang, Jonathan Francis, Ashwin R Jadhav, Paul Pu161150参考文献0[1] Zlatan Ajanovic, Bakir Lacevic, Barys Shyrokau, MichaelStolz, and Martin Horn.基于搜索的自动驾驶最优运动规划。在2018IEEE/RSJ国际智能机器人与系统大会(IROS)上，页码4523-4530。IEEE，2018.  1 ,  2 ,  50[2] Alexandre Alahi, Kratarth Goel, Vignesh Ramanathan,Alexandre Robicquet, Li Fei-Fei, and Silvio Savarese.社交LSTM: 在拥挤空间中预测人类轨迹。在IEEECVPR会议论文集中，2016.  10[3] Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski,Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence DJackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al.自动驾驶汽车的端到端学习。 arXiv预印本arXiv:1604.07316 ,2016.  20[4] S. Casas, C. Gulino, R. Liao, and R. Urtasun. Spagnn:基于空间感知的图神经网络用于从传感器数据中预测关系行为。在2020 IEEE国际