车辆轨迹预测方法对新场景的推广效果有限

17123−车辆轨迹预测是有效的，但不是所有地方都有效MohammadhosseinBahari，1 Saeed Saadatnejad，1 Ahmad Rahimi2 Mohammad Shaverdikondori2Amir Hossein Shahidzadeh2 Seyed-Mohsen Moosavi-Dezfooli3 Alexandre Alahi11EPFL瑞士2谢里夫理工大学3伦敦帝国理工学院{mohammadhossein.bahari，saeed.saadatnejad} @ epfl.ch摘要车辆轨迹预测是当今自动驾驶汽车的基本支柱。工业界和研究界都承认需要通过提供公共基准来建立这样虽然最先进的方法令人印象深刻，即，它们没有越野预测，它们对基准以外的城市的推广仍然是未探索的。在这项工作中，我们表明，这些方法不推广到新的场景。我们提出了一种方法，自动生成逼真的场景，导致国家的最先进的模型去越野。我们通过对抗场景生成的镜头来框定问题。该方法是一个简单而有效的生成模型的基础上原子场景生成功能以及物理约束。我们的实验表明，来自当前基准测试的现有场景中有超过60%可以以使预测方法失败的方式进行修改（即，预测越野）。我们进一步表明，生成的场景（i）是现实的，因为它们确实存在于现实世界中，（ii）可以用来使现有的模型更加强大，越野率降低30%至40%。代码可在线获得：https://s-attack.github.io/。1. 介绍车辆轨迹预测是自动驾驶汽车的主要组成部分之一，它根据道路结构（即，现场）和交通参与者。最先进的模型通常在从几个城市收集的数据集上进行训练和评估[14，19，23]。虽然他们的评价显示了令人印象深刻的性能，即。，几乎没有越野预测，他们的推广到其他类型的可能的场景，其他城市，仍然未知。图1显示了一个真实世界的例子，在已知的基准[19]中，一个最先进的模型达到零越野，但在New与第一作者同等贡献图1. 在纽约的一个真实世界的地方（位置），轨迹预测模型（这里[32]）失败。我们通过检索与预测模型的条件生成场景相似的真实世界位置来找到这个地方。Dylan Evans，USA.由于收集和注释所有真实世界场景的数据不是一个可行的和负担得起的解决方案，我们提出了一种方法，自动调查的鲁棒性车辆轨迹预测的场景。我们通过现实对抗场景生成的镜头来解决这个问题。给定一个观察到的场景，我们希望生成一个真实的修改，使得预测模型失败。具有越野预测是模型场景推理失败为了找到一个模型偏离道路的现实例子，应该探索可能场景的巨大空间。一种解决方案是模拟数据集分布的数据驱动生成模型[35]。然而，由于可能的伪影，它们基本上不产生逼真的场景。此外，他们将17124表示真实世界场景的一部分，因为它们不能生成超出它们在数据集中观察到的场景（不能外推）。因此，我们提出了一个简单而有效的替代方案。我们表明，它是可能的，使用有限数量的简单功能，将场景转换成新的现实，但具有挑战性的。我们的方法可以明确地外推到新的场景。我们引入原子场景生成函数，其中给定数据集中的场景，该函数生成多个新的场景。选择这些函数，以便它们可以覆盖一系列逼真的场景。然后，我们选择预测模型产生越野轨迹的场景。使用在Argoverse公共数据集[19]上训练的三个最先进的轨迹预测模型，我们证明了数据集中超过60%的现有场景可以以使得现有技术的方法失败的方式被修改（即， 预测越野）。我们确认生成的场景是真实的，通过寻找真实的-与生成的场景部分相似的世界位置我们还展示了在这些位置的模型的越野预测。为此，我们从每个场景中提取适当的特征，并使用图像检索技术来搜索公共地图[1]。我们最后表明，这些生成的场景可以用来提高模型的鲁棒性。我们的贡献有四个方面：• 我们强调需要更深入地评估车辆轨迹预测模型的鲁棒性;• 我们的工作提出了一个开放源代码的评估框架，通过镜头的现实对抗场景生成，促进了一个有效的生成模型的基础上原子场景生成功能;• 我们证明，我们所产生的场景是现实的，找到类似的现实世界中的位置，模型失败;• 我们表明，我们可以利用我们生成的场景，使模型更强大。2. 相关工作车辆轨迹预测。场景在车辆轨迹预测中起着重要的作用，因为它约束了智能体的未来位置。因此，尽管有一些人类轨迹预测模型，对场景进行建模是常见的[13，39]。为了在预测中对场景进行推理，一些人建议使用语义分割图来构建圆形分布并输出最可能的区域 [21] 。 另 一 种 解 决 方 案 是 使 用 卷 积 神 经 网 络（CNN）对原始场景图像进行推理[31]。许多后续工作以分段图像格式表示场景，并使用CNN对图像的学习能力来解释场景[10，17，18，25，40]。Carnet [45]使用注意力机制来确定更多关注的场景区域，从而得出可解释的解决方案。最近的一些工作表明，场景可以用矢量表示，而不是图像[7，24，32，47]。为了进一步改进模型的推理并生成相对于场景可接受的预测，已经提出了 使用 对 称交 叉 熵损 失[38， 41]， 越野 损 失 [8]和REINFORCE损失[16尽管所有这些努力，但对评估轨迹预测模型在新场景上的性能的关注有限我们的工作为这种评估提出了一个框架。评估自动驾驶系统。自动驾驶汽车处理附近的动态代理和周围的静态环境。有几项工作研究了自动驾驶汽车模块对道路上动态代理状态的鲁棒性，例如。其他车辆。以前的一些工作改变了道路上其他代理的行为，以充当攻击者，并评估模型其他人直接修改原始的感觉输入，以对抗的方式改变代理的状态[15，49，51，53]。除了动态代理之外，驾驶高度依赖于车辆周围的静态场景。模型的场景理解可以通过修改输入场景来评估。以前的作品通过改变天气条件[33，50，54]，生成对抗性的驾车广告牌[29，55]，以及在道路上添加精心制作的补丁/线条[12，46]来修改原始的感官输入这些作品没有改变场景的形状，即。道路的结构相反，我们提出了一个条件场景生成方法来评估场景推理能力的轨迹预测模型。此外，我们的方法不同于基于图[35]或语义图[44]的数据驱动场景生成。数据驱动的生成模型容易产生伪影，并且无法外推训练数据。我们的是一种对抗性的，可以扩展到新的场景。3. 真实感场景生成在本节中，我们将详细解释生成逼真场景的方法在3.1节中介绍了符号之后，我们将在3.2节中展示如何生成每个场景，并在3.3节中展示如何满足物理约束。最后，我们在3.4节中介绍了我们的搜索方法。3.1. 问题设置车辆轨迹预测任务通常被定义为在给定其观察轨迹h、周围车辆的状态a和场景S的情况下预测车辆z的未来轨迹。为了简洁起见，我们假设S在17125√矢量表示格式[19]1.具体地，S是x-y坐标空间中所有通道的点的堆叠的2d形式上，预测器g的输出轨迹z为：双转弯：这些功能表示两个方向相反的连续转弯。此外，还有一个变量指示它们之间的距离：fdt，β（sx）=fst，β1（sx）−fst，β 1（sx−β2），z= g（h，S，a）.（一）给定一个场景S，我们的目标是创建具有挑战性的现实场景。β=（β11，β12，β13，β2），β1=（β11，β12，β13），（四）我们将在3.2节中解释场景S。3.2. 条件场景生成我们的可控场景生成方法生成不同的场景条件下，现有的场景。具体地说，我们选择了一组原子函数，其中β1是等式（3）中描述的每个转弯的参数集，β2是两个转弯之间的距离。图2c中示出了一个示例。Ripple-road：对预测模型来说可能具有挑战性的一种场景是Rippleroad：.0，sx 0作为典型的道路拓扑。为此，我们将场景归一化（即，相对于h），ap的平移和旋转。frr，γ（sx）=、γ1（1 −cos（2 πγ2s x）），s x≥0（五）应用变换函数，最后反规范化，使生成的场景返回到原始视图。注意，S的每一个变换后面都是h和a上的相同变换。我们以以下形式定义每个场景点上的变换s=（sx，sy+f（sx−b））（2）其中，S是变换点，f是单变量变换函数，并且b是确定应用变换的区域的边界参数。换句话说，我们定义f（<0）=0，所以s x

下载后可阅读完整内容，剩余1页未读，立即下载