多模态轨迹预测的概率建模与改进方法

9954概率轨迹预测卢卡·安东尼·蒂德Geor g-August-Uni versitatétGöttingenluca. yahoo.comPratik Prabhanjan Brahma创新与工程中心Volkswagen Group of Americapratik. vw.com摘要交通智能体的轨迹或行为预测通常是自动驾驶和机器人规划的重要组成部分。它可以被视为一个概率未来序列生成问题，最近的文献研究了生成模型在这种情况下的适用性。多样性或最小N（MoN）损失，试图最小化地面实况和N个输出预测中最接近的预测之间的误差，已被用于这些最近的学习模型，以提高预测的多样性。在这项工作中，我们提出了一个证明，表明MoN损失不会导致地面真值概率密度函数，而是近似于其平方根。我们验证了这一发现与广泛的实验模拟玩具以及现实世界的数据集。我们还提出了多个解决方案来补偿膨胀，以显示在校正的概率密度函数中地面真实样本的对数似然的改善。1. 介绍弹道预测是一个有着广泛应用的重要问题它可以用于跟踪[30]，异常检测[38]，视频游戏[20]或安全模拟[32]。可以说，最安全的关键应用是使用轨迹预测来帮助机器人导航与其他人共享的环境，例如自动驾驶汽车。在驾驶时，人们对其他交通参与者可能会做什么并做出相应的反应有一种直观的预期。这是值得注意的，因为未来的轨迹是不确定的和多模态的（见图1）。出于这个原因，最近的一系列研究采用了对记录数据的自然概率分布进行建模的方法，例如使用混合密度网络[4，10]，占用网格[22]或生成模型。els [39，18，13，25]. 最近的作品之一，在位于加利福尼亚州贝尔蒙特的大众汽车美国集团创新和工程中心实习期间完成的工作图1：轨迹预测是一个多模态问题。为了学习这种分布，可以使用多样性损失。它被计算为地面实况（绿色）轨迹与其最接近的预测之间的距离。[18]，用对抗性损失[16]和品种损失（以下称为N上的最小值或MoN）的组合训练他们的生成模型。他们和许多其他最近发表的作品[37，36，25，28，40]使用相同的MoN损失作为衡量标准，将他们的模型与其他模型进行比较，认为与广泛使用的平均位移误差相比，它更适合测量多模态数据的此外，我们注意到，除了轨迹预测之外，其他领域的研究人员也然而，我们找不到任何理论分析的MoN损失/度量。在这项工作中，我们在第3节中证明了MoN损失的最优解不是地面真实PDF，而是其平方根。在第4节中，我们讨论了MoN是否可以作为一个可行的度量。然后，在第5节中，我们提出了各种算法来恢复9955∈∈N∼||−||→∈NP∗∗ ∗∗真正的PDF从一个学习。在第6节中，我们在模拟的低维数据集上通过实验验证了这些结果。我们还通过对基于MoN损失的生成模型学习的分布应用补偿变换来验证我们在高速公路车辆和行人轨迹预测数据集上的假设，并显示在平均边缘化对数似然意义上的地面真实样本的改进。2. 相关工作交通参与者的轨迹预测是一个难题。该模型必须捕获许多可能的结果，以及要预测的人/车辆与其他交通参与者和环境的相互作用。在考虑社会互动的情况下预测人类轨迹的早期尝试使用了吸引力和排斥力的模型[19，31，8，26，34]，结果令人鼓舞。其他方法包括使用高斯过程[42]和连续动态[43]。较新的作品更受数据驱动。一些[4，10]使用数据来教网络预测基本分布的参数（混合密度网络）[6，10]。其他人将预测空间离散化为网格，并预测其中一个网格单元被占用的概率[22，33]。虽然这些模型显示出有希望的结果，但很难对具有较长时间范围的轨迹进行采样。通过直接使用生成模型对较长的轨迹进行建模，可以克服这一限制。通常，这些模型学习将潜在空间中的样本转换为数据分布中的样本。生成模型最著名的代表是变分自编码器（VAE）[23，13，17]和生成对抗网络（GAN）[16，18，39]。VAE通过自动编码样本和优化数据分布的变量下限来训练另一方面，GAN与生成器共同学习一个时间。该算法的任务是将真实数据样本与生成的数据样本分离，而生成器必须生成欺骗该算法的样本。结果表明，当且仅当生成器已经学习了真实的数据分布时，该训练过程达到最佳[16]。这两种模型都成功应用于各种任务，如纹理合成[27]，超分辨率[24]，文本到图像合成[35]或从掩模合成图像MoN最初由[12]在3d点云生成的背景下引入，并由[18，11，9]采用，用于Mon图2：一维MoN损失的图示仅考虑与目标样本距离最小的样本的误差。这导致模型学习真实PDF的平方根。3. 最小N损失给定生成模型P（X|其中，对于某个n N（例如，对于长度为T的2维轨迹，n= 2T），XRn是要生成的输出，I是一组输入。则MoN损失定义为MoN（x）=min（d（x1，x1），d（x2，x2），.， d（x≠，x））（1）x1，…X阿斯图里亚斯山口其中，x是真实样本，x1。. . X NP（X| I）是从模型生成的样本。函数d（·，·）是某种距离度量。一个自然的 选择是l2距离d（x，y）=xy二、 一维情况下的图示如图2所示。在本文中，我们考虑的问题：给定某个真实概率分布P T（x），使用MoN损失学习的模型是否会收敛到这个P T（x）？为了更好地掌握理论，我们考虑MoN损失的期望值：定义1. EMoN：给定一个概率密度P（x）：Rn[0，1]和某个点x<$Rn。然后我们定义了N上期望最小值函数轨迹预测其他作品使用MoN损失/度量或类似概念进行深度图预测[29]、3D重建[15]、活动预测[17]，以改进VAE [5]或VAE [16]中的变分下界的优化。EMoNP（x）=∫1000000（||x − x1||二、||x − x2||二、…||x − x||（二）用于像素流预测[44]。P（x1）P（x2）。. . P（x N）dx1dx2。. . dxN（2）所有样本目标最接近样本地面实况PDF学习PDFN9956KRO→不1我们可以用下式估计EMoNP（x）：1.提案 给定N1 L最大值，则14：Lmax←Lrun4.正如预期的那样，最小值正好在我们的搜索分辨率k= 0范围内。5，这意味着使MoN损失最小化的PDF是地面实况PDF的平方根。这验证了定理1。十五：k<$best←k<$6.2. 学习混合高斯16：如果结束17：结束第18章：你是谁？19：结束程序Mon9961然后可以发现，通过执行最内层循环的步骤，在推理时间内，定理1和前面的实验表明，对于大N，使MoN损失最小化的PDF实际上是地面真实PDF的平方根。然而，目前尚不清楚，用MoN损失训练的生成模型是否真的收敛到这个解，或者它是否陷入局部最小值。我们用另一个玩具数据集和一个非常9962了解到NNC0.080.070.060.050.040.030.020.010.000.20.00.20.40.60.81.01.20.080.070.060.050.040.030.020.010.000.0 0.2 0.4 0.6 0.8 1.0(a)来自（14）（蓝色）和（15）（或- ange）的彩色编码输入样本(c) 的 学习分布P学习0.080.070.060.050.040.030.020.010.000.20.00.20.40.60.81.01.2(b)来自（16）（蓝色）和（17）（或-范围）的颜色编码目标样本0.08(d) 的 学习分布P2了解到度量Jensen–Shannon表1：基础事实PDF和学习的PDFP学习之间的JS偏差比基础事实和补偿版本P2之间的JS偏差更差。具有简单的均方误差损失，因为它只会学习生成分布的平均值。我们用MoN损失训练模型，N= 128。然而，我们注意到，这一直导致穷人的地方最小图像，其中模式是远离中心预测不佳。我们发现从低N开始，然后在训练过程中慢慢增加它，直到达到最终的N，这是非常有帮助的。所得到的学习PDF如图5c所示。可以看到，学习的PDF看起来是膨胀的。然而，由于定理1告诉我们，图5：输入分布和相应的目标分布分别显示在（a）和（b）在（c）中，应该大约是地面实况PDF的平方根，我们可以简单地平方和归一化箱，来自学习分布P的样本2了解到 被绘制出来，恢复地面真相。 这在5D中示出。 质量-补偿后的PDF的性能优越性是显而易见的。也(d)显示了P学习，它是学习分布的平方Jensen-Shannon散度的数值估计很明显P2和真实分布的赌注匹配-之三.了解到几乎小了一个数量级（见表1）。简单生成模型：数据集由输入组成，这些输入是从f2= N（−1. 5，0。第一章（十四）或f3= N（+1. 5，0。第一章（十五）和目标，这是随机抽样，16.3. 极小化指数对N接下来，我们想通过重复6.1节的实验来验证命题1。这一次我们寻找不同N的MoN极小化指数k.结果绘制在图6中。很明显，命题1至少对这个特定的PDF成立。用PDF的10维版本重复相同的实验（参见图6）。令人惊讶的是，结果表明，对于更高维的PDF，即使对于小的N，MON损失也倾向于k接近0.5。这在使用MoN作为度量的上下文中尤其重要。f2，目标=C或f2，目标（N（−2，1）+N（−4，1））（16）7. 在自动驾驶飞行器轨迹预测中的应用f3，目标1=（（2，1）+（4，1））（17）f3，目标这里考虑的问题是找到一个模型P（Y|其中， Y 是轨迹，分别输入和目标在图5a和图5b中示出并进行对于生成模型，我们使用了一个非常简单的神经网络，该神经网络由一个编码器和一个解码器组成，该编码器通过对来自分布14或15的样本进行编码来预测高斯的均值和方差，该解码器从高斯中获取N个请注意，模型将无法学习正确的分布0.070.060.050.040.030.020.010.000.20.00.20.40.60.81.01.2平方9963--Y=（x1，y1），（x2，y2），...，（x T，y T）的长度T和I是输入。我们的实验与公路车辆和行人轨迹的预测。7.1. NGSIM数据集在本节中，我们将在下一代仿真（NGSIM）数据集上使用MoN训练生成模型，并展示使用算法1补偿学习的概率分布将提高地面真实样本的平均对数似然。9964--2.435.05.56.01.716.51.140.910.770.650.527.07.58.02 32 64 128 256 384 512N电话：+86-0512 - 88888888传真：+86-0512 - 88888888K图6：对于维度为1和10的PDF，相对于N绘制了使MoN损失最小化的k的变化。注意，10维收敛得更快。这意味着，即使对于小N，MoN在更高维度中也偏好广泛的PDF。(a) NGSIM数据集概述[3](b) 高速公路的特写和车辆的跟踪[2]。图7：（a）记录NGSIM数据集的高速公路路段概述[3]。(b)近距离拍摄的I-80与跟踪车辆的可视化。NGSIM数据集由沿着I-80高速公路的一段约0.5公里长的45分钟的车辆跟踪组成（见图7）。我们的生成模型由128个单元图8：平均对数似然依赖于k′用于（9）中的变换它编码车辆的轨迹并预测12维高斯分布的参数 然后我们从这个分布中采样N = 100次。 这些样本由2个密集层编码，每个层有128个单元和ReLu激活。最后，一个有128个单元的解码器LSTM预测了xt和xyt，因此x t−1+xt = x tyt−1+yt=yt。我们对数据进行下采样乘以16倍，考虑3个时间步长，到4.8秒由于车辆在x方向上比在y方向上移动得快得多，在x方向上的较高误差中，我们在训练期间（而不是在测试时间期间）以因子20对如5.2中所述，对于在具有成本图的路径规划的背景下的轨迹预测问题，仅考虑边缘化分布就足够了（参见5.2中所述的用KDE重建的未补偿边缘化PDF的图的补充材料由于我们使用的是MoN损失，因此必须对学习的PDF进行膨胀效应补偿。 我们应用算法1为了这个目的。我们将n样本设置为1000，α分裂设置为0.7。作为可能的补偿参数k的集合，我们使用0.001和3之间的25个值。我们的实验表明，k<$opt，t=1=1。88，k<$opt，t=2=2。12和k<$opt，t=3=2。12接近预期值2。图中显示了与所选k′相关的平均对数曲线在图8中。补充材料显示了补偿重建的PDF。此外，如果我们使用Algo-rithm 1，用于找到对所有3个时间步长都是最优的k<$opt然而，该算法得出k<$opt=2。00withing搜索分辨率，这正是理论上预期的值。在获得k′opt后，我们将补偿应用于遗漏的测试数据集，并观察到改进-在平均对数似然地面真理的解释，1 dim10 dimt=1t=2t=3K对数似然9965≥PDFL1（P）D试验L2（P）D试验L3（P）D试验原始PDF-5.48-5.46-5.50补偿PDF-5.28-5.13-5.12表2：NGSIM数据集上前3个时间步长（4.8秒）的（10）中定义的边缘化对数似然的结果。补偿的PDF始终优于未补偿的PDF。图9：Zara数据集与地面实况轨迹的图示。瑞斯。结果（见表2）表明，我们的补偿PDF明显优于未补偿的PDF。7.2. 社交GAN接下来，我们使用Social-GAN [18]对行人轨迹数据进行实验，以表明即使是最先进的模型也可以通过使用我们提出的补偿来改进。在这里，作者使用了MoN损失和对抗性损失的组合。他们还设计了一个社会汇集机制，以有效地模拟行人的社会互动。 我们考虑Zara 1数据集[1]并使用由[18]的作者提供的最佳性能模型（https：//github.com/agrimgupta92/sgan）。Zara数据集由489个轨迹组成，这些轨迹是从城市人行道拐角处的13分钟视频中提取的（见图9）。在补充材料中，显示了未补偿的PDF的一些绘图。我们使用与7.1相同设置的最佳组合-补偿参数为k<$opt，t=1=2。50，k′opt，2=1。63岁平均对数似然相对于图10中显示了所选择的k′。补充材料示出了补偿后的重建PDF。边缘化对数似然的最终结果如表3所示，其中我们清楚地看到了优于未补偿版本的优势然而，对于t3和更困难的行人数据集，这种补偿不起作用。这可能是因为太多的样本属于低概率-图10：平均对数似然依赖于k′用于（9）中的变换。PDFL1（P）D试验L2（P）D试验原始PDF-5.57-5.87补偿PDF-5.24-5.77表3：Zara1数据集前2次的（10）中定义步补偿后的PDF性能优于未补偿的PDF。F或t=3，补偿参数k<$opt为但是小于1，这意味着它没有很好地学习PDF，我们的补偿没有意义。这是由社会GAN学习的PDF的能力区域。因此，锐化学习的分布使其更远离地面真实分布。8. 结论在本文中，我们证明了MoN损失的最小值不是地面真实PDF，而是其平方根。我们使用玩具和现实世界数据集上的不同实验验证了这一结果。这意味着最小化MoN的PDF是真实PDF的扩大版本。仅限于某一类PDF，我们还经验性地表明，MoN最小化PDF随着N的增大而单调地进一步延伸。这使我们得出结论，MoN不应该被信任为比较模型的唯一指标。对于轨迹预测，我们主张也使用边际化PDF的对数似然此外，我们根据经验验证了用MoN损失训练的最后，我们表明，对于某些低9966引用[1] “crowds-by-example”数据集（zara 1数据集）。https://graphics.cs.ucy.ac.cy/research/downloads/crowd-数据。访问时间：2018-11-02。[2] I-80ngsim验证。http://www2.ece.ohio-state.edu/coifman/documents/I80-NGSIM/. 访 问 时 间 ：2018-11-02。[3] 下一代模拟数据集。https://ops.fhwa.dot.gov/trafficanalysistools/ngsim.html的网站。访问时间：2018-11-02。[4] Alexandre Alahi，Kratarth Goel，Vignesh Ramanathan，Alexandre Robicquet，Li Fei-Fei，and Silvio Savarese.社会责任：拥挤空间中的人体轨迹预测。在IEEE计算机视觉和模式识别会议（CVPR）上，2016年6月。[5] Apratim Bhattacharyya，Bernt Schiele，and Mario Fritz.基于多样本最优目标的序列的精确和多样的采样。在IEEE计算机视觉和模式识别会议论文集，第8485-8493页[6] Christopher M.主教混合密度网络技术报告，1994年。[7] 赵显宗核密度估计的带宽选择。安，中央集权主义者。，19（4）：1883[8] 崔元君和西尔维奥·萨瓦雷塞多目标跟踪和集体活动识别 的 统 一 框 架 。 在 Andrew Fitzgiant ， SvetlanaLazebnik，Pietro Perona，Yoichi Sato和Cordelia Schmid的编辑中，计算机视觉– ECCV 2012施普林格柏林海德堡。[9] Henggang Cui ， Vladan Radosavljevic ， Fang-ChiehChou，Tsung-Han Lin，Thi Nguyen，Tzu-Kuo Huang，Jeff Schnei-der，and Nemanja Djuric.使用深度卷积网络进行自动驾驶的多模式轨迹预测。arXiv预印本arXiv：1809.10732，2018。[10] Nachiket Deo和Mohan M.特里维迪 用于车辆轨迹预测的卷积社会汇集。CoRR，abs/1805.06771，2018。[11] Parth Kothari et.使用对抗损失的人类轨迹预测。[12] Haoqiang Fan，Hao Su，and Leonidas Guibas.一种用于从单幅图像重建三维物体的点集生成网络。arXiv电子版，第arXiv：1612.00603页，2016年12月。[13] 潘纳·费尔森帕特里克·露西和苏乔伊·甘古利他们会去哪里使用条件变分自编码器预测细粒度对抗性多智能体在欧洲计算机视觉会议（ECCV）上，2018年9月。[14] 戴夫·弗格森。有效地使用成本图来规划复杂的机动。2008年[15] Matheus Gadelha 、 Aartika Rai 、 Subhransu Maji 和 RuiWang。使用对抗网络从图像集合推断3D图像。arXiv电子印刷品，第arXiv：1906.04910页，2019年6月。[16] Ian Goodfellow 、 Jean Pouget-Abadie 、 Mehdi Mirza 、Bing Xu 、 David Warde-Farley 、 Sherjil Ozair 、 AaronCourville和Yoshua Bengio生成性对抗网。在Z. Ghahra-mani，M.威灵 角Cortes ，N. D. Lawrence 和 K. Q. Weinberger ， 编辑，Advances in Neural Information Processing Systems27，第2672-2680页。Curran Associates，Inc. 2014年[17] 关嘉琪，叶远，Kris M.基塔尼和尼古拉斯·莱因哈特。用于活动预测的生成混合表示与无悔学习。arXiv电子印刷品，第arXiv：1904.06250页，2019年4月。[18] 阿格里姆·古普塔、贾斯汀·约翰逊、李飞飞、西尔维奥·萨瓦雷塞和亚历山大·阿拉希。Social GAN：SociallyAcceptable Tra- jectories with Generative AdversarialNetworks.arXiv电子印刷品，第arXiv：1803.10892页，3月。2018年。[19] DirkHelbing和Pe'terMol na' r。行人动力学的社会力模型51：4282[20] 斯蒂芬·赫拉德基和瓦迪姆·布利特科。第一人称射击游戏 中 预 测 对 手 位 置 的 模 型 评 估 。 2008 年 IEEESymposium On Computational Intelligence and Games ，第39-46页[21] 珍妮特基弗和雅各布沃尔福威茨。回归函数最大值的随机估计 Ann. 数学中央集权主义者，23（3）：462[22] Byeoungdo Kim、Chang Mook Kang、Seung-Hi Lee、Hyun- min Chae、Jaekyum Kim、Chung Choo Chung和Jun Won Choi。基于递归神经网络的概率车辆轨迹预测.CoRR，abs/1704.07049，2017。[23] Diederik P Kingma和Max Welling。自动编码变分贝叶斯。arXiv电子印刷品，第arXiv：1312.6114页，12月。2013.[24] Christian Ledig，Lucas Theis，Ferenc Huszar，Jose Ca-Ballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew Aitken，Alykhan Tejani，Johannes Totz，ZehanWang，and Wenzhe Shi.使用生成对抗网络实现照片真实的单图像arXiv电子版，第arXiv：1609.04802页，2016年9月。[25] 放大图 片作者：Namhoon Lee ，Wongun Choi，PaulVernaza ， Christopher B. 作 者 ： Philip H. S. Torr 和Manmohan Chand Raker。动态场景中交互代理的远未来预测arXiv电子印刷品，第arXiv：1704.04394页，2017年4月。[26] Alon Lerner、Yiorgos Chrysanthou和Dani Lischinski。群众的榜样。Computer Graphics Forum，26（3）：655[27] Chuan Li和Michael Wand。基于马尔可夫生成对抗网络的预计算实时arXiv电子印刷品，第arXiv：1604.04382页，2016年4月。[28] Junwei Liang，Lu Jiang，Juan Carlos Niebles，AlexanderHauptmann，and Li Fei-Fei.窥视未来：预测未来的人的活 动 和 地 点 的 视 频 。 arXiv 电 子 版 ， 第 arXiv ：1902.03748页，2019年2月。[29] 刘晨，杨集美，杜伊古·锡兰，埃尔辛·尤默，古川雅秀.Planenet：从单个RGB图像进行逐段平面重建。CoRR，abs/1804.06278，2018。[30] Wenjie Luo，BinYang，and Raquel Urtasun.快速和激情：实时端到端3D检测，跟踪和运动前9967用单个卷积网铸造在IEEE计算机视觉和模式识别会议（CVPR）上，2018年6月。[31] Ramin Mehran、Alexis Oyama和Mubarak Shah。Ab-使用社会力模型的正常人群行为检测。2009年IEEE计算机视觉和模式识别会议，第935-942页[32] Matthew O Kelly，Aman Sinha，Hongseok Namkoong，Russ Tedrake，and John C Duchi.通过罕见事件模拟进行可扩展的端到端自动驾驶车辆测试。In S. Bengio，H.Wallach ， H. 拉 罗 谢 尔 湾 格 劳 曼 Cesa-Bianchi 和 R.Garnett，编辑，神经信息处理系统进展31，第9827-9838页。Curran Associates，Inc. 2018年。[33] Seong Hyeon Park 、 ByeongDo Kim 、 Chang MookKang、Chung Choo Chung和Jun Won Choi。通过LSTM编码器-解码器架构进行车辆轨迹的序列到序列预测。arXiv电子版，第arXiv：1802.06338页，2018年2月。[34] Stefano Pellegrini，Andreas Ess，Konrad Schindler，andLuc van Gool.你在2009年IEEE第12届计算机视觉上，第2612009年[35] Scott Reed ， Zeynep Akata ， Xinchen Yan ， LajanugenLo- geswaran，Bernt Schiele，and Honglak Lee.生成对抗性文本到图像合成。arXiv电子印刷品，第arXiv：1605.05396页，2016年5月。[36] NicholasRhinehart，KrisKitani，andPaulVernaza.R2p2：一个重新参数化的前推策略，用于多样化，精确的生成路径预测。在欧洲计算机视觉会议上。Springer，2018.[37] Nicholas Rhinehart ， Rowan McAllister ， Kris Kitani 和Sergey Levine。PRECOG：在视觉多智能体设置中以目标为条件的预测。arXiv电子版，第arXiv：1905.01296页，2019年5月。[38] Branko Ristic，Barbara La Scala，Mark Morelande和NeilGordon。AIS数据中运动模式的统计分析：异常检测和运动预测。2008年第11届信息融合国际