没有合适的资源?快使用搜索试试~ 我知道了~
{amir.rasouli, mohsen.rohani, jun.luo1}@huawei.comInteraction ModellingMultimodal EncodingMultitask PredictionActionFinal LocationTrajectoryTrajectoryGrid locationsEgo-motionScenes156000行人行为预测的双重和语义推理0Amir Rasouli, Mohsen Rohani, JunLuo 华为技术加拿大公司0摘要0行人行为预测是智能驾驶系统面临的主要挑战之一。行人经常展示受各种上下文元素影响的复杂行为。为了解决这个问题,我们提出了BiPed,一个多任务学习框架,通过依赖于多模态数据同时预测行人的轨迹和动作。我们的方法受益于以下几点:1)一种双重编码方法,不同的数据模态独立处理,使它们能够发展自己的表示,并共同使用共享参数为所有模态生成表示;2)一种新颖的交互建模技术,依赖于场景的分类语义解析,捕捉目标行人与周围环境之间的交互;3)一种双重预测机制,使用独立和共享解码多模态表示。使用公共行人行为基准数据集PIE和JAAD,我们突出了所提出方法在行为预测方面的优势,并展示了我们的模型在轨迹和动作预测方面分别提高了22%和9%的性能。我们进一步通过广泛的消融研究来研究所提出的推理技术的贡献。01. 引言0在复杂的城市环境中预测道路用户行为对于辅助和智能驾驶系统至关重要。当这些系统遇到表现出不同行为的行人时,预测尤其具有挑战性[1],这些行为取决于各种上下文因素,如社交互动、道路结构、交通状况和其他环境因素[2]。行人行为可以以未来轨迹[3, 4,5]的形式隐式预测,也可以以即将发生的动作[6, 7,8]的形式显式预测。从最近的研究[5, 9,10]可以看出,这两种类型的行为预测发挥着互补的作用。例如,预测行人的动作,如过马路,意味着可能会在马路上进行横向移动。同样,行人0图1.提出的多任务学习用于同时预测行人轨迹、动作和最终位置。交通要素的相互作用与单独和联合编码的视觉环境、行人运动和自车运动输入一起建模。0预计与停放的车辆进行互动。为了捕捉行为的这些互补方面,我们提出了一个多任务学习框架,同时预测行人的轨迹、动作和最终位置(见图1)。为了学习复杂的行人行为,我们的模型依赖于多种数据模态,包括视觉环境、行人运动和自车动力学。所提出的方法独立地和联合地处理不同的输入模态和任务。独立处理允许每个模态或任务学习自己的参数,而联合处理则作为正则化器,使模型学习更具代表性的特征。由于行人的行为通常受到周围环境的影响,我们引入了一种基于场景的语义组合来模拟目标行人与周围环境之间的交互的新技术。所提出的技术依赖于基于对象类别划分的场景的视觉语义表示。我们使用公共行人行为基准数据集PIE[10]和JAAD[11]评估了所提出方法的性能,并表明我们的方法在行人轨迹和动作预测任务上显著优于最先进的算法。02. 相关工作02.1. 多模态行为预测0计算机视觉和机器人领域的人类行为预测研究具有许多实际应用,例如156010人-物[12, 13]和人-人[14, 15]的相互作用,风险评估[16,17],异常检测[18],监视[19, 9],体育预测[20,21]和智能驾驶系统[22,8]。至于行人,他们的行为可以通过轨迹[23, 24, 3, 25,26]或动作(例如过马路[27,8]或与物体交互[9])来隐式预测。轨迹预测。行人预测研究主要以轨迹预测为主导。在这个领域中,有大量的工作致力于在监视序列上进行预测,其中观察到了一组行人的运动,这些运动是从固定的鸟瞰视角记录下来的[23, 24, 3, 25, 26,28, 29, 30,31]。与鸟瞰视角预测算法相对的是以车载摄像机视角记录下来的图像平面上的行人轨迹预测方法[4, 5, 10, 32, 33, 34,35,36]。车载摄像机视角的轨迹预测通常更具挑战性,因为首先,在没有深度信息的情况下,很难推断出行为者的相对位置,其次,摄像机的自我运动可能会影响行人的行为和图像平面上的预测轨迹。为了解决这些挑战,车载摄像机视角的算法使用多模态方法。例如,[35]中的模型提出了一种双流递归编码器-解码器架构,其中一个流处理行人轨迹,另一个流处理车辆的自我运动。车辆自我运动预测器的输出与行人流一起用于预测轨迹。一些基于类似架构的模型使用行人动作(例如等待过马路[5])或执行动作的意图(例如过马路[10])作为输入来推断未来的轨迹。一些方法依赖于完全前馈的方法,例如[32],其中三个流的一维卷积层编码自我运动、行人轨迹和姿势,其输出使用卷积解码器进行解码。动作预测。行人动作预测也正在积极研究,重点是预测人与人或群体之间的相互作用[37, 15, 38, 39, 40,41]。在驾驶环境中,主要关注的是预测行人的过马路动作,以评估风险并预测安全运动规划的行人轨迹[42, 6, 43, 44,11, 7, 8,27]。其中一组算法使用单模态图像序列进行预测。例如,[44,6]的方法是卷积生成模型,用于预测未来的交通场景,然后用于预测过马路事件。在[43]中,使用3DDenseNet首先定位行人,然后预测他们的过马路动作。对于过马路预测,多模态架构更为常见[11, 7, 8,27]。例如,[8]中的模型是一个多层递归架构,其输入包括行人的外观和周围环境、行人的轨迹和姿势,以及自我运动和车辆的外观。0自我车辆速度。这些特征根据其复杂性逐级输入到网络中。[27]中提出的方法使用分层LSTM架构,其中使用独立的LSTM对光流图和图像以及车辆动力学进行编码。这些LSTM的输出被连接起来,并输入到嵌入层,然后再输入到另一个LSTM进行预测。[42]中的方法是一种混合架构,使用3D卷积网络对视觉特征进行编码,使用LSTM对其他模态进行编码,然后使用时间注意模块。表示被输入到模态注意单元进行预测。然而,先前提出的不同数据模态的独立编码更容易受到噪声的影响,可能无法捕捉到跨模态的相关性。因此,我们提出了一种双向方法,既独立地编码不同的模态,又联合地编码不同的模态,从而使系统能够学习更具代表性的特征用于不同的任务,并学习不同模态之间的时间相关性。02.2. 交互建模0在多智能体环境中行为预测的一个基本组成部分是理解智能体之间的相互作用,因为它们的行为可能会相互影响。因此,交互建模被广泛用于行人轨迹预测。例如,[31, 25,26]中的方法使用社交汇聚技术,共同处理邻近区域内行人的轨迹,以学习它们之间的空间依赖关系。基于注意力的方法根据相对距离和运动为相互作用的行人分配重要性值[30,29,45]。另外,图结构可以用来将表示为节点的相互作用行人分配重要性[46, 24, 3, 47,48]。自我中心的轨迹预测算法遵循类似的基于轨迹的路线来建模交互。例如,[36]中的方法为建模交互定义了两个区域:一个围绕自我车辆的区域,在图像平面上由一个椭球体定义,以及一个根据驾驶员的行为确定的车辆驾驶视野。[5]的作者通过使用RNN共同处理场景中所有智能体的过去位置和动作信息来建模交互。在没有对象的全局位置的情况下,基于图像平面上的2D坐标建模交互可能会有问题。例如,两个身高不同的人并排走路可能会有与两个身高相同但相距较远的人相似的轨迹。此外,在城市驾驶场景中,每个行人与所有其他道路使用者之间的成对建模交互是不可扩展的。156020为了解决这些缺点,我们提出了一种分类交互建模技术,它依赖于不同类别对象随时间的视觉空间变化。我们的方法对场景的动态和静态上下文进行编码,并使用注意机制确定不同上下文元素的重要性。02.3. 多任务学习0正如机器学习的各个领域所证明的那样,如行为/表情理解[49, 50, 51, 52]、物体识别[53, 54, 55, 56]、智能驾驶[57,58, 59, 60, 61]和其他计算机视觉应用[62, 63, 64,65],多任务学习是提高多个任务性能的有效方法。行人行为预测也不例外,在近年来已经提出了许多多任务算法来解决这个问题[66, 67, 9,68]。例如,[66]的作者同时预测行人的头部姿势和轨迹,并利用两者之间的相关性来改进轨迹预测。[68]中的方法同时检测行人并预测他们的未来轨迹。它使用编码为不同特征表示的点云序列,这些特征表示被馈送到前馈骨干网络中。骨干网络的输出用于生成用于定位行人和预测其轨迹的时间提议。Liang等人[9]共同预测行人的轨迹和活动,例如与汽车的互动,使用一个循环框架对不同数据类型进行编码,包括场景语义、姿势和轨迹,并结合它们的表示在不同任务的分支上进行联合推理。在智能驾驶的背景下,预测行人的轨迹和动作对于规划是重要的。这些任务可以发挥互补的作用-轨迹预测提供未来帧中准确的位置信息,而动作预测有助于解释事件的性质和预期的运动类型。鉴于这两个任务之间的相互有益关系,我们提出了一种多任务学习方法,同时预测轨迹和动作。与其他方法不同的是,除了独立的任务预测器外,我们还使用共享的预测模块来捕捉不同任务之间的相关性,并根据独立和联合模块的输出进行最终预测。贡献:1)我们提出了一种多任务行人行为预测框架,使用自我中心图像序列同时预测行人的轨迹、动作和最终位置。所提出的方法受益于一个双重编码方案,独立和联合学习不同的数据模态,一个分类交互模块,用于编码目标行人与周围环境之间的交互,以及一个预测机制,使用独立和共享的输出进行预测。0解码器。2)使用两个公开可用的行人行为数据集,即PIE[10]和JAAD[11],我们评估了我们的模型,在轨迹和过马路动作预测的两个任务上都取得了最先进的性能。3)通过进行大量的消融研究,展示了所提出模型的组成部分的优势。03. 方法03.1. 问题建模0我们将行人行为预测建模为一个多目标优化过程,目标是学习分布p(L_p, a_i, g_t+τ_i|SC_o, L_o, G_o,V)。其中1
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 保险服务门店新年工作计划PPT.pptx
- 车辆安全工作计划PPT.pptx
- ipqc工作总结PPT.pptx
- 车间员工上半年工作总结PPT.pptx
- 保险公司员工的工作总结PPT.pptx
- 报价工作总结PPT.pptx
- 冲压车间实习工作总结PPT.pptx
- ktv周工作总结PPT.pptx
- 保育院总务工作计划PPT.pptx
- xx年度现代教育技术工作总结PPT.pptx
- 出纳的年终总结PPT.pptx
- 贝贝班班级工作计划PPT.pptx
- 变电值班员技术个人工作总结PPT.pptx
- 大学生读书活动策划书PPT.pptx
- 财务出纳月工作总结PPT.pptx
- 大学生“三支一扶”服务期满工作总结(2)PPT.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)