没有合适的资源?快使用搜索试试~ 我知道了~
660用于轨迹预测的递归社会行为图孙建华1,蒋勤红2,策武路11中国上海交通大学2商汤科技集团有限公司,中国@sjtu.edu.cnjiangqinhong@sensetime.com摘要社会互动是人类轨迹预测的一个重要主题,以产生合理的路径。在本文中,我们提出了一个新的见解,基于群体的社会互动模型来探讨行人之间的关系。我们递归地提取由基于组的注释监督的社会表征,并将其公式化为社会行为图,称为递归社会行为图。我们的递归机制在很大程度上探索了表示能力。然后,图卷积神经网络被用来传播这样的图中的社会互动信息。在递归社会行为图的指导下,我们在ADE和FDE数据集上平均超过了ETH和UCY数据集上最先进的方法11.1%和10.8%,并成功预测了复杂的社会行为。1. 介绍预测人类在动态场景中的未来轨迹它是自动驾驶和人机交互的关键技术之一,为后续的决策过程提供密集的信息轨迹预测的主要挑战在于如何将人与人的交互纳入考虑以生成合理的路径[2,13,3,6,27,26]。早期的研究工作为解决这一问题做了大量的工作。社会力[14,28]抽象出不同类型的力,如加速和减速力来处理它。近年来,深度学习取得了很大的进展,这激发了研究人员开始研究基于深度神经网络的方法。一些研究[2,13,34,18,17]修改了递归神经网络(RNN)架构,并使用特定的池化或注意机制来整合RNN之间的信息。†卢策武是通讯作者,中国上海交通大学人工智能研究所青元研究院和MoE人工智能重点实验室图1.远距离无关的人与人之间相互作用的例子。图像按时间顺序从左到右排列。前三张图片显示两个人(带红圈)从相反的方向走到同一个目的地。下面的三张图片显示,左边红圈的人正在跟随右边红圈的人,而蓝色圈的人几乎没有影响。虽然取得了很大的进步,但仍然存在挑战。基于力的模型[28]利用距离来计算力,当相互作用复杂时将失败对于池化方法[2,13],两个人在单个时间步的距离被用作计算关系强度的标准。[18,34]中的注意力方法也遇到了同样的问题,即在他们的方法中使用欧氏距离来指导注意力机制。一般来说,这些学习方法试图使用距离来制定不同代理之间的影响力,但忽略了基于距离的计划不能处理人类社会中的许多社会行为。图1显示了两个典型的例子。前三张图片显示两个人从相反的方向走到同一个目的地。下面的三张图片显示三个行人沿着街道走,而另外三个人站着不动,互相交谈。尽管在这两个场景中,红圈中的行人距离很远,但他们表现出很强的关系。在本文中,我们的目的是探索行人之间的关系超出了使用的距离。为此,我们提出了一个新的见解,基于组的社会互动建模。一个群体可以被定义为一组具有661图2.组和组中的交互的例子。红圈和蓝圈是不同的群体。箭头的方向表示相互作用的影响方向。类似的动作、行为、目的或目的地。如图在图2中,每种颜色代表一个组,并且关系用箭头注释以显示相互作用的方向性。此外,场景中的这样的组可以被公式化为图,这是用于特征传播的常见结构此外,我们认为,社会关系表征过于复杂,不能很好地捕捉手工制作的方法。为了对这种新的见解进行建模,我们提出了一个神经网络来递归地提取社会关系,并将其公式化为一个社会行为图,称为递归社会行为图(RSBG)。每个行人被认为是一个节点的功能,考虑到历史轨迹。这些节点通过关系社会表示连接起来,这些关系社会表示被认为是图的边。我们使用组注释来监督社会表征的生成,这是第一次社会相关的注释被用来帮助神经网络学习社会关系。此外,一个递归机制的介绍。我们递归地更新交互范围内的个人轨迹特征的社会表征,反过来,更好的个人特征被用来升级社会表征。为了传播RSBG引导的特征,我们的系统在图卷积神经网络(GCN)的框架下工作。在多个人体轨迹基准上的实验,包括ETH[31]中的两个数据集和UCY[21]中的三个数据集,表明我们的模型在准确性提高方面的优越性。我们的贡献可概括如下:1. 我们提出了递归社会行为图,一种新的图形表示的社会行为建模,和递归神经网络来生成它。该网络旨在提取潜在的行人关系,并通过组注释进行监督,这是第一次在预测任务中引入由专家注释的社会相关注释。2. 我们首先引入GCN来整合动态场景中的人类社会3. 我们在几个视频数据集进行详尽的实验。 通过应用我们提出的方法,我们能够实现11.1%的ADE和10.8%的FDE相比,国家的最先进的方法的改进。2. 相关工作人体轨迹预测人类轨迹预测是根据人的历史轨迹和视觉特征,如他当前的动作和环境,预测人的可能轨迹的任务。随着人类理解和轨迹跟踪技术的成熟[30,6,10,12,11],许多研究已经在这个领域已经做了[28,16,31,32,33,42,44,20,5]。早期的研究[28,39,20]试图建立数学模型来预测轨迹。例如,能量最小化[39]模型构建了一个网格图,每个边都有成本,将轨迹预测公式化为最短路径问题,并通过Dijkstra算法求解。IRL由Abbeel等人提出。[1]在[20]中被用于轨迹预测,其将人类行为建模为顺序决策过程。随着神经网络的发展,已经提出了许多基于深度学习的预测方法[22,2,13,17,34,35,41]Alahi等人[2]使用新的池化方法修改了vanilla LSTM结构,以在人群场景中传播Gupta等人[13]和Liet al. [22]在他们的预测框架中应用了生成对抗网络来探索人类行为的多模态。Sadeghian等人[34]和Lianget al. [25]从上下文中提取丰富的信息,以进行更准确的预测。这些研究都取得了重大突破.轨迹预测中的人机交互。 人类对象交互(HOI)[9,36,24,40,23]为场景理解带来了丰富的信息。因此,人与人之间的相互作用对于正确预测未来轨迹至关重要。早期的研究,如社会力量[14],通过各种类型的力量在动态场景然而,由于一些关键参数高度基于先验知识,如力定义,它们不能处理复杂的人群场景,各种各样的行人可能会采取不同的行动。近年来,递归神经网络(RNN)在解决序列问题方面表现出了强大的能力[4,7,8,29,19]。然而,基于单一RNN的架构无法处理人与人之间的交互。Alahi等人[2]提出了Social- LSTM,它在vanilla LSTM中的每个时间步之后应用社会池来集成社会功能。Gupta等人[13]改善社会统筹,以把握全球背景。这些662我池化方法使用两个人之间的距离作为标准来计算关系的强度。此外,[34,18]引入了注意机制来传播社会特征,但它们也遇到了注意力高度受距离限制的问题。Sadeghian等人[34]利用目标主体与其他主体之间的欧氏距离作为参考,对这些主体进行注意前置换不变量机制,而Ivanovic等.[18]利用欧几里德距离建立一个交通代理图来引导注意机制。因此,这些方法不能处理图1中描述的情况。1很好。最近,Huanget al. [17]提出了一种基于图注意力(GAT)的网络,用于在不需要特别监督注意力机制的情况下传播不同行人之间的空间和时间交互。虽然这种方法不受距离的限制,但注意力机制不能处理复杂的场景,因为缺乏监督,并可能在某些情况下失败,如第二节所讨论的。4.2在[17]中。图 神 经 网 络 图 神 经 网 络 ( Graph Neural Network )GNN)及其变体[38]是为了处理欧几里得空间中表示的数据而诞生的。GNN可以分为不同的类型,其中图卷积网络(GCN)[15]已广泛用于不同的计算机视觉任务。例如,Gaoet al. [12]在深度连体网络中训练GCN,用于视觉跟踪任务中的鲁棒目标定位。STGCN是正常GCN的一种变体,由Yan等人使用。[43]建立一个动态骨架图用于人体动作识别。Wang等人[37]采用GCN来匹配图像中的图形。在本文中,我们将展示GCN如何在人与人的交互过程中传播社会特征,并成功地提高轨迹预测的整体准确性。3. 方法在本节中,我们提出了一个社会行为驱动的模型,以实现从群体层面的轨迹预测它旨在捕捉公共场所的行人经常聚集和成群行走的事实,特别是在人群场景中。这些群体显然表现出显著的社会行为,如跟随和加入,这对轨迹预测很重要。3.1. 问题定义根据以前的作品[2,13],我们假设每个视频都经过检测和跟踪算法的预处理,时间t我们观察每个人在时间步长[1,Tobs]中的坐标序列和物体块作为输入,并预测[Tobs+1,Tobs+pred]中的坐标序列作为输出。3.2. 概述给定视频提供的场景中的一系列行人,每对行人之间的关系可以由集合定义。R ={r(i1,i2)|0≤i1,i2
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功