多类轨迹预测的标签感知图表示实现

软件影响11（2022）100201原始软件出版物基于PyTorch的多类轨迹预测的标签感知图表示实现作者：Hubert P.H.沙姆湾a香港城市大学，香港b英国杜伦大学自动清洁装置保留字：轨迹预测图卷积网络多类预测流量分析人体运动理解A B标准不同模式下的轨迹预测在从城市交通分析到人体运动理解等多个实际应用中受到越来越多的关注，其中图卷积网络（GCN）以其在多人复杂轨迹交互建模方面的优越能力被广泛采用。在这项工作中，我们提出了一个python包，通过增强GCN与类标签信息的轨迹，这样我们就可以显式地建模不仅是人类的轨迹，也是其他道路使用者，如车辆。这是通过将标签嵌入图与标准图卷积层中的现有图结构集成来完成的。该软件包的灵活性和可移植性也允许研究人员在更一般的多类序贯预测任务下使用它代码元数据当前代码版本v1用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-138Reproducible Capsule的永久链接https://codeocean.com/capsule/5286757/tree/v1法律代码许可证MIT许可证使用git的代码版本控制系统使用Python的软件代码语言、工具和服务编译要求，操作环境依赖PyTorch 1.2.0，Python 3.7+如果可用，链接到开发人员文档/手册https://github.com/Yutasq/Pytorch-based-Implementation-for-Label-aware-Graph-Convolution-Networks/blob/main/README.md问题支持电子邮件qianhumen2-c@my.cityu.edu.hk1. 介绍由于需要对具有不同速度和模式的不同类型的轨迹进行建模，因此多类轨迹预测具有挑战性。指示道路使用者的类型的轨迹的类别信息对于指导未来移动趋势的准确估计是必不可少的作为一个激励性的例子，汽车或自行车的轨迹可能对行人的未来移动产生不同的影响，因为行人倾向于与汽车保持更大的距离。对于这种多类情况，我们对道路使用者的轨迹进行建模，以进行预测作为无向空间图。我们的主要见解是将类标签合并到图形表示中，这将被用来通知轨迹的预测。我们的想法是在时空图卷积神经网络（STGCNN）上开发的，该网络具有有目的地设计的邻接标记，以增强具有语义意义的轨迹预测。我们介绍了使用类标签的几何为基础的图形结构的轨迹编码。这样，预测的轨迹将不仅由附近道路使用者的观察到的轨迹来通知，而且还由它们的分类属性来通知。成功领养本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。*通讯作者。电子邮件地址：qianhumen2-c@my.cityu.edu.hk（Q. 男子），休伯特. durham.ac.uk（H.P.H.Shum）。https://doi.org/10.1016/j.simpa.2021.100201接收日期：2021年10月18日;接收日期：2021年11月17日;接受日期：2021年12月1日2665-9638/©2021作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsQ. 男人和H.P.H.Shum软件影响11（2022）1002012Fig. 1. 交通预测中标签感知图形表示生成和轨迹分布建模的架构。 A是标签感知邻接矩阵，A是根据轨迹的相对距离计算的基于几何的邻接矩阵，A是合并两者的最终邻接矩阵到轨迹预测领域中的两个流行任务，即，交通轨迹预测[1]和基于运动预测的运动预测[2]支持了所提出的方法在复杂的现实世界场景中的可用性和通用性。我们在PyTorch中实现解决方案。我们采用Mohamed等人的主干（STGCNN）框架。[3]，由于其卓越的性能和建模时空轨迹依赖关系的组织良好的图形结构。我们还利用标准Python库进行数值计算和数据可视化。 为了提高算法的有效性，我们引入了一个类平衡计划，以重新加权的损失，每一类的数量。实施的软件已经形成了展示人群轨迹的卓越预测准确性的一部分[1]。2. 软件描述作为一种先进的深度学习方法，最近的文章通常在预定义的图结构下对轨迹的社会关系进行建模[3=（，），其中节点集包含场景中的所有实体表示连接任意两个在建模具有空间和时间特征的轨迹数据中。 为了处理时间信息，我们堆叠了多个卷积层来对轨迹的深度顺序依赖关系进行建模。在推断期间，预测未来轨迹的双变量分布，包括每个对象在每个时间戳的平均值、标准差和相关性。然后可以从这样的分布中采样位置轨迹。算法流程在Alg. 1来展示代码的架构。基于上述模型实现的软件 在支持良好的PyTorch机器学习框架下编程，常见包包括numpy≥1.0和torch1.2.0.关于2D交通（Stanford Drone Dataset [10]）和3D骨架（CMUDataset [11]）轨迹预测的两个广泛实验也可用于训练和验证。为了提高软件的效率，我们使用适当的缩放因子（2D流量为10，3D骨架为1000）对输入数据进行归一化。我们还根据对象的出现情况调整不同类别对象的错误损失。由于在3D骨骼预测中，所有关节作为类在运动中同等出现，因此采用类平衡图中的节点。由对象轨迹的相对距离决定的邻接矩阵A通常用于表示图的相关属性[1，3，7]。这样的矩阵表明两个节点是否应该被认为是连接的，如果是，在什么程度上。在这项研究中，我们提出了一个标签引导的邻接矩阵A，其定义如下：A=[A，A′]1+1。���（一）其中，1和1分别表示线性层的权重和偏置参数这里，A是逻辑方阵，其中1表示行和列索引的相同轨迹标签，否则为0。在线性映射之前的one-hot嵌入确保相同的标签对将具有相同的学习特征。此外，总体邻接矩阵A将来自基于距离的邻接A和基于标签的邻接A的特征与线性层合并，线性层由下式给出������A=[A，A]2+2。���（二）其中，2和2分别是线性层的权重和偏置。与非参数合并相比，本文引入的线性层有两个优点。 这是为了更好地拟合两个层次的邻接相关性，并增加模型的容量。 请注意，这种图形表示可以部署在许多类型的基于图的深度建模中，例如[8]提出的最流行的图卷积网络（GCN）或图注意力网络（GAT）[9]，以学习高级节点嵌入。学习标签感知图表示和建模预测轨迹的架构在图中给出。1.一、此外，我们使用这是因为这样的网络是有效的该方案仅对交通轨迹预测起作用3. 影响概述在轨迹预测的广泛主题下，我们介绍了可以使许多应用受益的软件，包括但不限于自动驾驶，行人行为理解，运动预测和估计。该软件是建立在图卷积神经网络的基础上，这是公认的最有效的模型之一，在分析运动物体的轨迹。由于类别标签总是与对象信息一起捕获，因此软件可以轻松地适应多个类别场景下的新数据集或预测环境。在这篇文章和所附的软件中，我们展示了在流量和骨架轨迹预测下学习标签感知该软件提供了一个轨迹预测实现可转移的任务，显示改进的标准时空GCN基线时，类标签不考虑。还要注意的是，与标签不可知的基线相比，标签感知的GCN仅显示出可训练参数和模型大小的轻微增加，并且推理时间几乎没有增加。该软件还提供了基于距离的测量标准评估指标[7，12]，使程序员能够在自己的数据集上验证他们的预测结果该软件可以扩展为现实世界中的许多潜在应用程序。首先，近年来，监控摄像机中的自动对象和人体跟踪变得越来越流行[13]。除了仅分析过去观察到的轨迹外，本研究中轨迹的准确预测能够通过提前提供警告来预防潜在事故[14]。这在混合道路使用者的情况下特别有用，例如人们与行驶的汽车一起穿过道路。其次，在自动驾驶汽车领域，使用头顶摄像头进行驾驶辅助已经显示出令人鼓舞的结果，特别是在具有挑战性的场景Q. 男人和H.P.H.Shum软件影响11（2022）1002013如《易经》[15]。我们的研究通过预测附近道路使用者的轨迹为自动驾驶系统增加了价值，从而改善了这些系统的决策最后，人群轨迹分析系统[16]已经证明了其为城市规划和设计提供信息的能力，例如最大限度地减少人群堵塞[17]。由于我们的系统考虑了多种类型的道路使用者，它允许预测不同道路使用者可能发生的碰撞，作为评估碰撞风险的一种手段。这些信息对于土木工程师设计道路和环境以创造安全环境是有用的。4. 结论和今后的改进在这项工作中，我们探讨了利用标签信息来增强多类轨迹预测的可能性。这是通过构造由轨迹语义通知的标签感知的图形表示来完成的。易于使用的软件也有利于许多不同领域的研究人员。由于在某些特定的任务，如交通预测，静态对象，如树木和建筑物也会影响预测的轨迹。考虑这些高级标签语义将是一个有趣的未来探索方向竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢我们要感谢Ben A。Rainbow对本代码的初步版本所做的贡献。这项工作得到了英国皇家学会的部分支持（参考号：IES R2 181024）。引用[1]B.A. Rainbow，Q. 男人，H.P.H. Shum，Semantics-STGCNN：用于多类轨迹预测的语义引导时空图卷积网络，2021，https://arxiv.org/abs/2108.04740。[2] P. Zhang ， C. 兰 ， W 。 Zeng ， J. Xing ， J. Xue ， N. Zheng ， Semantics-guidedneural networks for efficient mathematical based human action recognition，in：Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition，2020，pp.1112-1121。[3] A.穆罕默德，K. Qian，M.埃尔霍塞尼角Claudel，Social-stgcnn：A social spatio-temporal graph convolutional neural network for human trajectory prediction ，in ： Proceedings of the IEEE Conference on Computer Vision and PatternRecognition，2020，pp. 14424-14432。[4] B. Yu，H. Yin、Z. Zhu，Spatio-Temporal Graph Convolutional Networks：A DeepLearning Framework for Traffic Forecasting，2017，https://arxiv.org/abs/1709。04875[5] S. Yan，Y. Xiong，中国山杨D. 林，空间时间图卷积网络为基础的动作识别，在：第三十二届AAAI人工智能会议，2018年。[6] L. Shi，Y. 首页-期刊主要分类-期刊细介绍-期刊题录与文摘. Lu，双流自适应图 卷积网络用于基于机器人的动作识别，在：IEEE计算机视觉和模式识别会议论文集，2019年，pp.12026-12035.[7] Q.男子，E.S.L. H.P.H. Shum，H. Leung，一个基于机器人的人类交互识别的双流递归网络，在：2020年第25届国际模式识别会议，2021年，第10页。2771-2778[8] T.N. Kipf ， M. Welling ，Semi-supervised classification with graph convolutionalnetworks，2016，https://arxiv.org/abs/1609.02907。[9] P. Veličković，G. Cucurull，A. Casanova，A. Romero，P. Lio，Y. Bengio，Graphattention networks，2017，https://arxiv.org/abs/1710.10903。[10] A. Robicquet，A. Sadeghian，A. Alahi，S. Savarese，学习社交礼仪：在拥挤的场景中理解人类轨迹，在：欧洲计算机视觉会议，2016年，第100页。549-565[11]陈志华，运动捕捉数据库，2003，http://mocap.cs.cmu.edu/大学出版社。[12] A. Gupta，J. Johnson，L. Fei-Fei，S. Savarese，A. Alahi，Social gan：社会可接受的轨迹与生成对抗网络，在：IEEE计算机视觉和模式识别会议论文集，2018年，pp。2255-2264.[13] G.昌丹A.贾恩，H。Jain，Mohana，使用深度学习和OpenCV的实时对象检测和跟踪，在：2018年计算应用发明研究国际会议，ICIRCA，2018年，第100页。1305-1308，http：//dx。doi.org/10.1109/ICIRCA.2018.8597266网站。[14] A. Hussein，F. García，J.M.阿明戈尔角Olaverri-Monreal，P2 V和V2 P通信用于基于自动驾驶车辆的行人警告，2016年IEEE第19届智能交通系统国际会议，ITSC，2016年，第10页。2034http://dx.doi.org/10.1109/ITSC.2016.7795885[15] A. Zyner，S. Worrall，E.M. Nebot，ACFR五轮数据集：在无信号交叉口的自然驾 驶 ， IEEEIntell 。 运 输 单 系 统 麦 格 11 （ 4 ） （ 2019 ）8http://dx.doi.org/10.1109/MITS.2019.2907676[16] F.他，Y. Xiang，X. Zhao，H.王文，面向人群分析、比较与仿真引导的信息化场景分解，ACMTrans.Graph。39（4）（2020）http://dx.doi.org/10.1145/3386569.3392407。[17] A.巴内特，H.P.H. Shum，T.高村正彦，基于拓扑场景分析的人群协调仿真，计算机。Graph. Forum 35（6）（2016）120http://dx.doi.org/10.1111/cgf.12735