软件影响13（2022）100305原始软件出版物PyHAPT：一个基于Python的人体活动姿态跟踪数据处理框架HaoQuan，Andrea Bonarini电子，信息和生物工程系，米兰理工大学，达芬奇广场32，米兰20133，意大利A R T I C L E I N F O保留字：数据处理数据可视化人类活动识别深度学习机器人A B标准我们提出了一种新的基于Python的人类活动姿态跟踪数据处理框架（PyHAPT）。它提供了有效处理在无约束环境中收集的带注释的人体姿势跟踪原始视频数据的功能。此外，PyHAPT还提供了插值功能，以恢复丢失的关节数据和数据可视化，从而深入了解时空骨骼信息。处理后的数据可以很容易地用于开发新的人类活动识别深度学习模型，这些模型可以部署在移动服务机器人上。代码元数据当前代码版本v1用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2022-40可再生胶囊的永久链接https://codeocean.com/capsule/1086569/tree/v1法律代码许可证GPL-3.0-or-later使用Git的代码版本控制系统使用Python的软件代码语言、工具和服务编译要求，操作环境依赖性操作系统：MS Windows或Linux; Python库：Sklearn，Pandas，Numpy，Matplotlib如果可用，链接到开发人员文档/手册https://github.com/AIRLab-POLIMI/PyHAPT/blob/main/README.md问题支持电子邮件hao. polimi.it，andrea. polimi.it1. 介绍随着人类活动识别技术的迅速发展，它在移动机器人应用系统的构建中越来越受到重视。人体活动识别涉及人体的骨架表示，而不是原始的RGB视频。由于其适应性强和高度抽象的特点，许多重要的模型都是基于骨架数据开发的[1与RGB视频表示相比，骨架数据的最大好处是它们没有动态环境噪声，并且对复杂背景（照明条件，服装颜色，物体遮挡等）具有鲁棒性。对于服务机器人来说，识别现实世界中人的动作以进一步增强其能力非常重要 提供服务。我们介绍PyHAPT，一个基于Python的人体活动姿态跟踪数据处理框架。它提供了自动处理在无约束环境中收集的带注释的人类姿势跟踪原始视频数据的功能，使得预处理的数据可以直接用于开发新的人类活动识别深度学习模型，该模型可以部署在移动服务机器人上。由于PyHAPT致力于在不受约束的环境中收集数据集，因此它还提供了丢失数据的恢复和动态姿态可视化功能，以方便研究人员深入分析数据。2. 相关作品从受约束环境收集的一些数据集具有准备好使用的骨架数据（例如，NTU-RGB+D [8，9]，PKU-MMD [10]，本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。∗通讯作者。电子邮件地址：hao. polimi.it（H. Quan），andrea. polimi.it（A.Bonarini）。https://doi.org/10.1016/j.simpa.2022.100305接收日期：2022年3月30日;接收日期：2022年4月25日;接受日期：2022年4月28日2665-9638/©2022作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsH. Quan和A.博纳里尼软件影响13（2022）1003052表1用于最近人类识别模型的数据集模型出版商台湾大学60[8]台湾大学120[9][13，27]第二十三话[第24话]SYSU [25][28]第二十八话TPAMI 22✓✓CTR-GCN [3] ICCV21世界卫生组织MST-GCN [29] AAAI21美国SGN [5] CVPR20战斗机MSG3D [3] CVPR20战斗机4S-Shift-GCN [30] CVPR20变速箱美国[31]20 ✓ ✓ ✓PA-ResGCN-B19 [32] ACMMM20毫米DC-GCN+ADG [33] ECCV20电子邮件NAS-GCN [4] AAAI20赛季PL-GCN [34] AAAI20战斗机2S-AGCN [1] CVPR19战斗机DGNN [35] CVPR19战斗机AGC-LSTM [36] CVPR19AS-GCN [37] CVPR19战斗机ST-GCN [26] AAAI18战斗机数据集使用次数16 9 8 4 2ETRI [11]），因为他们采用了像微软Kinect这样的深度相机来收集数据然而，其他数据集（例如，ActivityNet [12]、Kinetics [13]、AVA[14]、Charades [15]、FineGym [16]）不直接提供骨架数据。它要求研究人员采用其他姿态估计方法（例如，OpenPose [17]，OpenPifPaf[18]，MMPose [19]，VIBE [20]）来提取和预处理骨架表示，使得预处理的骨架数据可以准备好用于训练和评估深度学习识别模型。 Gupta等人。[21]努力组织从其他公共数据集[22，23]中获得的几个骨架数据集，这些数据集仍然是从受限环境和众包方法而不是真正的公共空间（In The提供软件来详细说明这些数据。自2018年以来，我们分析了一些相关的基于HAR的模型，以检查公共数据集如何用于训练和评估社区中的模型。如表1所示，最常用的数据集是（按降序排列）：NTU RGB+D 60 [8]，NTU RGB+D 120 [9]，Kinetics [13]，Northwestern-UCLA Multiview Action 3D [24]，SYSU 3DHuman-Object Interaction [25]数据集。其中，只有Kinetics不是从受限环境中收集的，而是通过使用众包方法从在线流媒体资源中收集的，而所有其他数据集都是在各自的实验室中收集Yan等人。[26]首先提取并预处理骨骼数据由Open- Pose [17]使用Python的独特的无约束Kinetics数据集，即Openeton-Kinetics [27]。然后，大多数鲁棒HAR模型都使用Eketon-Kinetics来评估其模型在Eketon-Kinetics上的性能[1，3，7]。然而，正如作者所讨论的那样，《莱顿动力学》只考虑了两个人， 最多一个剪辑，忽略背景中具有OpenPose提供的相对较低平均置信度得分的其他人。与此同时，他们不得不花费大量时间来识别和跟踪基于OpenPose生成的骨骼数据的人体姿势数据。我们认为，不仅有两个人的最高置信分数，但也在一个剪辑的背景中的其他人应包括在预处理的数据。此外，需要一种更有效的方法来跟踪和预处理原始骨骼数据。3. PyHAPT的积极影响从表1中，我们还可以看到，最先进的模型在从无约束环境收集的其他数据集上没有得到充分的评估，即，通过众包方法和在公共场所收集的数据集。尽管基于众包收集的数据集开发的模型比基于在受限环境中收集的数据集开发的模型可靠得多，但我们认为，Fig. 1. 包含八个关节（有效关节的阈值）的无效姿势的示例设为9）。我们认为，一些原因阻碍了社区使用在无约束环境中收集的数据集。 首先，在无约束环境中通过众包方法收集的公开可用的数据集通常不提供人类姿势跟踪数据。其次，人们的动作在现实生活中是连续的、有顺序的，至少持续几秒钟，而不是单帧。多个人或拥挤的场景经常出现在公共空间中。目前市场上RGB摄像机的帧率通常在15 fps到30 fps。如果研究人员想要从这些数据集中提取和预处理骨骼数据，以便这些数据可以用于实验，则需要巨大的工作量。 第三，缺乏用于大规模人类活动识别视频数据集的有效软件框架来自动跟踪人类姿势并预处理原始的、跟踪的骨架数据，使得预处理的数据为实验做好准备。我们提出的新型软件框架PyHAPT可以填补这一空白。研究人员不需要跟踪人体姿势，从视频中提取的原始骨骼然后，该软件可以自动预处理跟踪的骨骼数据，并使其可用于训练和评估深度学习模型。PyHAPT的框架分为三个部分。第一部分使用OpenPifPaf [18]来检测和跟踪整个片段中的人的姿势，并将数据以JSON格式存储到文件中。第二部分是使用HAVPTAT [38]1根据OpenPifPaf生成的原始姿势跟踪数据将动作标签与视频中的人相关联，并将注释数据存储回文件系统。最后一部分使用PyHAVPT的Python脚本来自动细化带注释的JSON格式。详细的姿态跟踪数据被存储在的 的 ITW 数据集 可以 进一步 提高 的 可靠性 的模型1https://github.com/AIRLab-POLIMI/HAVPTAT_annotation_tool。H. Quan和A.博纳里尼软件影响13（2022）1003053图二. 原始姿势（左）;通过“插值”重建的姿势文件中保存有相应的动作标签。这两种数据格式在社区中广泛使用，并与最先进的人类活动识别模型的主要部分兼容。用户可以对程序的输入参数进行个性化设置：待详细说明的注释JSON格式原始数据的文件夹路径;与注释JSON格式原始数据中定义的标签对应的用户定义标签文件的路径;人体关节的数量;将存储生成数据OpenPifPaf根据COCO身体17个关键点的定义[39，40]，在像素坐标系中为17个人体关节提供2D坐标（X，Y）。因此，我们用对（X，Y）的元组表示每个关节对于多人的情况下，我们考虑到每个剪辑中的所有检测到的人，而不是只选择两个人相比，骨架动力学。通过这种方式，我们可以把每个人我们认为每个人在一个视频剪辑中执行相同的动作作为一个有效的动作序列。如果同一个人在一个视频片段中执行多个动作，我们将它们视为同一个人执行的不同动作序列。我们考虑一个人在一个张量为（2，1，17，1）维的剪辑中执行的动作。对于整个数据集，该脚本通过将具有N个动作样本的人的单个动作序列连接起来来获得（n，2，n我们总结了元组中每个元素的含义：脚本总共生成100个样本;两个维度（100，100）骨架数据;动作序列持续100秒。帧;人体的17个关键点;每个元组中有1个人的数据。所有动作骨架序列都通过重放动作填充到300���训练集和测试集的分割比例分别为70%和30%。填充帧的数量和训练-测试集分割比都可以由用户自定义从现实世界中收集的数据的骨架通常是不完整的。包含很少关节的帧可能导致学习模型的模糊性。为了减少这种类型的学习错误，PyHAPT认为只有当姿势超过给定的数量时才有效。关节的数量（九个），并提供了通过Python的Pandas库对缺失的关节进行时间线性插值的功能阈值被固定为9，以忽略在某些情况下相机PyHAPT提供了时空数据可视化脚本。我们使用PyHAPT基于POLIMI-ITW-S数据集的样本生成一些图片[42]来举例。如图1、当摄像机靠近一个人时，只有身体的上半部分存在，但下半部分的关键点左膝14例，右膝15例，左踝16例，右踝17例脚踝）错过。鉴于身体下部关节的湖，模型很难预测站、走、坐或跑之间的动作。阈值的设置旨在减少可能降低识别模型的准确性的这种类型的模糊性。用户还可以个性化阈值以满足他们的需求。图2示出了PyHAPT提供的插值功能的示例。左图是OpenPifPaf [18]提取的原始姿势。我们认为它是一个有效的姿势，因为它有九个以上的关节。我们可以看到，鼻子（1），右眼（3），右肘(9)，右手腕（11例）未被OpenPifPaf检测到。 在通过Python的Pandas库[ 41 ]提供的插值操作进行处理后正确的图片。4. 易于使用，重量轻PyHAPT基于Python。Python已经成为深度学习领域最受欢迎的工具。该框架可以在Linux和MS Windows操作系统上运行。 因此，我们认为我们的框架很容易为研究人员使用。由于脚本是轻量级的，它可以有效地处理和生成数据。的格式 生成的数据也是常用的。 该框架将有助于加速数据处理工作，促进HAR模型的发展。5. 用例我们已经使用PyHAPT处理了一个大规模的POLIMI-ITW-S视频数据集，用于人类活动识别[42]。6. 今后工作我们希望集成更多的数据增强功能（例如，水平翻转、缩放和平移），并训练一个可靠的人类活动识别深度学习模型，使PyHAPT框架成为一个多功能深度学习框架。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作确认这项工作得到了中国学术委员会的研究基金的支持。H. Quan和A.博纳里尼软件影响13（2022）1003054引用[1]L. Shi，Y. 首页-期刊主要分类-期刊细介绍-期刊题录与文摘. 鲁、双流 自适应 图 卷积 用于基于机器人的动作识别的传统网络，在：IEEE/CVF计算机视觉和模式识别会议论文集，2019年，pp. 12026 -12035。[2]P. Zhang ， C. Lan ， J. Xing ， W. Zeng ， J.Xue ， N. Zheng ， View adaptiveneuralnetworksforhighperformancecandidatebasedhumanactionrecognition，IEEETrans. 模式肛门。马赫内特尔41（8）（2019）1963[3]Z. Liu，H. Zhang，Z. Chen，Z. Wang，W. Ouyang，解纠缠和统一基于卷积的动作识别的图卷积，在：IEEE/CVF计算机视觉和模式识别会议论文集，2020年，pp. 143 -152.[4]W.彭、X。Hong，H. Chen，G. Zhao，通过神经搜索进行基于机器人的人类动作识别的学习图卷积网络，在：AAAI人工智能会议论文集，第34卷，2020年，第34页。2669-2676。[5]P. Zhang，C.兰，W。Zeng，J. Xing，J. Xue，N. Zheng，Semantics-guidedneuralnetworks for efficient mathematical based human action recognition ，in：Proceedingsof the IEEE/CVF Conference on Computer Vision and PatternRecognition，2020，pp. 1112-1121。[6]M. Li，S. Chen，X. Chen，Y. Zhang， Y.王，英-地田，共生图神经网络用于基于3D模型的人体动作识别和运动预测，IEEE Trans.Pattern Anal.马赫内特尔（2021年）。[7]Y. Chen，Z. Zhang C.，中国古猿科袁湾，澳-地Li，Y.邓，W。Hu，用于基于动作识别的逐行拓扑细化图卷积，在：IEEE/CVF计算机视觉国际会议论文集，2021年，第101页。13359 -13368。[8]A.放大图片作者：王志华 Ng，G. Wang，NTU RGB+D：用于3D人类活动分析的大规模数据集，在：2016年IEEE计算机视觉和模式识别会议，CVPR 2016，拉斯维加斯，NV，美国，2016年6月27日至30日，IEEE计算机协会，2016年，pp.1010 http://dx.doi.org/10.1109/CVPR.2016。115个。[9] J. Liu，A.沙鲁迪，M。佩雷斯湾，澳-地王湖，澳-地Y. Duan，A.C. Kot，NTURGB+D 120：A large-scale benchmark for 3D human activity understanding，IEEETrans.PatternAnal.马赫内特尔（2019）http://dx.doi.org/10.1109/TPAMI。2019.2916873。[10] C. Liu，Y. Hu，Y. Li，S. Song，J. Liu，PKU-MMD：一个大规模的基准为基于物联网的人类行为理解，在：在智能和互联社区的视觉分析研讨会的会议记录，在：VSCC '17，计算机械协会，纽约，纽约，美国，2017年，页。1 http://dx.doi。org/10.1145/3132734.3132739。[11] J.Jang，D.金角，澳-地公园，M。Jang，J. Lee，J. Kim，ETRI-activity3D：用 于 机 器 人识 别 老 年 人 日 常 活动 的 大 规 模 RGB-D数 据 集 ，2020年IEEE/RSJ智能机器人和系统国际会议，IROS，IEEE，2020年，第100页。10990-10997。[12] F. Caba Heilbron，V. Escorcia，B. Ghanem，J. Carlos Niebles，Activitynet：Alarge-scale video benchmark for human activity understanding，in：Proceedingsofthe IECHO Conference on Computer Vision and Pattern Recognition，2015，pp.961 -970[13] W. Kay ， J.Carreira，K. 西 蒙 尼 扬 湾Zhang C.， 中 国 古 猿 科Hillier ， S.Vijayanarasimhan，F. Viola， T.格 林 ， T. Back， P. Natsev等 人 ， The kinetics human action videodataset，2017，arXiv preprintarXiv：1705.06950.[14] C. 古角 ， 澳- 地 Sun ， D.罗斯 角， 澳 -地冯 德里 克角 Pantofaru ， Y.Li ，S.Vijayanarasimhan，G. Toderici，S. 里科河 苏克坦卡尔角 Schmid，J.Malik，AVA：视频时空局部化原子视觉动作的数据集，在：2018 IEEE/CVF计算机视觉和模式识别会议，2018年，pp. 6047http://dx.doi.org/10.1109/CVPR.2018.00633[15] G.A. Sigurdsson，G. Varol，X. Wang，中国山核桃A. 法尔哈迪岛 Laptev，A.Gupta ， Hollywoodin homes ： Crowdsourcing data collection for activityunderstanding ， in ： EuropeanConference on Computer Vision ， Springer ，2016，pp. 510-526[16] D.邵，Y. Zhao，B. Dai，D. Lin，Finegym：一个用于细粒度动作理解的分层视频数据集，在：IEEE/CVF计算机视觉和模式识别会议论文集，2020年，pp. 2616-2625。[17] Z. Cao，T.西蒙，S。Wei，Y. Sheikh，Realtime multi-person 2D pose estimationusing part affinity fields ， in ： 2017 IEEE Conference on Computer Vision andPattern Recognition，CVPR 2017，Honolulu，HI，USA，July 21-26，2017，IEEEComputerSociety，2017，pp.1302http://dx.doi.org/10.1109/CVPR.2017。一百四十三[18] S.克赖斯湖贝尔托尼A. Alahi，OpenPifPaf：用于语义关键点检测和时空关联的复合字段，2021，arXiv预印本arXiv：2103。02440[19] M. 贡 献 者 ， OpenMMLab 姿 势 估 计 工 具 箱 和 基 准 ， 2020 ，https://github.com/open-mmlab/mmpose。[20] M. Kocabas，N. Athanasiou，M. J. Black，Vibe：用于人体姿势和形状估计的视频推理，在：IEEE/CVF计算机视觉和模式识别会议论文集，2020年，pp. 5253-5263。[21] P. Gupta，A. Thatipelli，A. Aggarwal，S. Maheshwari，N. Trivedi，S.达斯Sarvadevabhatla，Quo vadis，骨骼动作识别？国际计算机目视129（7）（2021）2097-2112。[22] J. Carreira，E.诺兰角Hillier，A. Zisserman，关于动力学-700人类动作数据集的简短说明，2019，arXiv预印本arXiv：1907.06987。[23] P. Weinzaepfel，G. Rogez，模仿：走向理解人类的行动脱离上下文，国际。 J.Comput . 目视129（5）（2021）1675[24] J. Wang，X. Nie，Y. Xia，Y. Wu，S. Zhu，交叉视图动作建模，学习，2014年IEEE计算机视觉和模式识别会议，2014年，pp.2649http://dx.doi.org/10.1109/CVPR.2014.339[25] J.Hu， W. Zheng， J. Lai，J. Zhang， Jointly learning heterogeneousfeatures forRGB-D activity recognition，IEEE Trans. Pattern Anal.马赫内特尔39（11）（2017）2186-2200。[26] S. Yan ， Y. Xiong ， 中 国 山 杨 D. Lin ， Spatial temporal graph convolutionalnetworks forcampaign based action recognition ， in ： S.A. McIlraith ， K.Q.Weinberger（Eds.），第32届AAAI人工智能会议（AAAI-18），第30届人工智能创新应用（IAAI-18）和第8届AAAI人工智能教育进展研讨会（EAAI-18），新奥尔良，路易斯安那州，美国，2018年2月2日至7日，AAAI出版社，2018年，第30页。7444-7452。[27] S. Yan，Y.Xiong，中国山杨D.Lin，Queton-kinetics，2018，可在线获取：https：//github.com/yysijie/st-gcn/blob/master/OLD_README.md#kinetics-skeleton网站。[28] Y.-- F.宋，Z. Zhang C.，中国古猿科尚湖，澳-地Wang，为基于行为的动作识别构建更强大和更快的基线，IEEE Trans. Pattern Anal.马赫内特尔（2022年）。[29] Z. Chen，S.李湾，澳-地扬角，澳-地Li，H. Liu，用于基于动作识别的多尺度时空图卷积网络，在：AAAI人工智能会议论文集，第35卷，2021年，pp. 1113-1122。[30] K.郑，Y. Zhang，X.他，W。Chen，J. Cheng，H. Lu，基于移位图卷积网络的基于以太网的动作识别，在：IEEE/CVF计算机视觉和模式识别会议论文集，2020年，pp. 183 -192.[31] F. 叶 ， S 。 普 角 ， 澳 - 地 钟 C. Li ， D. Xie ， H. Tang ， Dynamic gcn ： Context-enrichedtopology learning for campaign-based action recognition，2020年第28届ACM国际多媒体会议论文集，第10页。55比63[32] Y.-- F.宋，Z. Zhang C.，中国古猿科 尚湖，澳-地 王，更强，更快，更易于解释：基于图像的动作识别的图形卷积基线，在：第28届ACM国际多媒体会议，2020年，第28页。1625 -1633年。[33] K.郑，Y. Zhang C.，中国古猿科曹湖，加-地Shi，J. Cheng，H. Lu，Decouplinggcn withdropgraph module for campion-based action recognition，in：EuropeanConferenceon Computer Vision，Springer，2020，pp. 536-553.[34] L. Huang，Y.黄氏Y.黄，W.欧阳湖，澳-地Wang，用于基于机器人的动作识别的部分级图卷积网络，在：AAAI人工智能会议论文集，第34卷，2020年，pp. 11045-11052。[35] L. Shi，Y.首页-期刊主要分类-期刊细介绍-期刊题录与文摘. Lu，基于有向图神经网络的基于以太网的动作识别，在：IEEE/CVF计算机视觉和模式识别会议论文集，2019年，pp. 7912-7921。[36] C. Si，W.陈威王湖，加-地Wang，T. Tan，一种用于基于机器人的动作识别的注意力增强图卷积lstm网络，在：IEEE/CVF计算机视觉和模式识别会议论文集，2019年，pp. 1227-1236。[37] M. Li，S. Chen，X. Chen，Y. Zhang， Y.王，英-地Tian，用于基于卷积的动作识别的结构图卷积网络，在：IEEE/CVF计算机视觉和模式识别会议论文集，2019年，pp. 3595-3603号。[38] H. Quan、黄毛菊A. Bonarini，HAVPTAT：人类活动视频姿势跟踪注释工具，Softw。影响12（2022）100278，http://dx.doi.org/10。1016/j.simpa.2022.100278，URLhttps://www.sciencedirect.com/science/article/pii/S2665963822000318。[39] T.- Y.林，M。Maire，S.作者：J. Hays，P. Perona，D. Ramanan，P. Dollár，C.L.Zitnick，Microsoft coco：Common objects in context，见：European ConferenceonComputer Vision，Springer，2014，pp. 740-755[40] S.金湖，澳-地Xu，J. Xu，C. Wang，W. Liu，C. Qian，W. Ouyang，P. Luo，Whole-bodyhuman pose estimation in the wild，in：European Conference onComputer Vision，Springer，2020，pp. 196-214[41] W. McKinney等人，Pandas：用于数据分析和统计的基础Python库，Python HighPerform。很有智慧。Comput. 14（9）（2011）1[42] H.全，H.于湾，澳-地Bonarini，POLIMI-ITW-S：野外购物中心数据集，2022年，可在线访问：https://airlab.deib.polimi.it/polimi-itw-s-a-shopping-mall-dataset-in-the-wild/。
我的内容管理
展开
