CP-AGCN：基于Pytorch的婴儿脑瘫风险识别网络

软件影响14（2022）100419原始软件出版物CP-AGCN：基于Pytorch的注意力知情图卷积网络，用于识别有脑瘫风险的婴儿张浩正，Edmond S.L.作者：Hubert P. H.Shuma，a联合王国杜伦大学英国格拉斯哥大学自动清洁装置保留字：疾病预测图卷积网络分类人体运动分析A B标准早期预测被临床认为是脑瘫治疗的重要组成部分之一。我们提出实施低成本和可解释的分类系统，以支持基于一般运动评估（GMA）的CP预测。我们设计了一个基于Pytorch的注意力通知图卷积网络，以从RGB视频中提取的骨骼数据中早期识别有CP风险的婴儿。我们还设计了一个频率合并模块，用于在频域中学习CP运动，同时过滤噪声。我们的系统只需要消费级的RGB视频进行训练，以支持交互时间CP预测，可解释的CP分类结果。代码元数据当前代码版本v1用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2022-146Reproducible Capsule的永久链接https://codeocean.com/capsule/6073072/tree/v1法律代码许可证MIT许可证使用git的代码版本控制系统使用Python的软件代码语言、工具和服务编译要求，操作环境依赖Python 3.7，PyTorth 1.8.10，OpenPose 1.7.0如果可用，链接到开发人员文档/手册https://codeocean.com/capsule/6073072/tree/v1咨询支持邮箱haozheng. durham.ac.uk1. 介绍由于大脑部分发育异常或受损，脑瘫（CP）出现在患者童年的早期阶段约有在英国，每1000名儿童中有2 - 3名CP患者[1]，这与其他发达国家相似。虽然CP不能完全治愈 目前，CP的早期预测和干预被认为是治疗的重要部分。目前CP的临床早期预测是通过一般运动评估（GMA）进行研究的[2]。GMA可以由GM评估员亲自评估婴儿，也可以通过观看RGB来完成。记录了婴儿一般动作的视频。然而，GMA训练是耗时和资源消耗的，使得其难以应对CP预测的高需求。为了解决这个问题，我们建议通过分析RGB视频中婴儿这使得早期预测能够覆盖风险较低的人群。受最近基于骨骼数据的研究中报告的令人鼓舞的结果的启发[3我们系统的计算智能是用图卷积网络实现的，图卷积网络是一种深度人工神经网络，可以很好地对关系数据进行本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。*通讯作者。电子邮件地址： haozheng. durham.ac.uk（H. Zhang），Shu-Lim. glasgow.ac.uk（E.S.L. durham.ac.uk（H.P.H.Shum）。https://doi.org/10.1016/j.simpa.2022.100419接收日期：2022年8月1日;接收日期：2022年8月24日;接受日期：2022年9月1日2665-9638/©2022作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsH. Zhang，E.S.L.何和H.P.H.Shum软件影响14（2022）1004192|∑∑L������L|（）D2AD2Fig. 1. 提出了CP分类系统的体系结构。使其适合骨架数据。我们的图卷积运算将人体关节运动的输入编码为图结构中的频率特征。此外，我们还采用了注意力机制，滤除高频成分的方法，主要包括数据噪声和高频运动特征：{Round（0������），if 3，<��� ���以提高学习性能和更好的可解释性。因此，所实现的系统可以对=天花板（���0度 ���），如果你是1 、年龄≥3岁，（1）人体姿势特征，并放大神经网络所考虑的数据我们在PyTorch中实现了我们的系统，因为它提供了兼容的开源资源 ， 并 且 很 好 地 覆 盖 了 所 需 的 深 度学 习 功 能 。 首 先 ， 我 们 调 整OpenPose [11]， 姿态估计软件，仅从消费级RGB视频中提取人体骨骼姿态特征。然后，我们实现了快速傅立叶变换（FFT）算法与一个量身定制的binning操作来分析人体关节运动频率的姿态特征。通过频率操作，我们可以减少数据中的噪声，并过滤与CP分类不太相关的高频运动特征[9，12，13]。我们基于Shi等人的骨干（ST-GCN）框架实现了我们的CP分类GCN网络。[14]，因为它显示出有前途的分类性能，并且被广泛认为是人体姿势的基准。基于研究。 我们在两个数据集中验证了我们的系统，其中，（0= 1）是第10个条的宽度， 是控制条宽度的参数。设计在Eq。（1）使分类网络能够集中学习中低频带运动频率特征。为了保留低频到中频的人体运动信息，该函数采用宽度小于三个单位的圆。该函数基于信号的指数增长和天花板函数，可以区分中频和高频频段。 由于我们在该模块中没有包括任何可学习的参数，因此这种低计算成本模块适用于具有24-60 FPS输入视频的基于机器学习或基于深度神经网络（DNN）的分类系统。对于CP分类，算法流程如算法1. 我们采用GCN [16]作为基准模型，从骨架图中学习联合依赖关系。图卷积传播通过以下方式演示：我们的系统达到了最先进的性能理论（+1）（−1−1（）（））解释软件实施细节并讨论我们软件的影响。2. 系统描述如图1，我们提出的CP分类系统首先提取婴儿的姿势特征（即，关节位置）的姿态估计算法OpenPose [11]，由于其强大的性能。最新版本的OpenPose（1.7.0）带有预训练模型，这样人们就可以在没有训练的情况下有效地使用网络。然后，我们实现了一个频率合并模块，将姿态特征转换为快速傅立叶变换（FFT）系数，用于在频域中学习CP姿势特征或频率特征都被输入到我们设计的基于PyTorch的注意力通知图卷积网络（CP-AGCN）中，用于对正常和异常CP标签进行分类。算法1用于CP分类的其中A= A+I是邻接矩阵。D =A I是具有L维的单位矩阵W（k）是层的可学习权重矩阵- 是的ReLU（ReLU）是ReLU的非线性激活函数。通过使用[14]中的架构主干，我们应用人体骨架图=（，）来解释关节特征CP分类的重要性排名在这个图中，{ == 1，������...，;{0= 1，������第八节边集E包括：（1）骨架内连接，{（，）∈ }���，其中是骨骼关节的自然连接数量。(2)从低到高连接接头的箱的特征间边缘，{（}���������������。我们建议使用注意力通知机制来学习特征的权重。我们聚合网络输入特征{101，102，102， 103，���������…,���,���}为（三）=1注意力权重的计算公式为：输入：：联合特征集（dim：×）;A：邻接分类标签嵌入=exp（′（，������������，））, ,为（W））（4）节点之间的图形距离矩阵（dim：×）;一个独热，exp′）），，���������ℎ，输出：0 scin1分类结果。其中， “是可设计的激活函数 ”=������������，���并且1：A = A + I L，D ������=∑���A������。W是可学习的参数。2：如果s s，则：<3：通过等式（Eq. （2），其中W由Eq.（3）和（4）。4：s ← s +1.5：通过级联将输出编码为0/1分类结果特别是，频率合并模块采用Bluestein我们量身定做了一个上面介绍的系统是在PyTorch下编程的框架，包括numpy 1.20.3，torch 1.8.1和torchvision 0.3.0。我们在[5]和RVI-38数据集[9]提供注释的合成数据集（MINI-RGBD）[17]上进行了全面的实验，结果表明我们的系统在两个数据集上都达到了最先进的性能[13]。关于计算成本，虽然我们采用了注意力机制，但我们的低成本系统可以在NVIDIA GeForce RTX 3080上实现约4帧/秒的训练速度，该系统的背景已发表在[13]中。本文主要=W（二H. Zhang，E.S.L.何和H.P.H.Shum软件影响14（2022）1004193与我们的没有注意力模块的变体相比，只有0.3帧/秒的下降。这意味着在12个视频序列（每个1000帧）数据集上的总系统训练时间只有大约50分钟，包括OpenPose姿势估计。这在深度学习算法中被认为是非常有效的。在运行时，它只需要大约45秒的CP分类的33.3秒30FPS的视频与英特尔酷睿i7 CPU（即，不需要GPU）。实验结果表明，该系统在医院日常环境中，在正常的计算机设备设置下，可以用于交互时间预测，是支持CP早期预测的可行解决方案。3. 影响概述我们提出的系统有望为低风险患者提供低成本、非侵入性的CP异常运动分类结果作为警告信号，其准确性得到两个数据集的支持[13]。这为支持临床资源有限地区CP的早期预测提供了一种方法，并减轻了基于专家的GMA的劳动压力[2]。此外，我们的系统可以为临床医生提供有关的重要性排序的关节除了对CP的早期预测外，我们希望该系统可以可以扩展到许多人类运动障碍。例如，帕金森患者的运动频率很可能与健康人的运动频率不同，特别是由于震颤，并且频率特征的使用可以告知基于深度学习的帕金森这个易于使用的系统也有利于身体运动和手势分析等不同领域的研究人员，因为它提供了一种在频域中学习这些特征的替代方法。最近的研究表明，手震颤可以通过深度学习作为去噪过程进行建模和减少[20]，但频率的使用仍有待考虑。同样，频率信息可能对运动分析和可视化有用[21]。此外，用户可以通过对最终的全连接层进行微小修改来扩展我们的多类分类任务系统现有的工作已经表明，频率信息对于动作识别[22]和手势识别[23]是有用的。我们的频率分箱思想及其在图神经网络上的应用可能会为此类应用提供信息。4. 结论和今后的改进在这项工作中，我们实现了一个基于Pytorch的注意力通知图卷积网络来分类脑瘫婴儿。我们提出了一种用于CP关节位置特征的频率分箱模块，以提高分类性能，这适用于其他深度学习或传统的基于机器学习的分类模型。此外，我们设计了一个注意力模块，以提高分类性能和解释联合特征的重要性排名。我们的系统在[13]中的两个数据集上进行了验证，并在消费级计算机上实现了交互速度。在未来的版本中，我们考虑将我们的系统集成到嵌入式系统中，例如集成卷积神经网络操作的像素处理器阵列[24]，用于自主疾病监测和实时决策。此外，我们的系统的性能依赖于姿态估计过程的准确性。未来的版本将专注于通过适应更先进的系统（如[25]）来改进姿态估计部分。 最后，我们希望通过将系统与不同的相机（例如，未聚焦的相机、模糊的相机）。这可以通过处理设备特定过程的硬件抽象层来实现[26]，该抽象层连接到统一的预测算法。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作引用[1]B.放大图片作者：C.V.琼斯，T. Wang，中国山核桃A. Kemp，从英格兰和威尔士收集的数据中识别脑瘫，Clin. 流行病学11（2019）457-468.[2] C. Einspieler，H.F.R.Prechtl对用于年轻神经系统功能评估的诊断工具，Ment。 智障Dev. 禁用。Res. Rev. 11（1）（2005）61[3] K.D. McCay，E.S.L.H.P.H. Shum，G.费林格角北达科他州马克罗夫特安布尔顿，异常婴儿运动分类与基于姿势特征的深度学习，IEEE Access 8（2020）51582-51592。[4] D. Sakkos，K.D.麦凯角北达科他州马克罗夫特Embleton，S.Chattopadhyay，E.S.L.喂，婴儿异常运动的识别：基于身体部位预测脑瘫的深度神经网络，IEEE Access 9（2021）94281-94292。[5] K.D. McCay，E.S.L.霍角，澳-地北达科他州马克罗夫特Embleton，建立基于姿势使用直方图检测异常婴儿运动的特征，在：IEEE EMBC，2019，pp. 5469-5472[6] B. Nguyen-Thai，V.勒角，澳-地Morgan，N.Badawi，T.特兰，S。Venkatesh，Aspatio-基于时间注意力的视频婴儿运动评估模型，IEEEJ. BioMed. 健康资讯（2021年）1.[7]K.D. McCay，E.S.L.Ho，D.Sakkos，W.L.伍角，澳-地Marcroft，P. Dulson，N.D.Embleton ， Towards Explainable Abnormal Infant Movements Identification ： ABody Part Based Prediction and Visualisation Framework ， 2021 IEEE EMBSInternational Conference on Biomedical and Health Informatics，BHI，2021，pp.1http://dx.doi.org/10.1109/BHI50953.2021.9508603[8] M. 朱，加-地男子，E.S.L.Ho，H.梁慧萍Shum，解读深度学习基于脑性瘫痪预测与通道注意力，在：2021年IEEE EMBS生物医学和健康信息学国际会议，BHI，2021年，pp. 1http://dx.doi.org/10.1109/BHI50953.2021.9508619[9] K.D. McCay，P. Hu，H.P.H. 沈文龙 伍角，澳-地 北达科他州马克罗夫特Embleton，A.Munteanu，E.S.L.何，基于姿势的特征融合和分类框架用于婴儿脑瘫的早期预测，IEEETrans.NeuralSyst.Rehabil。30（2022）8http://dx.doi.org/10.1109/TNSRE.2021.3138185[10] E.S. Ho，K.D.麦凯角北达科他州马克罗夫特Embleton，PCPP：MATLAB应用程序用于从视频中检测异常婴儿运动，Softw.影响（ISSN：2665-9638）（2022）100412，http://dx.doi.org/10.1016/j.simpa.2022.100412。[11]Z. Cao，G.伊达尔戈，T.西蒙，S.-E. Wei，Y.Sheikh，OpenPose：实时多-使用零件亲和场进行人2D姿态估计，2018，ArXiv E-PrintsarXiv：1812.08008。[12]H. Rahmati，H.Martens，O.M.阿莫岛斯塔夫达尔河斯图恩湖加法，频率分析和特征减少方法用于预测婴幼儿脑瘫，IEEE Trans. 神经系统康复中心Eng. 24（11）（2016）1225[13]H. Zhang，H.P.H.Shum，E.S.L.小儿脑瘫的治疗方法注意力通知图卷积网络，在：2022年IEEE医学和生物学工程学会年度国际会议论文集，EMBC'22，IEEE，2022。[14]S. Yan，Y.Xiong，中国山杨D.Lin，时空图卷积网络，基于人工智能的动作识别，在：AAAI人工智能会议，2018年。[15]L.傅立叶变换的线性滤波方法，IEEE Trans. 音频电声。18（4）（1970）451[16]T.N. Kipf，M. Welling，半监督分类与图卷积网络，在：ICLR，2017年。[17]N. 黑塞， C. 博登施泰纳， M. 阿伦斯， U.G. 霍夫曼 R. Weinberger，A.S.Schroeder，用于医学婴儿运动分析的计算机视觉：最新技术水平和RGB-D数据集，在：ECCV 2018研讨会，2018年。[18]W. Poewe，K. Seppi，C.M. Tanner，G.M. Halliday，P. Brundin，J. J. E. Schrag，A.E. Lang，Parkinson disease，Nature Reviews Disease Primers 3（2017）。[19]H. Zhang，E.S.L. Ho，X. Zhang，H.P.H. Shum，基于姿势的震颤分类从视频中诊断帕金森病，在：2022年医学图像计算和计算机辅助干预国际会议论文集，MICCAI '22，2022。[20] Z. Leng，J.Chen，H.P.H.沈文彬Li，X.Liang，稳定的手部姿势估计在通过图神经网络的震颤下，在：2021年IEEE虚拟现实和3D用户界面会议论文集，VR '21，IEEE，2021，pp. 226http://dx.doi.org/10.1109/VR50410.2021.00044[21]Y. Shen，H.Wang，E.S.L.霍湖，澳-地杨，H.P.H.沉，姿势为主，动作-基于图形的拳击技术可视化，Comput。Graph. (ISSN电话：0097-8493）69（补编第109号）C）（2017）104http://dx.doi.org/10.1016/j.cag.2017.09.007H. Zhang，E.S.L.何和H.P.H.Shum软件影响14（2022）1004194[22] G.胡湾，加-地Cui，S. Yu，时空和频域联合学习用于基于混沌的动作识别，IEEETrans.Multimed。22（9）（2020）2207http://dx.doi.org/10.1109/TMM.2019.2953325[23] R. Cutler，M.Turk，基于视图的手势实时光流解释第 三 届 IEEE 国 际 自 动 人 脸 和 手 势 识 别 会 议 论 文 集 ， 1998 年 ，pp.416http://dx.doi.org/10.1109/[24] L. Bose，P. Dudek，J. Chen，S. Carey，W. Mayol-Cuevas，CNN的相机：在像素处理器阵列上的嵌入式神经网络，在：2019年IEEE/CVF计算机视觉国际会议，ICCV，2019年，pp.1335//dx.doi.org/10.1109/ICCV.2019.00142网站。[25] H.- S. Fang，S.谢玉W.泰角，澳-地Lu，RMPE：Regional multi-person poseestimation，in：ICCV，2017.[26] I. Abdelkader，Y. El-Sonbaty，M. El-Habrouk，Openmv：Python驱动的可扩展机器视觉相机，2017，arXiv预印本arXiv：1711.10464。