没有合适的资源?快使用搜索试试~ 我知道了~
可在www.sciencedirect.com在线获取ScienceDirectICTExpress 8(2022)513www.elsevier.com/locate/icte基于腕部PPG的集成方法人体活动识别Omair Rashed Abdulwareth Almaninia,Ismail Mohd Khairuddina,Mohd Azraai MohdRazmana,Rabiu Muazu Musab,Anwar P.P.阿卜杜勒·马吉德a,c,e,f,d,a马来西亚彭亨大学制造与机电工程技术学院创新制造、机电一体化与运动实验室,马来西亚b马来西亚登嘉楼大学学分课程部基础教育和继续教育中心,马来西亚登嘉楼c西交利物浦大学(太仓)Xi交利物浦大学机器人学院,苏州。215123,P.R. 中国d尤里卡机器人中心,加的夫城市大学加的夫技术学院,英国eCentre for Software Development and Integrated Computing,Universiti Malaysia Pahang,Gambang,Pahang Darul Makmur,Malaysiaf马来西亚吉隆坡UCSI大学吉隆坡校区工程、技术和建筑环境学院接收日期:2021年5月28日;接收日期:2021年11月11日;接受日期:2022年3月16日2022年3月23日在线提供摘要通过心电图(ECG)和光电体积描记(PPG)的人体活动识别被广泛研究。虽然ECG需要较少的滤波并且不太容易受到干扰和伪影,但是PPG更便宜并且在智能设备中广泛可用,使其成为期望的替代方案。在这项研究中,我们探索了使用集成方法与几个预先训练的机器学习模型,即Resnet50V2,MobileNetV2和Xception,对人体活动的手腕PPG数据进行分类,并与ECG对应数据进行比较。该研究产生了有希望的结果,PPG和ECG的测试分类准确率分别为88.91%和94.28%版权所有2022作者。出版社:Elsevier B.V.代表韩国通信和信息科学研究所这是一篇基于CC BY-NC-ND许可证的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。关键词:HAR;运动; PPG; ECG;分类;激励;机器学习;迁移学习1. 介绍有不可否认的证据表明,定期锻炼和体育活动提供了许多好处;促进整体健康,以及预防包括癌症和心血管疾病在内的几种慢性疾病。然而,这些健康益处可能会因许多因素而异,例如频率,数量和活动类型。运动和身体活动的自动识别多年来一直是研究的主题。这种兴趣源于人类活动识别(HAR)的许多可能应用,包括其在监控系统中的使用,老年人的监测,患者的康复过程以及与物联网(IoT)有关的许多用途[1]。通讯作者:苏州Xi交利物浦大学(太仓)西交215123,P.R. 中国电子邮件地址:anwarmajeed1983@gmail.com(A.P.P. Abdul Majeed)。同行审议由韩国通信研究所负责教育与信息科学(KICS)。https://doi.org/10.1016/j.icte.2022.03.006主要地,HAR最常用的方法是使用相机产生的图像,这是一种资源耗尽的方法,仍然存在许多障碍。尽管如此,多年来探索了HAR的几种其他方法,其中之一是使用心率测量,其中节律模式可以指示身体活动的类型。心电图是通过检测由心动周期引起的电变化来测量心率的常用方法。在心电图(ECG)中,心率节律通常用电压和时间来表示。ECG是一种广泛使用的方法,由于其高精度和清晰的心律信号描述[2]。很大一部分研究都是利用ECG信号来训练能够自动检测的机器学习模型。例如,Jia et al.中国科学技术大学的研究人员进行了一项关于识别人类日常活动的研究,使用多导联ECG数据,注入加速度计以提高性能[3]。使用的数据集是使用可穿戴电池供电的ECG传感器准备的,其采样范围为200 Hz,分辨率为8位,至于加速度,使用传感器B-MA 180芯片。利用主成分分析法对心电数据进行特征提取2405-9595/© 2022作者。 由Elsevier B.V.代表韩国通信和信息科学研究所出版。这是一CC BY-NC-ND许可下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。ORA 阿尔曼尼岛Mohd Khairuddin,硕士Mohd Razman等人ICT Express 8(2022)513514分量分析和Hermite多项式展开,然后通过线性判别分析进行降维。采用相关向量机(RVM)作为分类算法的研究中,该模型产生了97.78%的准确率时,所有的心电图导联和99.67%的准确率加速度计输液。ECG信号在HAR中显示出非常令人印象深刻的潜力;尽管如此,它需要通常尺寸很大的昂贵机器,使得它对于HAR这样的任务来说非常没有效率。光电容积描记术(PPG)是一种测量心率和心血管节律的可行替代方法,通过使用光学传感器,随着每个心动周期的血容量变化,检测血管组织的光吸收率变化[4]。与心电图相反,这种方法在过去的几年中,人们尝试通过使用PPG数据的机器学习来识别人类活动。其中之一是由Mahmud等人在2020年进行的,在一篇研究论文中测试了多阶段长短期记忆(LSTM)架构的使用[5]。在这项研究中,作者使用LSTM作为时间特征提取的方法,其中时间特征是从PPG数据以及从陀螺仪和不同的加速度计传感器获取的惯性测量中提取的。这些特征的分类是通过利用LSTM和完全连接层的Softmax激活神经网络完成的,使用这种感官数据组合,平均准确率达到83.2%。然而,值得注意的是,当单独使用PPG数据时,分类准确性只有72.3%。Brophy等人发表了另一项研究工作,其主要重点是将PPG数据用于HAR目的[6]。该研究涉及通过预先训练的CNN模型(称为Google的Inception-v3)使用机器视觉方法进行HAR。所用数据来自运动期间腕部PPG公共数据集,并通过使用MATLAB软件将每8秒的信号绘制成传统信号图来处理。经过10000步的训练后,该模型的分类准确率达到了75.8%,与其他仅使用PGG数据的论文相比,准确率相对较高。虽然PPG更实用,因为其数据可以从市场上广泛可用的任何可穿戴设备获取,进一步促进HAR应用对普通消费者的可访问性,但与ECG信号相比,其经常受到噪声和伪影的困扰,ECG信号通常更干净,并且在其采样中更准确。本研究的目的是通过使用基于计算机视觉的转移学习集成卷积神经网络模型来克服这一限制,这是一种新技术,它利用不同预训练深度学习模型的全部优势,在保持训练周期最小的同时大大提高分类性能。2. 方法2.1. 数据采集和准备本研究中使用的数据集是由Casson等人于2017年编制的公开可用数据集运动期间腕部PPG [7]。正如所附文件中所解释的那样,数据是从8个人的样本中记录的,其中5个是女性,其余是男性,平均年龄为26岁。PPG记录通过放置在受试者的手腕也记录了惯性测量(陀螺仪、低噪声加速度计、宽范围加速度计和磁力计)。同时记录胸部ECG信号以进行比较。受试者进行的练习包括四种类型使用跑步机和健身自行车在受控环境中进行的运动:跑步、步行和高/低阻力自行车。以256 Hz的频率对数据进行采样,对数据集进行最小的过滤;仅使用截止频率为15的低通滤波器对骑车记录进行过滤,因为它们表现出在跑步机信号中未观察到的噪声。由于每个信号的长度都相当大,被部分使用,它们被切成间隔为6秒的较小信号,每隔一秒半分段。其目的是快速检测,因为超过6秒的任何时间都可能导致消费者对该过程感到厌倦,更不用说间隔的任何增加都可能导致信息丢失,考虑到处理后的图像大小为224*224(所使用的迁移学习模型的推荐大小)。由于进行了分割,的图像变成4461个图像,每个类别分别由高、低阻力骑自行车、跑步和步行的846、1166、980和1469个图像组成。为了与本文开头回顾的文献进行公平的比较,也为了不转移本研究的重点,探索预训练的集成CNN提供的增强性能,数据保持原样,没有试图解决数据类中的不平衡。可以注意到,数据集只涉及四个类,因此排除了大多数人每天进行的多种活动。然而,由于PPG数据中的噪声量,该数据集似乎为分类研究提供了很大的挑战,这可以在本文引言中回顾的文献中观察到。更不用说,其利用ECG作为比较方法,并且由于本研究的目的是说明集成方法在处理PPG HAR数据时可以提供的优势,因此无论其提供的类别数量如何,它都被认为是合适的2.2. 信号表示法为了使用计算机视觉预先训练的卷积神经网络模型,需要以视觉方式呈现信号。有很多技术能够完成这样的任务在信号处理领域,其中之一是连续的ORA 阿尔曼尼岛Mohd Khairuddin,硕士Mohd Razman等人ICT Express 8(2022)513515××Fig. 1. CWT的过程小波变换CWT是一种数学工具,它通过将信号分解为尺度和平移不同的小波来生成信号的频谱表示。变换的平移和缩放通常以缩放因子的形式表示,该缩放因子通过分别应用高或低缩放因子来放大或压缩信号[8]。当特定小波函数乘以信号时,随着小波在信号上移位和拉伸,信息提取发生,从而允许对信号进行多尺度描绘。为了这项研究,连续小波变换被用来表示信号的光学,因为它是一种方法,不受噪声的影响很大。所用的小波函数是Morlet,并且宽度变换是128。下面在图1中是PPG信号的CWT表示的范例,出于说明目的而放置。2.3. 预训练卷积神经网络及其集成方法分类是机器学习中的一个重要研究领域,几乎每天都会出现许多算法和新架构。最近,卷积神经网络(CNN)在计算机视觉和图像分类领域迅速流行,因为它们的强大架构允许在很少或没有数据预处理的情况下实现令人印象深刻的高分类精度[9]。这只能归功于处理技术的最新进步,因为与随机森林等旧算法相比,CNN是资源耗尽的。一般来说,CNN和深度学习的这一缺陷催生了对一种新的深度学习方法的需求,这种方法可以缩短训练时间,同时保持基于CNN的深度学习的高性能。其中一种方法是迁移学习,这是一种用于将知识从预训练模型转移到新模型的技术,目的是加快训练过程,同时实现更好的准确性[10]。多年来,许多公开可用的预训练模型找到了存在的方式,这要归功于多个开发人员的努力。Resnet50V2、MobileNetV2和Xception是其中的一些模型,也是本研究选择的模型,它们都是在Imagenet数据集上训练的,该数据集包含超过1400万张图片模型的权重在训练过程中转移,然后在图二、 系综模型的结构示意图。使用数据集,这大大加快了训练过程,因为它消除了从头开始完全重建的需要[11]。这三种模型都表现出很好的性能,并在世界范围内用于图像识别的所有类型的应用就像迁移学习一样,还有许多其他技术可以进一步提高模型的可预测性。集成方法是这些技术中的一种,其中同时使用多个模型进行推断。 这是通过使用组合模型中具有最高概率的特征来实现的,使用通常被称为级联层的层,因此提供了比单个模型更高的性能[12]。集成模型可以与任何机器学习算法一起使用,但在本研究中,它被用于组 合上述 三个预 训练的CNN 模型 。Resnet 50 V2 ,MobileNetV 2和Xception一起使用,使用上述concate- nate层,将多个传感器作为输入,并产生一个奇异张量作为输出。这一层的输出要么传递给更多的层,要么直接用于分类,如图所示。 二、2.4. 实验装置在本研究中进行的实验使用具有Nvidia GeForce® GTX1650 Ti(具有4GB专用RAM)和AMD Ryzen™ 7 4800 H微处理器的计算机来设置。实验代码是用编程语言Python编写的,Python是一种流行的机器学习软件开发语言。这些信号主要使用开源Python包PyWavelet进行处理,该包是为了简化小波算法的使用而开发的。在生成CWT图像后,将它们调整为张量224 224 3,并在以4:1的比例分成训练集和测试集之前进行洗牌。然后在模型上训练图像,这些模型连接到多个密集层,其中512、256、128、64个神经元被激活,ReLu激活函数和20%的dropout层,所有这些都用于防止过拟合并提高算法的性能[13]。使用的分类器是Softmax回归分类器。相同的层用于所有比较的算法,以进行公平的比较。该模型最终使用优化算法Adam进行编译,ORA 阿尔曼尼岛Mohd Khairuddin,硕士Mohd Razman等人ICT Express 8(2022)513516表1ECG数据的分类准确性、损失和AUC结果Resnet50V2MobileNetV2Xception合奏训练精度百分之九十五点一九百分之九十三点三百分之九十五点二二百分之九十五点三一损失0.78610.81610.78640.1762AUC0.99190.98330.98830.9914测试精度百分之九十一点二五90.58%百分之九十三点一六百分之九十四点二八损失0.83150.83670.80930.2265AUC0.97420.96660.97630.9848表2PPG数据的分类准确度、损失和AUC结果Resnet50V2MobileNetV2Xception Entrance训练准确率96.46% 87.53% 92.60% 94.51%亏损0.7870 0.8766 0.8286 0.2157AUC 0.9945 0.9688 0.9825 0.9918检测精度82.53% 83.76% 86.11% 88.91%损失AUC 0.9945 0.9548 0.9597 0.9770率为0.00001。培训开始时的批量为16,并继续进行同样多的训练时期,然后以3个时期的耐心提前停止。用于训练模型的程序是在多个Python包的帮助下开发的,即:Tensorflow , Keras , SkLearn , Numpy , Matplotlib 和OpenCV [143. 结果和讨论在机器学习中,一组性能指标,以便充分观察和判断所创建模型的性能。在这项研究中,特别是,使用了几个性能指标;预测的准确性表明了所讨论的模型做出的正确预测的数量,交叉熵损失随着预测概率的接近而减少最后是受试者工作特征(ROC)曲线下面积,通常称为曲线下面积(AUC),用于衡量模型区分类别的能力在表1和表2中,根据上述性能度量,分别描绘了在ECG和PPG数据上训练的所有模型的性能。实验结果如两表所示证明了使用集成方法提供的改进的性能。如表2所示,当PPG 用 于 训 练 集 成 模 型 时 , 与 性 能 最 佳 的 模 型(Xception)相比,分类准确度(CA)提高了2.8%,与所有三个模型的平均准确度相比,提高了4.8%。值得注意的是,Resnet 50 V2在训练过程中表现更好;然而,本文主要关注测试准确性,因为它是一个更好的指标。模型在实际应用中的表现能力,因为它对以前没有呈现给它的数据进行分类。在AUC和Loss(成本函数)上可以看到相同的增强分类性能的趋势图3.第三章。集 合 模 型 的 混淆矩阵。的0.5249和0.0173的增加,分别相比,表现最好的个人模型。这些结果与Brophy等人在同一数据集上所做的先前工作进行了比较。[6]和Mahmud et al.' s [5]的研究显示性能有很大提高,因为两项研究分别产生了75.8%和72.3%的CA。这显示了集成传输模型在增强HAR与PPG数据的过程中的巨大潜力。在表1中,描绘了ECG数据的性能的结果,示出了集成模型之间约5.4%的分类准确度的差异。这可以这可以通过考虑ECG机器与以低得多的成本广泛可用的PPG传感器相比可以提供的准确度来解释。尽管存在这种预期的性能差异,但5.4%的差异与88.91%的准确度相对较低,尤其是与之前的文献相比。毕竟,PPG数据可以使用智能手机和智能腕带轻松获取,考虑到尺寸和价格,这可以为难以使用ECG传感器实现的应用打开大门。虽然前面描述的评估指标提供了对模型性能的充分评估,但混淆矩阵可以提供更进一步的信息,以了解模型图图3示出了当与PPG数据一起使用时集成模型的混淆矩阵,PPG数据是本研究的焦点。通常,对角值指示分类的准确性,并且可以看出,集成模型的值对角集中,这指示良好的分类准确性。值得注意的是,本研究的样本数据较少,样本仅为8名受试者。 我们怀疑数据集大小的增加可以进一步提高模型的性能。如果在未来的研究中使用不同的分类器和更大更复杂的预训练模型,也可以证明进一步的增强ORA 阿尔曼尼岛Mohd Khairuddin,硕士Mohd Razman等人ICT Express 8(2022)5135174. 结论虽然ECG数据通常用于人类活动识别,但PPG可以是一种廉价的替代方案。本研究旨在使用计算机视觉方法,通过PPG信号检测人类活动,并借助集成方法将3个预训练模 型 ( Resnet50V2 , MobileNetV2 和 Xception ) 结 合 起来。将受控条件下的集成模型与其每个组成模型进行比较,这些组成模型在不同活动期间记录的ECG和PPG心率数据上进行训练。虽然在ECG数据上训练的模型表现更好,但PPG的表现给出了相对较高的准确度,为88.91%,这表明在HAR中使用手腕PPG数据与集成方法进行准确检测的潜力。机器学习的领域非常广阔,并且通过PPG数据对HAR进行进一步研究的空间很大;建议在具有更多人类活动的不同数据集上使用本研究中建议的方法,因为它对该方法的全部能力提出了有趣的测试。此外,未来的研究可以比较不同的预处理方法和超参数调整技术,因为它们似乎有可能进一步提高模型的性能CRediT作者贡献声明Omair Rashed Abdulwareth Almanini:概念化,写作-原 始 草 稿 , 方 法 论 , 软 件 , 调 查 。 Ismail MohdKhairuddin : 数 据 管 理 , 软 件 。 Mohd Azraai MohdRazman:方法学,验证。拉比乌·穆阿祖·穆萨:形象化,形式分析. 安瓦尔阿卜杜勒·马吉德:概念化,监督,项目管理,写作竞合利益作者声明,他们没有已知的可能影响本文所报告工作致谢作者要特别感谢数据集的提供者;运动期间的腕部PPG[7]。引用[1] J.K. Aggarwal,M.S. Ryoo,人类活动分析:评论,ACM Comput。监视器43(2011)1 http://dx.doi.org/10.1145/1922649。1922653。[2] D.B.李志华,心电图的基本原理,北京:中国科学院学报。77(1989)857http://dx.doi.org/10.1109/5.29327[3] R.贾湾,加-地Liu,通过融合加速度计和多导联ECG数据进行人类日常活动识别,在:2013年IEEE国际会议信号处理。Commun.计算:ICSPCC2013,2013,http://dx.doi.org/10.1109/ICSPCC.2013.6664056。[4] A.A. Alian,K.H. Shelley,光电体积描记术:脉搏血氧仪波形分析,在:监测。急性护理环境技术,Springer,New York,2014,pp. 165-http://dx.doi.org/10.1007/978-[5] T. Mahmud,S.S. Akash,S.A. Fattah,W.P. Zhu,M.O. Ahmad,使用基于时间特征聚合的深度多阶段LSTM架构从多模态可穿戴传感器数据中识别人类活动,Midwest Symp。电路系统,电气和电子工程师协会,2020年,第页。249http://dx.doi.org/[6] E. Brophy,J.J. Dominguez,Z. Wang,T. E. Ward,使用光电体积描记器传感器数据进行人类活动识别的机器视觉方法,在:第29届爱尔兰信号系统会议上,ISSC 2018,研究所电气和电子工程师公司,2018年,http://dx.doi.org/10。1109/ISSC.2018.8585372。[7] D. Jarchi,A.J. Casson,描述了一个数据库,其中包含在体育锻炼期间使用加速度计和陀螺仪测量运动时记录的手腕PPG信号,数据2(2017)http://dx.doi.org/10。3390/data2010001。[8] Stéphane Mallat,A Wavelet Tour of Signal Processing,第二版,Elsevier,1999,http://dx.doi.org/10.1016/b978-0-12-466606-1.x5000-4.[9] S. Albawi , T.A. Mohammed , S. Al-Zawi , Understanding of aconvolutional neural network , in : Proc. 2017 Int. Conf. Eng.Technol. ,ICET 2017 ,电气和 电子工程师协会 ,2018 年,页1http://dx.doi.org/10.1109/ICEngTechnol.2017.8308186[10] S.J. 潘 角 杨 , 迁 移 学 习 研 究 , IEEE Trans. Knowl. Data Eng.22(2010)1345http://dx.doi.org/10.1109/[11] S.J. 潘 角 杨 , 迁 移 学 习 研 究 , IEEE Trans. Knowl. Data Eng.22(2010)1345http://dx.doi.org/10.1109/[12] O.萨吉湖,澳-地罗卡奇,《包容性学习:一项调查》,威利·internalep,Rev. Data Min. Knowl. Discov. 8(2018)e1249,http://dx.doi.org/10。1002/widm.1249.[13] A. Pauls,确定神经网络的最佳退出率,中西部研究所。Comput.Symp. (2018年)0[14] M. Abadi,P. Barham,J. Chen,Z. Chen,中国山核桃A. Davis,J.Dean,M. Devin,S.盖马瓦特湾欧文,M。Isard,M. Kudlur,J.Levenberg,R. Monga,S. Moore,D.G.默里湾,澳-地Steiner,P.塔克,V。瓦苏德万,P. Warden,M. Wicke,Y. Yu,X. Zheng,TensorFlow:A systemforlarge-scale machine learning,in:Proc. 12th USENIX Symp. 操作员 系统Des. 实施,OSDI 2016,2016。[15] F. Chollet,Keras documentation,keras.io,2015.[16] Numpy , numpy-Numpy , numpywebsite , 2017 ,http://dx.doi.org/10. 1017/CBO9781107415324.004。
下载后可阅读完整内容,剩余1页未读,立即下载
![.pdf](https://img-home.csdnimg.cn/images/20210720083646.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)