利用可穿戴传感器数据进行人类活动识别的深度学习模型

International Journal of Information Management Data Insights 1（2021）100046使用可穿戴传感器数据的索拉布·古普塔联合王国利物浦约翰摩尔大学计算机科学系aRT i cL e i nf o保留字：人类活动识别深度学习传感器CNN-GRUInceptionTimeAutoMLa b sTR a cT通常在智能手表和智能电话中发现的诸如陀螺仪和加速度计的运动或惯性传感器可以测量诸如人体中的运动的加速度和角速度的特性，并且使用它们来学习能够识别人类活动的模型，其在诸如生物识别、远程患者健康监测、最近，基于深度学习的方法对于人类活动识别已经变得流行，因为它们使用表示学习技术，该技术可以在没有任何人为干预的情况下从传感器生成的原始输入数据自动生成最佳特征，并且可以识别数据中的隐藏模式。这项工作提出了一种新的混合深度神经网络模型CNN-GRU，它结合了卷积和门控递归单元，用于人类活动识别。该模型已在WISDM数据集上成功验证，其准确性明显优于其他最先进的深度神经网络模型，如使用AutoML创建的Inception Time和DeepConvLSTM1. 介绍人类活动识别（HAR）是一个研究领域，涉及使用传感器基于时间序列记录自发检测人们进行的日常活动。 在过去的十年中，在传感器、物联网、云和边缘计算等互连传感技术方面取得了许多进步。传感器是低成本的设备，它们可以很容易地集成或嵌入到便携式和非便携式设备中，因此HAR领域的大部分研究已经转向使用传感器技术。具有传感器的可穿戴设备是物联网的普遍应用，可用于轻松捕获各种身体运动以进行人类活动识别。近年来，由于可穿戴智能手机和嵌入可穿戴惯性测量单元的智能手表的快速普及，由加速度计和陀螺仪组成的惯性测量单元（IMU）传感器可以轻松识别和定位人体运动，因此可以在医疗保健等领 域 开 发 大 量 应 用 （ Kushwaha ， Kar ， &Dwivedi ， 2021 年 ;Woznowski ， King ， Harwin ， &Crad-dock ， 2016 ） ， 生 物 识 别（ Weiss ， Yoneda ， &Hayajneh ， 2019 ） ， 体 育 分 析 （ RamasamyRamamurthy& Roy ， 2018 ） ， 个 人 适 应 性 跟 踪 器 （ RamasamyRamamurthy& Roy，2018），老年人护理（Ranasinghe，Tor- res，&Wickramasinghe ， 2013 ） ， 安 全 和 监 控 应 用 （ Chen ， Hoey ，Nugent ， Cook ， &Yu ， 2012; Ranasinghe ， Al MacHot ， &Mayr ，2016）。基于可穿戴传感器的HAR的重要性显而易见，因为它可以用于分类和记录许多日常活动，如进食、饮水、刷牙、睡眠异常检测，而不仅仅限于与锻炼相关的活动。HAR包括两种类型的操作：简单和复杂。复杂的人类活动包括执行一个简单的人类活动，https://doi.org/10.1016/j.jjimei.2021.100046作为一种特定的过渡动作，关于识别复杂的人类活动（如刷牙，运球等）的研究相对较少（Vrigkas，Nikou，Kakadiaris，2015）。在机器学习领域，使用标记数据的HAR是一个多变量时间序列分类和监督学习问题。先前的几项研究已经探索了使用传统算法（如SVM、随机森林、XGBoost等）的活动识别任务，和非传统的深度学习技术，如ANN、CNN、RNN、LSTM等。传统算法的挑战是需要大量的特征工程和手动特征提取，这是耗时的（Weiss等人，2019年）。另一方面，深度学习技术可以自动从数据中学习特征，因此更适合对复杂的人类活动进行分类。这项工作的主要目的是建立一个CNN-GRU混合深度学习，用于将来自WISDM数据集的18种日常简单和复杂人类活动准确分类为三组的模型，a）步行导向的活动，例如步行、慢跑等，b）手部导向的活动（一般），例如书写、打字等，c）手部导向的活动（进食），例如来自低级时间序列传感器数据的吃薯片、吃意大利面等，使用智能手表和智能手机的三轴加速度计和陀螺仪收集，可以捕获人体动作的加速度或振动和角速度。根据本研究的目的制定的研究问题描述如下：• RQ 1.如何从头开始创建一个由卷积神经网络（1D CNN）和门控递归单元（GRU）组成的混合深度学习模型，以便从原始传感器数据中自动学习局部接收日期：2021年6月14日;接收日期：2021年11月6日;接受日期：2021年11月7日2667-0968/© 2021作者。由Elsevier Ltd.发布。这是一个CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）可在ScienceDirect上获得目录列表国际信息管理数据见解期刊主页：www.elsevier.com/locate/jjimeiS. 古普塔International Journal of Information Management Data Insights 1（2021）1000462• RQ 2.如何利用AutoML来创建最先进的复杂深度学习，本研究中使用的基础模型，例如Inception- Time和DeepConvLSTM，用于基于不同传感器模态对不同人类活动进行• RQ 3.智能手机或智能手表这两种可穿戴设备中，哪一种在执行HAR时提供更好的准确性，即使它们包含类似的陀螺仪和加速度计传感器？一维卷积神经网络（CNN）用于提取局部特征，门控递归单元（GRU）是一种具有存储信息的记忆的递归神经网络，因此可以提取时间特征。结合CNN-GRU可以准确识别复杂的人类活动。 为了比较该混合 模 型 的 性 能 ， 使 用 基 于 McFly 的 AutoML 创 建 了 InceptionTime 和DeepConvLSTM等基线模型（van Kuppepyruvone等人， 2020）开源Python包。下面的第2节对用于基于传感器的人类活动识别的算法和方法进行了文献调查。第3节介绍了所提出的方法和本研究中使用的人类活动识别框架。第4节描述了本工作中使用的实施细节、方法和实验设置，第5节通过基于性能指标评估不同模型的输出来提供结果和分析。第六部分是本研究的讨论和主要贡献。最后，第7节总结了所做的工作和未来的后续步骤。2. 文献综述文献综述的设计方式如下：我们首先定义人类活动和HAR的各种方法，包括使用可穿戴传感器的利弊。接下来详细讨论了在线与在线方法以及在先前研究中用于基于传感器的人类活动识别任务的各种机器学习算法，最后总结了混合深度学习架构及其相对于其他传统算法的优势。2.1. 人类活动人类活动是指涉及能量输出的运动，手势或身体动作（Gani，2017）。 例子包括行走、饮食等活动。人类活动分为简单和复杂两类。简单的人类活动考虑身体姿势和运动来定义各种活动。这些活动包括跑步、散步、慢跑等。复杂的人类活动包括简单的活动以及特定的功能（Vrigkas等人，2015年）。例如，像吃食物这样的活动，其中受试者做像坐着这样的简单活动，并且执行的功能是吃食物。在这项工作中，简单和复杂的人类活动将被分为三组，如图1所示，使用基于智能手机和智能手表获得的传感器数据的深度学习模型。2.2. 人类活动识别方法通常存在两大类人类活动识别系统：基于视觉的系统和基于传感器的系统（Chen等人，2020年，如图所示。 二、 基于传感器的技术可以进一步分为三类：a）可穿戴b）设备绑定（对象标记）c）无设备（密集传感）（Hussain，Sheng，&Zhang，2019）。基于视觉传感器的系统使用摄像机、视频来捕捉和识别所研究对象的动作。使用视觉传感器有一些缺点和限制，隐私是主要的问题，因为它可能不可能在所有位置安装摄像头，也由于符合法规要求（Hussain等人，2019年）。此外，用于处理图像和视频的基于计算机视觉的技术是计算密集型的。可穿戴传感器是一种传感器模态，可用于识别和定位人类正在执行的动作这些类型的传感器既可以佩戴在身上，也可以植入表带、智能手表、衣服和智能手机中。加速度计、陀螺仪、磁力计、肌电图（EMG）、心电图（ECG）和大量基于IoT的传感器设备在市场上是可用的，其是安全的并且甚至可以佩戴在身体上用于记录运动（Seshadri等人， 2019年）。将可穿戴传感器放置在正确的位置对从人那里收集的活动数据有直接的影响腰部、下背部和胸骨是可以放置传感器的最明显的位置传感器越靠近质量中心，身体运动的例证就越好。这就是嵌入有加速度计和陀螺仪的智能手机和智能手表非常方便使用的地方。智能手机可以很容易地放在口袋里，智能手表可以佩戴在惯用手上，并且在检测复杂的基于手的人类运动（例如刷牙、喝汤等）中非常有用。在设备绑定或对象标记方法中，传感器不佩戴在身体上，而是附着在日常使用的物品上。 根据受试者如何与这些项目进行交互，识别出不同类型的活动。这些类型的传感器的缺点之一是，像可穿戴传感器一样，受试者必须使用设备所附接的物体（Hussain等人，2019年）。麦克风，超声波传感器是这类传感器的一些例子。无设备传感器也被称为基于环境的或密集的传感器，其优点是受试者不直接将其佩戴在身体上。这些类型的无设备传感器可以直接放置在环境中，并且可以捕获受试者正在执行的运动、交互和基于动作的活动。这些类型的传感器中最流行的是基于RFID（射频识别技术）的传感器。基于射频的其他突出类型的传感器是（i）Wi-Fi（ii）ZigBee无线电（iii）基于RFID（iv）基于FM微波（Wang Zhou，2015）。2.3. 在线与在线HAR在人类活动识别中，传感器数据收集，训练模型和活动分类的任务可以在两种模式下执行：在线或在线（Slim，Atia，Elfattah，Mostafa，2019）。 当需要从实时数据进行关键分析时，首选在线模式，这种方法可能是资源密集型的，而在线模式用于从已经收集的数据中收集信息。 在这项工作中，使用OC-line模式从WISDM数据集中已经收集的传感器数据中训练日常人类活动的模型和分类。2.4. 用于HAR的基于传感器的HAR时间序列分类问题的机器学习算法主要有三类：判别式，生成式和混合式。在过去，基于智能手机、智能手表的HAR已经做了大量的工作，重要的工作将作为本文献调查的一部分进行详细讨论。使用图3所示方法的利弊也将在接下来的部分中深入讨论。2.4.1. 判别方法传统的基于判别模型的HAR分类方法通常使用决策树、随机森林、SVM、XG Boost、Logistic回归、ANN等算法。Weiss等人（2019）探索了三种算法随机森林，k邻居和决策树，用于对18种活动进行分类，S. 古普塔International Journal of Information Management Data Insights 1（2021）1000463图1.一、 WISDM数据集中的18个活动的列表。图二、 人类活动识别方法（Hussain等人， 2019年）。WISDM数据集，并使用来自智能手表和智能手机的加速度计传感器数据实现了94. 4%的平均准确度，并能够实现每种不同活动的最低准确度91%Tran Phan（2016）使用支持向量机（SVM）来分类- 从智能手机传感器获得了10名11-26岁志愿者的6种基本人类活动，如行走，坐着，躺下，站立，上楼，下楼，使用248只精心制作的功能。Zhang，Zhao，Li（2019）使用公开数据集和XG Boost分类器对五种室内活动进行分类，准确率达到84. 19%，并通过使用频域和小波域的特殊特征Weiss，Timko，Gallagher，Yoneda，Schreiber（2016）选择了五种不同的算法：J48决策树，B3基于实例的学习，RF，MLP朴素贝叶斯，并能够获得64%的手表加速度计数据，25.3%的手机加速度计数据和53.5%的智能手表陀螺仪的整体准确度。S. 古普塔International Journal of Information Management Data Insights 1（2021）1000464图三. 人类活动识别算法（Nweke，Teh，Al-garadi，Alo，2018）。Ahmed，Rafiq，Islam（2020）在他们的研究中提出了一种混合方法，由过滤器和包装器方法组成，用于选择最佳特征。支持向量机用于HAR的所选特征，并产生了96%的平均准确度，这是6%，优于平均准确度时，没有做特征选择。上面讨论的方法通常严重依赖于手动特征提取。这受到领域专业知识、耗时和资源密集的限制。深度学习方法很有用in addressing解决these kinds类of problems问题.来自传感器的HAR识别的最新趋势表明，卷积神经网络和递归神经网络等深度学习方法在具有挑战性的活动识别任务中提供了出色的结果，这些任务具有名义特征工程，而不是对原始数据使用耗时的手动特征学习。使用深度学习方法的主要好处之一是自动特征学习的强制性，使用深度神经网络提取时间特征（Verma，Sharma，Deb，&Maitra，2021）。各种深度学习方法已经被应用于时间信息提取，包括RNN、LSTM& GRU（Wang等人， 2020年）。CNN是另一种被广泛使用的深度学习。提取时间特征的方法CNN不需要幻灯片-设置窗口以分割时间序列数据。卷积运算-沿着传感器信号的时间维度直接应用具有小核的核，使得可以捕获局部时间依赖性（Chen等人，2020年b）。1D CNN和2D CNN都已被研究人员有效地用于从传感器识别HAR活动。Chen，Zhong，Zhang，Sun，Zhao（2016）探索了基于LSTM的方法，用于从WISDM数据集中的三轴加速度计数据中识别人类活动，准确率为92.1%Wang，He，Zhang（2019）使用基于注意力的CNN从弱标记数据中识别人类活动。基于注意力的模型的优势在于，它可以有效地关注来自长序列的标记活动，并过滤掉背景信号。2.4.2. 生成方法朴素贝叶斯、隐马尔可夫模型（HMM）是基于传感器的行为识别中常用的生成模型。Lester，Choudhury，Kern，Borriello，Hannaford（2005）使用隐马尔可夫模型来捕获活动的平滑时间序列，以95%的准确率识别十种不同的人类活动。S. 古普塔International Journal of Information Management Data Insights 1（2021）1000465Munoz-Organero Ruiz-Blazquez（2017）使用了一种新的生成模型，其形式为双层堆叠的自动编码器，用于从放置在受试者惯用手上的加速度计收集的传感器数据中提取特征。使用留一法研究了来自五个不同用户的六个不同人体运动，并获得了0.77的F评分值Sansano，Montoliu，Belmonte Fernández（2020）使用Deep Be-lief Networks（DBN）以及CNN，GRU，LSTM等其他一些算法，使用从10个不同的公开可用数据集的DBN由一堆相互堆叠的受限玻尔兹曼机组成在这些类型的体系结构中存在从时间序列数据中吸收区别性特征的固有困难，并且计算昂贵，因此它们现在已经过时，尽管它们可以提供比传统算法2.4.3. 混合方法HAR的混合方法旨在通过使用各种判别式、生成式或两种类型的模型的组合来生成有效特征。Gao等人（2019）提出了一种堆叠去噪自动编码器（SDAE）与LightGBM（LGB）的混合，用于对通过在四个不同数据集上使用各种传感器模态的组合获得的在HSBD数据集上，使用混合模型（LGB+SDAE）获得的准确度为98.23%，这比使用LGB或SDAE等单独模型进行HAR要高得多卷积神经网络是目前应用最广泛的一种神经网络模型，它与其他生成和判别模型进行了有效的融合。Zhang，Wu，Luo（2015）使用HMM和DNN的混合模型本文还将GMM、RF与DNN的混合模型进行了比较 ，结 果表明 HMM-DNN 模型 的准确 率（ 93.52%） 和精密 度（93.37%）均优于HMM-RF和HMM-GMM模型。Gao，Yang，Wang，Li（2016）提出了一种受限玻尔兹曼机与卷积神经网络的复杂混合模型。Xia，Huang，Wang（2020 a）使用LSTM-CNN的混合体进行主动身份识别。LSTM用于从序列多模态移动传感器数据中提取时间信息，然后CNN提取特征。超参数调整，如批量归一化等，进行调整模型和F1得分为95.78%，获得了UCI-HAR数据集，这是优于其他基础模型。Song et al.（2016）提出了一种混合CNN-LSTM模型，用于对日常活动、锻炼、锻炼和运动等活动进行自我中心识别。在这项研究中，使用CNN和LSTM的组合完成了以自我为中心的视频和加速度计的多模态传感器融合。然而，由于缺乏训练数据，与基础模型相比，所获得的结果并不是最佳的2.4.4. 结论在这项工作中，为了有效地识别复杂的人类活动，如吃饭，喝水，刷牙，运球等，有必要从使用不同模态的原始传感器收集的数据中识别空间和时间特征。这是谨慎地使用卷积和门控递归单元（GRU）神经网络的混合来3. 该方法本研究中使用的研究方法包括如图4所示的关键方法，如数据采集或收集相关涉及基于传感器的人类活动识别，所获取的数据的预处理，使用适当长度的滑动窗口将原始传感器数据转换成片段，将数据集分割成训练、验证和测试数据集，然后使用各种表1数据集的摘要信息受试者人数51活动数量18每项活动收集的分钟数3传感器轮询速率20 Hz智能手机使用谷歌Nexus 5/5X或三星Galaxy S5智能手表使用LG G手表原始测量数15630426深度学习算法，调整超参数，并使用各种性能指标评估模型的性能。这些阶段最终将导致从使用传感器收集的数据中对人类活动进行监督分类和识别，这些传感器可以根据他们的身体运动帮助远程监控危重患者或老年患者。3.1. 数据收集本研究中使用的数据已经收集并公开提供 在UCI机器学习知识库中作为WISDM智能手机和智能手表活动和生物测定数据集（Weiss等人，2019年）。3.1.1. 数据集该数据集的独特之处在于，要分类的活动不仅限于运动，还包括吃面食、吃饼干、折叠衣服和刷牙等类别，这使其适用于其他数据集以外的有限领域锻炼或运动。该数据集由51名不同的参与者创建，他们的年龄和性别信息保持匿名，每个人的口袋里都有Google Nexus或三星Galaxy S5手机，左手腕上戴着智能手表。手机直立着放在他们的右口袋里，手机屏幕背对着身体。每个参与者使用每个设备执行18个不同的活动，每个活动连续3分钟，速率为20 Hz，这表明每秒执行20个数据点。表1总结了数据的一般特征和数据收集过程。完整的活动清单是：散步，站立，踢腿，慢跑，爬楼梯，写字，鼓掌，刷牙，叠衣服，运球，接球，打字，吃三明治，吃薯条，喝酒，吃意大利面，喝汤。每个设备和传感器类型（加速计、陀螺仪）的传感器数据存储在4个不同的数据目录中。在每个目录中，51个文件对应于需要的51个参与者通过建立适当的数据框架加以整合。属性信息如表2所示。目标变量是活动代码，预测变量是加速度计和陀螺仪的x、y、z维传感器读数。3.2. 数据预处理由于数据集是以分层数据文件的形式组织的，因此作为预处理的第一步，这些数据文件需要合并以形成数据帧。从智能手表和智能手机数据可以推断，信息不同步，因此将为智能手表和智能手机创建两个数据帧，然后将在本研究中使用。此外，在每个数据帧中，陀螺仪和加速度计传感器数据将被融合。参与者的数据首先根据时间戳列汇总为每个传感器（陀螺仪加速度计）的51个数据帧，然后分别合并为智能手表和智能手机。合并后熊猫数据帧的最终形状在模型创建期间，通过在1D卷积之间引入最大池化层，可以处理数据集中的噪声，该噪声可以归因于由于执行的人类动作而导致的无意抖动。S. 古普塔International Journal of Information Management Data Insights 1（2021）1000466见图4。人类活动识别框架。表2属性信息WISDM数据集。属性描述受试者ID值从1600到1650，表示51名参与者的活动代码。活动代码“A”和“S”之间的字符timestamp UniX style timestamp.xX维度传感器读数（加速度计或陀螺仪）。yy维度传感器读数（加速度计或陀螺仪）。zz维度传感器读数（加速度计或陀螺仪）。表3智能手机和智能手表数据集的形状。DataFrame行数列数电话4，780，251 9手表3，731，135 9CNN-GRU混合模型的神经网络层（Xia，Huang，Wang，2020 b）。由于数据集有足够的数据量，因此删除了用0/NaN表示的缺失值行。在该数据集中，数据点均匀分布在智能手机和智能手表数据集中要预测的18种人类活动中，因此不需要处理类别不平衡。3.3. 数据转换使用10秒的滑动窗口对数据进行分段，并通过使用50的步长进行50%的重叠。这一步是必要的，这样数据就可以转换为适当的时间步长和特征格式，以输入到深度学习模型中。 由于这项研究的目标是创建可以处理任何用户数据的模型，因此原始数据集将以60：20：20的比例分为训练，验证和测试数据集，用于训练和验证这项工作中使用的深度学习模型，并调整其超参数，然后在测试数据集上进行最终测试，以得出最终结果和结论。3.4. 模型开发由于这是一个多类分类问题，因此使用的损失函数是分类交叉熵：3.5. 所建议模型时间序列数据集以数据点的形式概括了一段时间内的数量测量。时间序列分类（TSC）处理基于数据点行为的数据点随时间的分类问题在监督学习中，TSC涉及基于从具有标记数据的现有时间序列的学习来预测新时间序列的类标签。在这项研究中，基于深度学习的特征提取方法已被用于对各种人类活动进行分类。本研究中使用的3个深度学习模型CNN-GRU，InceptionTime DeepConvLSTM将在后续章节中详细讨论3.5.1. 混合CNN-GRU深度学习中的混合模型是多种模型的融合。本研究中提出的混合模型是1D CNN和GRU模型的组合在这个模型中，前一层的输出由下一层处理建议的混合模型的高级架构如图所示。 五、选择使用1D CNN是因为它能够使用内核从传感器数据（例如陀螺仪或加速度计）自动提取空间或局部信息，所述内核沿着一维移动，如图6所示（Chen等人，2021; Nasir，Khan，&Varlamis，2021）。首先，在所提出的模型中，输入序列被转换为序列，然后将其提供给包装在时间分布包装器中的1D CNN进行处理。1D CNN层具有过滤器，分配给它的内核大小是超参数，并在模型创建期间进行调整。使用Relu激活功能。两条CNN新闻- ER用于模型开发。每个CNN层将被跟踪通过最大池化层来避免过度拟合，并从数据集中去除数据收集过程可能导致的噪声。来自最后一个最大池化层的输出通过一个dropout层，以防止过度拟合，并被简化为一个单一的维度向量，作为两个堆叠的GRU层的输入，然后是一个丢弃，致密层���−=1电子邮件���（1）使用GRU层的优点是它具有较少的数量与LSTM相比，门的数量相对较少，因此具有相对较少的参数，因此比LSTM更快，并且可以提供比较其中N是输出大小或输出中缩放器值的数量。结果令人满意（Zhao，Gao，Wen，Li，2021）。此外，由于GRU使用门控机制和隐藏状态，因此它可以控制信息的传输∑S. 古普塔International Journal of Information Management Data Insights 1（2021）1000467图五. CNN-GRU混合深度神经网络。它有助于克服RNN长输入序列存在的消失梯度问题。GRU由两个门组成：a）复位门b）更新门，如图所示。 7与LSTM不同，GRU没有输出门，只有一个更新门，其中合并了遗忘门和输入门。更新门：更新门是一个重要的单元，它有责任确定有多少信息应该从前一个状态传递到下一个状态。重置门：重置门用于确定有多少以前或过去的信息必须被忽略。3.5.2. 启动时间Inception Time是一种新的深度学习模型，基于卷积神经网络的集成。这种类型的网络的灵感来自于Inception框架在计算机视觉分类任务中的成功，特别是图像分类，并且它的使用在监督时间序列分类问题中变得非常普遍。在这项研究中，复杂的Inception时间架构将使用基于Python的开源AutoML库McFly（van Kuppepyruvone等人，2020年），架构如图所示。8.第八条。McFly中使用的架构由多个Inception模块组成，每个模块由一个最大池化层（也称为瓶颈层）组成，用于降维，然后是四个1D CNN层，其中三个1D CNN层具有不同大小的内核，一个1D CNN具有固定的内核大小（van Kuppepyruvone et al.， 2020年）。该Inception模块的输入是使用滑动窗口技术分割的原始传感器数据的形式，并通过批量归一化层，以便在数据预处理期间不需要显式归一化。最后一层由一个级联层组成，其中前四个CNN层的输出被级联，随后是全局平均池化层，密集层和用于分类目的的softmax激活层。初始模块的数量是一个超参数，McFly从默认范围[3，6]中随机选择。同样，在incep中不同层的内核大小tion模也是一个超参数，它是通过将[10，100]的默认范围乘以2和4。将多个Inception模块堆叠在一起并使用不同大小的滤波器的优点是，这种组合可以提取多个分辨率的局部和全局特征，因为Inception模块中的内部层可以从不同的内核大小中进行选择。3.5.3. DeepConvLSTM在本研究中，DeepConvLSTM将使用McFly（van Kuppepyruvone等人，2020）是一个用于时间序列分类的开源AutoML Python库，其架构如图9所示。在 在这个模型中，输入通过一个批量归一化层，然后通过Conv 2d层，这些层在每个通道上应用，然后与LSTM层耦合。这种布置适合于基于佩戴在身体上的原始传感器数据的人类活动识别的任务，因为这种数据中的通道对应于身体运动。LSTM层之后是一个dropout层，用于减少过拟合，然后是时间分布的密集层，softmax激活函数和take-last层，用于对各种人类活动进行分类使用Mc y的优点是，它可以自动随机地从默认的给定范围中选择不同的超参数，如果需要，也可以由自定义范围覆盖。卷积层的数量是一个超参数，可以从默认范围[1，10]中选择。类似地，每个卷积层中的滤波器的数量以及LSTM层的数量是超参数，并且可以使用Mc y包分别从[10，100]，[1，5]的默认范围中选择（van Kuppepyruvone等人，2020年）。3.6. 模型评估用于模型评估的关键指标在《手册》XA中有描述。S. 古普塔International Journal of Information Management Data Insights 1（2021）1000468图六、在 1D CNN中的加速度计数据上进行一维核滑动。图7.第一次会议。门 控循环单元（GRU）（赵，韩，赵，&魏，2020）。图8.第八条。 初始时间模型（van Kuppepyruvone等人， 2020年）。4. 执行和评价4.1. 实施决策图9.第九条。 DeepConvLSTM模型（van Kuppepyruvone等人， 2020年）。1.19.4.使用Google Colab（配备12.72 GB RAM、68.40 GB硬盘和TeslaT4）来运行实验，以评估本工作中使用的深度学习模型的性能，并使用OptKeras 0.0.7基于Optuna 0.14.0进行超参数优化。为了生成结果，使用Tensor Closeow 2.4.0，Keras 2.4.3，Python2.6.9，Pandas 1.1.5，Numpy进行实验使用三个DL模型- CNN-GRU，Incep- tion Time，DeepConvLSTM在智能手表和智能手机数据集上进行，S. 古普塔International Journal of Information Management Data Insights 1（2021）1000469（∑=（表4CNN-GRU超参数参数值转换过滤器1 32过滤器2 128辍学1 0.08GRU单位1 64GRU单位2 64辍学率2 0.1时代25批量64来自WISDM数据集的原始陀螺仪和加速度计传感器数据。4.2. Keras中的模型配置在接下来的小节中，将详细讨论各种深度学习模型的模型配置（Garg，Kiwelekar，Netak，&Bhate，2021）。4.2.1. 混合CNN-GRUCNN-GRU混合模型配置如图10所示，用于智能手表和智能手机数据集。它可以读取主序列的子序列作为块，提取特征，然后允许GRU层对从每个块提取的特征进行分类。由于使用了10秒的滑动窗口，即200个时间步长，因此每个窗口中的时间步长被转换为4个50个时间步长的连续性，并作为输入与6个特征一起提供给CNN。时间分布层用于包装整个CNN模型，以便相同的CNN模型可以读取四个输入序列中的每一个。使用两个1D CNN层，每个层后面都是一个最大池化层，然后是一个dropout层，以减少过拟合，然后被重新注意并最终输入到两层堆叠的GRU中，然后是一个dropout和softmax层，用于分类。由于分类是在数据集上执行的，因此交叉熵损失是使用的损失函数。对于多类分类，交叉熵损失定义为：表5InceptionTime超参数。参数值过滤器_编号73学习_率0.002783最大内核大小34网络深度5正则化率0.001968表6DeepConvLSTM超参数。参数值[2019 - 09 - 19 00：00：00][2019 -09 - 19 00：00]学习_率0.00083324Lstm_dims [79，57，47]正则化率0.0060978850平均池，以进一步减少参数的数量。智能手表数据集的超参数，例如初始模块的数量、滤波器大小、内核大小、正则化率等，是使用随机搜索方法选择的，如表5所示。4.2.3. DeepConvLSTMDeepConvLSTM是一种深度学习混合模型。它由几个Conv2D层和一个LSTM层组成。在这项研究中，McFly AutoML软件包被用来实现这个模型。 使用McFly的好处在于，通过随机选择用于创建各种模型的超参数，可以非常容易地创建机器学习模型。在这项研究中，创建了4个不同的DeepConvLSTM模型，并根据验证准确性选择了性能最佳的模型。模型配置由7个不同过滤器大小的Conv2D层组成，用于从输入时间序列数据中选择局部特征，然后是3层堆叠的LSTM。的层数 是一个超参数在LSTM之后，引入dropout来减少过拟合，然后使用时间分布密集层和softmax来对各种人类活动进行分类超参数1��������� = ��� 1������ ���������������–）（2）使用随机搜索方法选择智能手表数据集，如表6所示。其中，R1是真实标签，R2是针对���R3训练示例预测的标签，N是训练示例的总数������超参数优化使用OptKeras执行，OptKeras是一个Python包设计，用于使用Optuna包使用贝叶斯优化执行超参数优化。Optuna是一个基于贝叶斯优化技术在深度学习和机器学习中自动化超参数优化的框架。表4表示使用OptKeras为上述CNN-GRU混合模型调整的超参数。4.2.2. 启动时间Inception Time深度学习模型配置使用开源Mc y AutoML包实现。 该软件包的优点是可以通过使用随机搜索来微调模型，轻松创建多个模型，然后可以根据评估指标选择最佳模型。在这项研究中，Mc y被用来创建4个最先进的Inception Time模型，并选择具有最佳验证精度的模型。该模型由5个初始模块组成，每个模块由一个最大池化层和4个Conv1D组成，其中3个Conv 1D具有不同的内核大小，1个Conv 1D具有不同的内核大小。1D有一个固定的内核大小。该模型的输入是来自智能手表和智能手机数据集的时间序列数据，该数据集已使用10秒的滑动窗口进行转换。最后一层连接来自inception模块的输入，并将输入传递给全局5. 结果和分析在本节中分析并呈现人类活动识别的结果。基于深度学习的模型能够自动学习特征，因此能够提高本研究中使用的混合深度学习模型（如CNN-GRU、InceptionTime）的性能&DeepConvLSTM使用评估指标进行比较，如准确性，F1分数，精确度，召回率和混淆矩阵。模型输出乃根据上一节所述的模型配置呈列。5.1. 模型输出评估5.1.1. 混合CNN-GRU对于性能评估，使用如图10中所述的CNN-GRU模型配置以及所提到的超参数 表4.将数据集以60：20：20的比例分割，用于训练、验证和测试。智能手表数据集的最佳模型产生了96.54%的准确度，如图11所示的分类报告所示，而对于智能手机数据集，最佳模型产生了90.44%的准确度，如图12所示。 12岁智能手表和智能手机数据集的混淆矩阵如图1A和1B所示。分别是13和14。 从智能手机的混乱矩阵X，很明显，该模型有最困难的，S. 古普塔International Journal of Information Management Data Insights 1（2021）10004610见图10。 混合CNN-GRU模型架构。S. 古普塔International Journal of Information Management Data Insights 1（2021）10004611图十一岁智能手表分类报告（CNN-GRU）。图12岁智能手机分类报告（CNN-GRU）。图13. 智能手表混淆矩阵X（CNN- GRU）。S. 古普塔International Journal of Information Management Data Insights 1（2021）10004612图14. 智能手机混淆矩阵X（CNN- GRU）。图15. 智能手表模型精度损失（CNN- GRU）区分属于一般和进食类别的面向手的活动。类似地，从智能手表数据集的混淆矩阵中这是可能的，因为智能手表戴在手腕上，因此从收集的原始传感器数据中，模型能够区分属于一般和进食类别的手部活动，而不是手臂和手部活动。智能手表智能手机数据集的模型准确度&损失曲线&如图1A和1B所示。分别是15和16。从曲线来看，模型训练和验证损失逐渐减小，并且在25个时期之后保持稳定。此外，模型训练和验证准确性是平行的，彼此接近，没有过度拟合的迹象5.1.2. 启动时间对于性能评价，数据集以60：20：20的比例进行分割，用于训练、验证和测试。智能手表数据集的最佳InceptionTime模型产生了95.79%的准确度，如图17所示的分类报告所示，而对于智能手机数据集，最佳模型产生了88.50%的准确度，如图17所示。S. 古普塔International Journal of Information Management Data Insights 1（2021）10004613图16. 智能手机模型精度损失（CNN- GRU）图17. 智能手表分类报告（初始时间）如图18所示。总体而言，《盗梦空间》在识别人类活动的不同类别方面做得很好。智能手表和智能手机数据集的混淆矩阵如图1A和1B所示。分别是19和20。根据智能手表混淆矩阵，面向维护的活动的精度