2013国际会议：环境智能下的Kinect活动识别技术原型实现及数据集实验

© 2013由Elsevier B.V.发布。信息工程研究院负责评选和同行评议可在www.sciencedirect.com上在线获取ScienceDirectIERI Procedia 7（2014）49 - 542013年应用计算、计算机科学与计算机工程国际会议环境智能场景Pietro Cottone，Gabriele Maida，Marco Morana*DICGIM，巴勒莫大学，Viale delle Scienze，ed. 6，意大利摘要现在有大量的传感器可用，这就强调了需要新的方法来合并低级别的测量，以实现它们在真实环境中所指的事实。环境智能（AmI）技术利用关于环境状态的信息来使环境本身适应用户的偏好。即使传统的传感器可以粗略地了解用户的偏好，也需要ad-hoc传感器来更深入地了解用户的习惯和活动。在本文中，我们提出了一个框架，通过微软Kinect识别用户的活动。这里提出的方法利用了一些人体部位的位置估计使用Kinect的深度信息。在我们的系统中，关节的重要模式（即，姿势）通过应用聚类技术被发现，然后通过多类SVM被分类。每个活动，然后建模为一个序列的已知姿势，通过使用障碍。通过将Kinect连接到具有有限计算资源的微型PC，已经实现了原型。实验测试已经在我们实验室收集的数据集上进行，结果看起来非常有希望。© 2014作者。由爱思唯尔公司出版 这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/3.0/）。信息工程研究院负责评选和同行评议关键词：环境智能;用户分析;活动识别; Kinect* 通讯作者。联系电话：传真：电子邮件地址：marco.morana@unipa. it。2212-6678 © 2014作者由爱思唯尔公司出版 这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/3.0/）。信息工程研究所负责的选择和同行评审50Pietro Cottone等人/ IERI Procedia 7（2014）491. 介绍近年来，不断增加的创新传感器的可用性促进了新技术的产生，用于普遍监测真实环境。这种趋势的目标是使环境环境智能（AmI）是一项新的研究，旨在产生智能方法，使环境特征适应用户这里提出的方法是AmI系统[2]的一部分，该系统旨在监控办公环境，以实现建筑物的能源效率，同时满足与用户表达的偏好相关的许多约束。在我们的架构中，传感组件[3]是使用[4]设计的，并且由能够测量一些最相关的环境条件（例如，温度、湿度、光照[5]）。然而，即使传统的传感器节点允许捕获用户偏好的环境特征，基本节点也不足以提供有关用户正在执行的活动的高级信息;为此目的，高级视觉传感器是一种可能的解决方案。在这项工作中，我们提出了一个系统，通过微软Kinect传感器在我们大学的一些办公室进行用户活动识别。在我们的视野中，活动被描述为通过骨架跟踪算法检测到的一些身体关节的位置定义的不同姿势的序列[6]。关节位置的最常见模式（即，姿势）通过应用聚类算法来发现，然后使用支持向量机进行分类。隐马尔可夫模型（HALGOT）最后应用于建立一个表示的每个活动作为一个序列的已知的身体姿势。在所考虑的情况下，传感系统被广泛部署在该部的不同房间;因此，Kinect传感器还连接到一台无风扇的PC，以实现高水平的移动性和普及性。本文的组织如下：相关的工作在第2节中概述，而这里提出的整体架构在第3节中说明。第4节详细介绍了实验结果，第5节讨论了结论。2. 相关工作最近，在各种著作中已经分析了人类活动识别的问题许多解决方案都是基于对传统相机捕获的彩色图像的处理。在[7]中，作者使用了一组表示人类轮廓的二进制图像作为基于HALGOT的系统的输入。轮廓是通过处理RGB图像获得的，因此该方法需要大量的典型图像处理步骤（例如，背景去除）以产生可靠的输出。另一种基于轮廓和离散障碍的活动识别技术在[8]中提出。作者使用傅立叶分析来描述人体轮廓，并使用支持向量机（SVM）[9]将其分类为不同的姿势。然后，姿势被描述为从HMM发出的符号，以识别不同的活动。其他作品[10] [11]通过分析侵入式传感器捕获的数据来关注活动识别问题，例如，传感器可以由用户佩戴。我们的观点是将Kinect视为一个传感器，透明地收集有关用户行为的观察结果[12].微软Kinect的视觉系统由两个摄像头组成（即，RGB摄像机和IR摄像机）以及负责向环境拍摄红外线的IR投影仪。投射到场景上的每条光线的失真度用于估计深度图，其中每个像素值表示特定3D点与Kinect的距离。Pietro Cottone等人/ IERI Procedia 7（2014）4951Kinect已经在其他一些作品中被选为输入传感器。使用Kinect的人类动作表示模型在[13]中给出。人体用关节表示，动作表示为这些关节的子集之间发生的相互作用。由于大量的可能特征，数据挖掘算法被用于发现最具区别性的特征，称为小样本，使得特定动作可以被定义为小样本Entrance，即，一种小披肩的组合。在[14]中，描述了用于动态手势识别的全自动和鲁棒的实时系统。作者提出了一种基于动作图的方法，该方法与标准HMM具有相似的属性，但需要更少的训练数据，因为它允许不同手势之间的状态共享。3. 系统概述这里提出的系统（参见图1（a））被设计为通过对一组已知特征进行推理来自动发现用户执行的活动，即，姿势首先，通过骨架跟踪算法[4]检测人体的一组3D点的坐标，然后通过K均值算法[15]应用于该集合，以建立一组已知姿势。通过支持向量机（SVMs）分类器验证所获得的姿势，而隐马尔可夫模型（HMM）最终用于表示每个活动作为一个序列的已知姿势。OpenNI/NITE 1.5骨架检测方法[6]能够检测（即，以找到3D坐标）实时地定位15个身体关节（参见图1（b））。在所考虑的情况下，为了克服IR传感器的噪声，选择了11个关节的子集，丢弃那些检测不太可靠的关节。特别是，一些低活动性关节（即，髋关节和肩关节）尚未被考虑，如[12]中获得的结果所建议的，其中应用主成分分析来评估减少的特征空间是否以及如何影响系统性能。由于检测到的关节的相对距离取决于与用户相关的多个因素（例如，高度、臂长）及其在场景中的位置，我们将检测到的关节的坐标移动到固定在躯干处的新坐标系（x轴与左右髋轴重合），并且特征已经相对于颈部和躯干之间的距离进行了缩放。参考关节（红点）如图1（b）所示，我们用于分析的关节用绿色表示，而丢弃的关节用灰色表示。在检测到感兴趣的关节后，我们应用K-means算法将所观察到的关节模式的数量减少到K，即我们构建了K词的词汇表。通过采用该模型，我们可以将每个姿势视为词汇表中的特定单词，从而可以将每个活动建模为一致的单词序列。一个更好的统计描述，每个集群获得通过应用SVM的方法。特别是，K-means生成的关联特征/聚类作为输出，我们使用这些特征/聚类来训练具有高斯径向基核函数的多类SVM。此外，由于序列的联合配置转换成一个序列的K字，我们得到的所有连续出现的相同的姿势合并。以这种方式，还获得了更有效的表示，允许识别以可变持续时间执行的活动的不同实例。接下来，我们通过离散隐马尔可夫模型（HMM）对每个活动进行建模[16]。每个HMM使用已知的姿势序列进行训练，然后根据最大后验概率对新的（未知的）活动进行分类，所述最大后验概率是通过针对一组HMM测试相应的姿势序列来计算的。如果一个不可靠的（即，低）概率时，将该序列标记为52Pietro Cottone等人/ IERI Procedia 7（2014）49Fig. 1. (a)系统概述;（b）OpenNI/NITE骨骼跟踪器检测到的15个关节。参考关节（红色）：颈部、躯干。选定的关节（绿色）：头、肘、手、膝、脚。丢弃的关节（灰色）：肩膀，臀部。4. 结果本文提出的方法是一个更大的系统的一部分，该系统旨在控制安装在建筑物中的致动器，以根据用户的偏好和功耗约束来创建和维护环境条件。在这种情况下，Kinect设备是传感器网络的节点，并且活动识别模块的输出是AmI系统的输入之一，AmI系统对来自感测基础设施的不同信息进行推理以推断用户正在做什么。在[12]中，我们的活动识别框架的早期版本已经在公共MSR 3D数据集上进行了评估[17]。由于现有公共数据集的质量通常很差，我们决定收集一个新的数据集，其中包含8个活动（接球帽，扔纸，拿伞，走路，打电话，喝酒，坐下，站起来），每个活动由10个不同的受试者执行3次。为了验证所提出的解决方案的准确性和鲁棒性，已经对捕获的240个进行了几次测试。特别地，实验测试通过应用网格搜索方法来找出聚类数K的最佳值对（即，姿势的数量）和HMM状态的数量N。网格中每个节点的值被计算为重复十次的留一交叉验证（LOOCV）的平均速率，以克服聚类算法的随机性。在K = 39和N = 5的情况下获得最佳识别率，LOOCV的不同运行之间的平均准确度为95%，标准差为2.45。受整个数据集获得的结果的启发，我们专注于研究所选训练集如何以及在多大程度上影响系统性能。出于这个原因，整个数据集被划分为子集，每个子集以类似于[17]中使用的方式测试三次： 1/3验证：每个受试者采集的数据的1/3用于训练，其余部分用于测试; 2/3验证：每个受试者捕获的数据的2/3用于训练，其余部分用于测试; 交叉受试者验证：1/2的受试者用于培训，其余部分用于测试。上述每个测试重复十次，随机选择训练集和测试集的序列或受试者。所进行的三次测试的结果如表1所示。前两行报告的准确度值分别为93.75%和94.87%，与整个数据集获得的平均准确度95%相当。最重要的结果是通过跨主题测试（底部行）获得的结果，该测试旨在测量系统识别新用户执行的活动的能力。Pietro Cottone等人/ IERI Procedia 7（2014）4953科目事实上，约91%的识别率表明，所提出的方法能够捕获活动的一般模型，而不管执行该活动的用户是谁。我们开发的方法已经实现，并使用MATLAB和LIBSVM 0。活动识别模块的原型已经实现连接Kinect到一个微型PC配备了英特尔凌动Z530 1.6GHz的CPU和Linux操作系统与内核2.6.32。这种最小的设置允许以最低的干扰和低功耗对观察到的场景进行实时处理。事实上，用JAVA实现的系统的原型版本花费平均处理时间（即，包括姿势分析和活动识别），而功耗约为7W，仅比空闲期间所需的功耗多1W。表1.使用三种不同的训练集获得的识别率。准确度（%）1/3验证百分之九十三点七五2/3验证百分之九十四点八七交叉受试者确认百分之九十点九八5. 结论在这项工作中，我们提出了一个系统，通过Kinect传感器在办公室渗透到小型普适传感器设备的用户活动的自动识别。我们首先估计一些关节的位置，即，通过使用Kinect提供的3D信息，人体各部分连接的点。所提出的方法根据一组已知的模式识别由用户执行的活动。这种模式，称为姿势，自动定义的聚类训练数据到k个集群和分类的SVM为基础的方法。每个活动最终由基于已知姿势序列的HMM建模。为了验证系统的准确性和鲁棒性，对我们收集的数据集进行了几次测试。特别是，我们专注于调查系统的能力，区分类似的活动和所提出的方法的可扩展性。结果表明，该系统是能够捕捉到一个通用的模型的行动，而不管用户执行it.In特别是，我们成功地在建模的活动独立于其持续时间或谁执行it.The解决方案提出了可扩展的，即稳定的结果可以得到考虑大量的行动，并可扩展与新的行动没有以前记录。此外，我们建立的原型设置表明，所提出的方法可以在资源受限的设备上执行，提供近实时处理所观察到的场景。我们目前正在为我们的数据集的扩展版本收集更多数据，包括额外的手势和主题，以便公开下载和比较。确认这项工作得到了智能建筑项目的支持，该项目由POR FESR SICILIA 2007-2013资助54Pietro Cottone等人/ IERI Procedia 7（2014）49引用[1] De Paola，M.拉卡夏湾Lo Re，M. Morana和M.奥托拉尼在AmI场景中通过多传感器融合的用户检测。第15届信息融合国际会议论文集，第2502- 2509页。IEEE Computer Society，2012。[2] A. De Paola，G. Lo Re，M. Morana和M.奥托拉尼建筑群节能智能系统。2012年，IFIP第二届可持续互联网和信通技术促进可持续发展会议记录。[3] A. De Paola，S.加利奥湾Lo Re和M.奥托拉尼Sensor9k：设计和试验基于WSN的环境智能应用的试验平台。普适和移动计算。Elsevier，8（3）：448-466，2012年。[4] A. Lalomia，G. Lo Re和M.奥托拉尼一种用于软实时无线传感器网络仿真的混合框架。第13届IEEE/ACM分布式仿真和实时应用国际研讨会论文集，2009年。DS-RT '09，pp. 201-207[5] G.阿纳斯塔西湾Lo Re和M.奥托拉尼用于历史建筑结构健康监测的无线传感器网络。在人类系统的相互作用，2009年。09年HSI。第二次会议，第574 - 579页[6] PrimeSense。Openni。http://www.openni.org/。[7] J. Yamato、J. Ohya和K.石井基于隐马尔可夫模型的时序图像中人体动作识别。计算机视觉与模式识别，1992年。1992年CVPR会议记录，1992年IEEE计算机协会会议，第379 - 385页[8] M. Pietikainen V. Kellodiapu和J. Heikkila。使用姿势序列的人类活动识别。在Proc IAPR Conf.Machine Vision Applications，第570 - 573页[9] Bernhard Scholkopf和Alexander J. Smola。用核学习：支持向量机，正则化，优化及其他。麻省理工学院出版社，美国马萨诸塞州剑桥，2001年。[10] 放大图片作者：Stephen J. Goulermas，Laurence P. J. Kenney，Dave Howard，Kenneth Meijer，and Robin Crompton.活动识别使用身体安装传感器-分类技术的审查。生理测量，30（4）：R1[11] Ling Bao和Stephen S.因蒂尔从用户注释的加速度数据中识别活动。在普适计算中，计算机科学讲义第3001卷，第1-17页。Springer Berlin Heidelberg，2004.[12] P. Cottone，G. Lo Re，G. Maida和M.莫拉娜用于环境智能场景中的活动识别的运动传感器。在PerCom研讨会2013年，第646-651页[13] 王江，刘自成，吴英，袁俊松。挖掘actionlet集成用于深度相机的动作识别。在计算机视觉和模式识别（CVPR）中，2012年IEEE会议，第1290 - 1297页[14] 库拉金，Z. zhang和Z.刘某一种具有深度传感器的动态手势识别实时系统。信号处理会议（EUSIPCO），2012年第20届欧洲会议论文集，第1975- 1979页[15] J·麦奎因多元观测值分类与分析的若干方法。第五届伯克利数学统计和概率研讨会，第281-297页[16] L.R.瑞比纳隐马尔可夫模型及其在语音识别中的应用教程。Proceedings of the IEEE，77（2）：257[17] Wanqing Li，Zhengyou Zhang，and Zicheng Liu.基于一袋三维点的动作识别。在计算机视觉和模式识别研讨会（CVPRW），2010年IEEE计算机学会会议上，第9 - 14页[18] 张志忠和林志仁。LIBSVM：一个支持向量机的库。ACM Transactions on IntelligentSystems and Technology，2：27：1