RGB-D视频与CNN结合的行为识别算法

“结合RGB-D视频和卷积神经网络的行为识别算法.pdf”是关于人体行为识别技术的一篇学术论文，主要探讨了如何利用RGB-D视频（包含颜色和深度信息的视频）以及卷积神经网络（CNN）来提升行为识别的准确性和鲁棒性。 在引言部分，文章指出人体行为识别在人机交互、视频检索和视频监控等领域具有广泛应用，传统基于RGB相机的方法受光照、遮挡等因素影响较大。随着3D体感传感器如Kinect的出现，研究者开始利用RGB-D数据来降低这些影响，提高识别算法的稳定性。 本文提出了一种新的行为识别算法，该算法解决了早期融合RGB图像和深度图像特征时遇到的高维度和计算复杂度问题。具体步骤如下： 1. **RGB视频处理**：首先，将RGB视频序列分割成可重叠的子序列片段，这有助于捕获静态外观和短期运动信息。这些片段被输入到卷积神经网络进行训练，以学习和提取关键特征。 2. **深度图序列处理**：在深度图序列中，通过计算改进的深度运动图（Depth Motion Map, DMM），捕捉长期运动信息。DMM作为输入进入二维卷积神经网络进行训练，进一步提取深度信息中的运动模式。 3. **决策融合**：最后，通过改进的加权乘积法融合来自RGB视频和深度图序列的卷积神经网络的预测分数，得出最终的行为分类结果。这种方法旨在优化不同来源信息的融合，提高识别精度。 实验验证在公开的数据集UTD-MHAD和MSR Daily Activity 3D上进行，结果显示，该算法能有效地提取行为的静态外观和时间域运动信息，实现了良好的识别效果。 关键词包括人体行为识别、深度运动图、RGB、卷积神经网络和决策融合，表明该研究的核心内容涉及这些技术领域。论文的中图分类号TP391.4和DOI：10.3969/j.issn.1672-9722.2020.12.046提供了文献的分类和电子标识符，便于后续引用和检索。