四元数时空CNN提升人体行为识别精度至85.34%

本文主要探讨了"基于四元数时空卷积神经网络的人体行为识别"这一领域的研究。传统卷积神经网络（CNN）在处理图像时通常针对灰度图像或彩色图像的单通道特征进行处理，这种做法忽略了颜色通道之间的空间依赖性，可能导致真实环境中的颜色信息丢失，从而影响人体行为识别的准确性。为解决这个问题，研究人员提出了一个创新的方法，即利用四元数时空卷积神经网络（QST CNN）。 QST CNN的主要步骤包括预处理阶段和网络结构设计。首先，他们采用了码本算法对样本集中的所有图像进行预处理，这一步骤旨在提取出图像中人体运动的关键区域，提高后续处理的效率和精度。然后，他们将彩色图像转换为四元数矩阵形式，这是QST CNN的独特之处，它允许将红、绿、蓝三个通道作为一个整体来考虑，这样可以更好地捕捉到动作空间特征，同时考虑了不同颜色通道间的相互作用。 在网络的结构上，他们扩展了标准CNN的空间卷积层，将其应用到四元数空间，实现了对颜色通道的整体卷积。此外，通过时间卷积层，网络能够捕获相邻帧的动态信息，增强了对行为变化的敏感性。这样，QST CNN不仅考虑了空间信息，还考虑了时间维度上的连续性，从而提高了识别性能。 为了验证新方法的有效性，文章对比了QST CNN与传统的灰度单通道CNN（Gray CNN）以及RGB 3通道CNN（3Channel CNN）在人体行为识别任务上的表现。实验结果显示，QST CNN在Weizmann和UCF sports数据集上分别达到了85.34%和80.2%的高识别率，这显著优于其他常用的识别方法。这表明，基于四元数时空卷积神经网络的人体行为识别方法在保持颜色信息完整性和捕捉行为动态方面具有显著优势，对于提高人体行为识别的准确性和鲁棒性具有重要的理论价值和实践意义。