RGB与深度图像融合的 hand gesture 识别特征选择

本文探讨了在Kinect技术普及背景下对手势识别（Hand Gesture Recognition, HGR）领域的研究进展。作者提出了一种新的手部动作特征提取方法，旨在提高HGR的准确性和区分度。研究主要集中在RGB（红绿蓝）图像和深度图像的特征分析。 首先，从RGB图像中提取了基于方向梯度直方图（Histogram of Oriented Gradients, HOG）特征，这是一种用于检测图像局部纹理模式的有效工具，通过统计像素强度的方向差异来描述图像的局部结构。接着，利用局部二值模式（Local Binary Pattern, LBP）特征，它通过对图像的邻域像素进行编码，捕捉局部灰度纹理的不变性，进一步增强了特征的表达能力。 针对深度图像，作者提取了结构特征，这些特征考虑了物体的形状和空间关系，有助于区分不同的手势。此外，三维体素（3D voxel）特征也被纳入，这种将深度数据转化为三维网格的方式能够提供更丰富的几何信息，有助于更精确地识别手势的三维空间动态。 为了减少特征维度并增强其区分度，研究者引入了一种新颖的去线性主成分判别分析（Deflation Orthogonal Discriminant Analysis, DOCA）。DOCA是一种监督降维技术，它在保持高阶结构的同时，最大化类别间的差异和最小化类内差异，从而提高了特征向量之间的决策边界，使得分类模型更具鲁棒性和准确性。 本研究结合RGB和深度图像的不同类型特征，并通过DOCA进行特征融合和优化，为手势识别提供了更为有效的特征表示，这对于提升HGR系统的性能，尤其是在实际应用中处理复杂环境下的多手势识别任务具有重要意义。这项工作对于后续的手势识别研究和技术开发具有一定的指导价值。