哈工大PCA算法详解：Fisher准则与特征向量转换

本讲义主要探讨的是哈尔滨工业大学（哈工大）的研究生课程中关于主成分分析（PCA）算法及其基于Fisher准则的应用。PCA是一种常用的数据降维方法，通过最大化数据方差来找到数据的主要方向，常用于特征提取和数据分析中。Fisher准则在此处可能指的是Fisher判别准则，它在分类问题中特别有效，有助于找到不同类别之间的最大分离。 首先，讲义强调了矢量和坐标系的概念，指出特征向量通常用坐标表示，每个分量代表其在特定坐标轴上的投影。一个标准正交坐标系由单位长度且相互垂直的基向量组成，如直角坐标系。通过内积运算，我们可以确定向量在各坐标轴上的分量。 接着，讲义深入到PCA算法的推导。在样本集合中，每个样本对应特征空间中的一个点。在不同的坐标系下，同一样本的表示会发生变化，但本质信息不变。这里举了一个从原坐标系到新坐标系转换的例子，其中新坐标系可能更有利于数据的解释或处理。新坐标系的基向量、原点偏移量μ以及向量x的变换关系被明确地给出。 公式（1）表明新坐标系下向量的变化是由于原向量加上一个常向量μ；公式（2）展示了在新坐标系下，向量的坐标由原向量和μ以及基向量的线性组合决定；而公式（3）则给出了如何通过原向量和基向量计算新坐标系下的分量。 Fisher准则在这里可能是用来指导选择最佳的主成分方向，使得不同类别的样本在新坐标系中尽可能分离，从而简化模型并提高分类性能。理解这些概念对于理解和实施PCA算法至关重要，特别是在实际数据分析和机器学习项目中。 总结来说，这门哈工大的讲义深入讲解了PCA的数学原理，特别是如何通过Fisher准则来优化坐标变换，以便在处理高维数据时降低复杂性，并保持关键信息。这对于那些希望在数据分析或机器学习领域运用PCA技术的学生和研究者来说是一份宝贵的参考资料。