奇异值分解与协方差矩阵

奇异值分解（Singular Value Decomposition, SVD）是一种线性代数的重要工具，用于将一个矩阵分解为三个更简单的矩阵的乘积。在处理数据降维、特征提取、以及数值计算中广泛应用。对于一个矩阵 \( A \) (通常是实数或复数矩阵)，SVD 可以表示为：

\[ A = U \Sigma V^T \]

其中，
- \( U \) 是正交矩阵（行向量是左奇异向量），表示原始数据在新坐标系中的方向。
- \( \Sigma \) 是对角矩阵，对角线上的元素是奇异值，它们衡量了原始数据中各个方向的重要性。
- \( V \) 是另一个正交矩阵（列向量是右奇异向量），如果 \( A \) 是方阵，\( V \) 就等于 \( U \)；如果不是方阵，\( V \) 反映的是数据投影到不同空间的旋转。

协方差矩阵（Covariance Matrix）则是描述一组随机变量之间线性相关性的矩阵。对于 n 维随机变量 \( X \) 的样本数据集 \( X_1, X_2, ..., X_m \)，协方差矩阵 \( C \) 由以下元素构成：

\[ C_{ij} = \frac{1}{m-1} \sum_{k=1}^{m} (X_{ki} - \bar{X}_i)(X_{kj} - \bar{X}_j) \]

其中，\( \bar{X}_i \) 和 \( \bar{X}_j \) 分别是第 i 和第 j 个变量的样本均值。协方差矩阵是对称的，非对角线元素表示两个变量之间的相关性，对角线元素则为每个变量自身的方差。