协方差矩阵特征值特征向量

### 协方差矩阵的特征值和特征向量

#### 定义与意义

协方差矩阵是一个重要的统计工具，在多维数据分析中扮演着核心角色。对于给定的数据集，通过构建协方差矩阵并对其进行特征值分解，可以获得关于数据分布的关键信息。

特征值分解是指对协方差矩阵 \( C \) 进行操作，使得存在一组非零向量 \( v_i \)，满足如下关系：

\[ Cv_i = \lambda_i v_i \]

这里 \( \lambda_i \) 是对应的特征值[^1]。特征值反映了各个主成分方向上的数据变异程度；而特征向量则指示了这些主要变化的方向。因此，在主成分分析(PCA)过程中，较大的特征值对应更重要的模式或结构。

#### 计算过程

要计算协方差矩阵的特征值及其相应的特征向量，可以遵循以下步骤（以MATLAB为例）:

1. **准备输入数据**

假设有一个三维空间中的样本点集合 `dataSet` ，形状为 n×m （n 表示观测次数， m 表示变量数量）。首先加载所需的数据集。

% 示例数据集
dataSet = [-1, 1, 0;
           -4, 3, 0;
            1, 0, 2];

2. **获取协方差矩阵**

有两种方式来获得协方差矩阵：一种是直接利用内置函数 `cov()` 来快速得到结果；另一种则是手动按照定义逐步完成运算。

- 使用 MATLAB 的内建命令：

dataCov = cov(dataSet);

- 或者按公式分步执行：

[rows, cols] = size(dataSet);

meanMatrix = mean(dataSet); % 对每一列求平均值得到均值向量
X = dataSet - ones(rows, 1) * meanMatrix; % 中心化处理后的矩阵
covMatrix = (X' * X)/(rows - 1); % 手动计算协方差矩阵

3. **提取特征值和特征向量**

一旦有了协方差矩阵之后，就可以调用 eig() 函数来进行特征值分解：

[V,D] = eig(covMatrix);

在这个例子中，V 将存储标准化后的特征向量作为列向量构成的矩阵，D 则是对角线上含有相应特征值的对角阵。

#### 结果解释

最终输出的结果 V 和 D 可用于进一步理解原始数据集中存在的潜在模式。具体来说，可以通过观察哪些维度拥有较高的方差贡献率——即较大绝对值的特征值所关联的那个特征向量指向的方向——从而识别出最重要的几个属性组合，这正是 PCA 技术的核心思想之一[^2]。