证明多元正态变量的主成分仍为正态变量且相互独立
时间: 2023-06-21 07:12:21 浏览: 43
假设有 $p$ 个多元正态变量 $X_1, X_2, \cdots, X_p$,它们的协方差矩阵为 $\Sigma$。主成分分析的目标是找到 $X_1, X_2, \cdots, X_p$ 的线性组合 $Y_1, Y_2, \cdots, Y_p$,使得 $Y_1, Y_2, \cdots, Y_p$ 相互独立,且它们的方差依次递减。
设 $Y_1, Y_2, \cdots, Y_p$ 是 $X_1, X_2, \cdots, X_p$ 的主成分,其中 $Y_1$ 的方差最大,$Y_2$ 的方差次之,以此类推。我们知道,主成分是通过特征值分解协方差矩阵得到的。设 $\lambda_1, \lambda_2, \cdots, \lambda_p$ 是 $\Sigma$ 的特征值,$v_1, v_2, \cdots, v_p$ 是对应的特征向量,且已经按照特征值大小排序,即 $\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p$。
则 $Y_i = \sum_{j=1}^p v_{ij} X_j$,其中 $v_{ij}$ 表示矩阵 $\Sigma$ 的第 $i$ 行第 $j$ 列,即第 $i$ 个主成分的系数向量。由于 $\Sigma$ 是对称正定矩阵,因此 $v_1, v_2, \cdots, v_p$ 构成一组正交基,即 $v_i^T v_j = \delta_{ij}$,其中 $\delta_{ij}$ 是克罗内克(delta)符号,满足 $\delta_{ij}=1$ 当 $i=j$,否则为 $0$。
由于 $X_1, X_2, \cdots, X_p$ 是多元正态变量,因此对于任意的线性组合 $\sum_{i=1}^p a_i X_i$,它的分布也是正态分布。对于主成分 $Y_1, Y_2, \cdots, Y_p$,由于它们是 $X_1, X_2, \cdots, X_p$ 的线性组合,因此它们也是正态分布。此外,由于 $v_1, v_2, \cdots, v_p$ 构成一组正交基,因此 $Y_1, Y_2, \cdots, Y_p$ 是相互独立的。
因此,多元正态变量的主成分仍为正态变量且相互独立。