多元正态分布的非退化线性变换与特征

多元正态分布是统计学中一个核心概念，尤其在多变量数据分析中占据重要地位。它描述的是多个随机变量之间的一种联合概率分布，每个变量都服从均值为零、方差为单位的高斯分布，并且它们之间的线性组合也服从高斯分布。当我们面对一个多变量的回归模型，比如多元线性回归，其中回归系数矩阵扮演了关键角色，它表示自变量与因变量之间关系的强度和方向。 在一个多元正态分布中，随机向量 \( \mathbf{X} \) 的概率密度函数由其均值向量 \( \boldsymbol{\mu} \) 和协方差矩阵 \( \Sigma \) 定义。如果所有分量 \( X_i \) 独立同分布且具有相同的方差，我们可以写作 \( \mathbf{X} \sim N(\boldsymbol{\mu}, \Sigma) \)，其中 \( \boldsymbol{\mu} \) 是期望值，\( \Sigma \) 是一个对称且正定的矩阵，它包含了各个变量之间的相关性信息。 当协方差矩阵是对角阵，即各分量之间相互独立时，模型简化为多个单变量正态分布的线性组合。换句话说，此时的模型可以直接转化为多个单变量线性回归模型的形式。 对于非退化的多元正态分布，这意味着随机向量经过非奇异矩阵 \( A \) 的变换后，其分布保持正态性。这种情况下，新的随机向量 \( \mathbf{Y} = A\mathbf{X} \) 的均值和协方差矩阵可以通过 \( A \) 和原分布的参数来计算，雅可比行列式 \( |J| \) 在变换后的概率密度函数中起着关键作用，确保了变换后的概率密度仍然符合正态分布的性质。 多元正态分布是理解多变量数据集中变量间关系的重要工具，它不仅在理论上有广泛的应用，如统计推断、线性模型和机器学习中的特征变换等，而且在实际数据分析中也是数据预处理和模型构建的基础。通过深入理解和掌握多元正态分布，我们可以更有效地进行复杂的数据分析和模型设计。