多元正态分布：随机向量与协方差矩阵详解

本文档深入探讨了多元正态分布的相关概念和特性。首先，它介绍了随机向量的基本概念，包括什么是随机向量，以及如何定义其数学期望（均值）。对于一个二维随机向量 \( \mathbf{X} = (X_1, X_2) \)，其数学期望表示为 \( \mathbb{E}[\mathbf{X}] = (\mu_1, \mu_2) \)，其中 \( \mu_i \) 是随机变量 \( X_i \) 的期望。 接着，文档讲述了随机矩阵的数学期望，对于矩阵 \( \mathbf{Z} \) 的期望定义为 \( \mathbb{E}[\mathbf{Z}] \)。随机向量期望的性质被进一步阐明，包括线性性和可加性，这些性质对于理解和应用多元正态分布至关重要。 随机向量的核心概念是协方差矩阵，它描述了随机变量之间的相关性。对于二维随机向量，协方差矩阵 \( \text{Cov}(\mathbf{X}) \) 表达为： \[ \text{Cov}(\mathbf{X}) = \begin{bmatrix} \text{Var}(X_1) & \text{Cov}(X_1, X_2) \\ \text{Cov}(X_2, X_1) & \text{Var}(X_2) \end{bmatrix} \] 其中 \( \text{Var}(X_i) \) 是变量 \( X_i \) 的方差，而 \( \text{Cov}(X_i, X_j) \) 是两个变量 \( X_i \) 和 \( X_j \) 的协方差。 在实际应用中，多元正态分布的参数通常通过观察数据进行估计，如均值 \( \boldsymbol{\mu} \) 和协方差矩阵 \( \boldsymbol{\Sigma} \)。对于更高维度的随机向量，这个过程可能更为复杂，但基本原理保持一致，只是计算上涉及更多的变量和矩阵运算。 理解多元正态分布的关键在于掌握这些基本概念，因为它是许多统计学和机器学习中的基础模型，用于描述多个变量之间的关系，并在诸如回归分析、主成分分析（PCA）和贝叶斯推断等方法中发挥着重要作用。通过学习和掌握这些理论，可以更有效地处理和分析具有多个属性的数据集。