多维高斯分布方差极大似然估计

多维高斯分布（Multivariate Gaussian Distribution），也称为正态分布，是一种多元统计概率分布，每个维度的变量都服从独立的均值和协方差矩阵控制下的正态分布。在该分布中，我们要进行方差极大似然估计（Variance Maximum Likelihood Estimation, MLE），目的是找到能够最好地描述观测数据的模型参数，尤其是每个维度上各个变量之间的相互依赖程度。

对于多维高斯分布，假设我们有一组观测数据 \( \mathbf{X} = \{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\} \)，其中每个样本 \( \mathbf{x}_i \) 是一个 \( p \)-维向量，对应的期望（均值）为 \( \boldsymbol{\mu} \) 和方差-协方差矩阵为 \( \mathbf{\Sigma} \)。最大似然估计的目标是找到一组使得观测数据的概率最大的 \( (\boldsymbol{\mu}, \mathbf{\Sigma}) \)。

MLE的具体步骤包括：
1. 对于均值 \( \boldsymbol{\mu} \)，通常计算所有样本的平均值作为最可能的均值估计。
2. 对于方差-协方差矩阵 \( \mathbf{\Sigma} \)，计算样本数据集减去均值后的残差组成的矩阵，然后求其均值平方除以样本数，得到样本方差。这个过程可以用样本方差矩阵 \( S \) 表示。由于方差是对称的，所以最后得到的是半精度矩阵 \( \mathbf{P} = (S + n^{-1} \)，然后\( \mathbf{\Sigma} = \mathbf{P}^{-1} \)。