高斯混合模型的数学基础

### 高斯混合模型的数学原理

#### 定义与表示
高斯混合模型（Gaussian Mixture Model, GMM）是一种基于概率密度函数建模的方法，特别适用于处理具有复杂结构的数据集。该模型假设所有的数据点是由多个高斯分布的加权和生成的[^1]。

每个高斯分布由三个主要参数定义：

- **均值向量** \(\mu_k\)：代表第 \(k\) 个高斯分量的位置中心。
- **协方差矩阵** \(\Sigma_k\)：描述了各维度之间的相关性和变化程度。
- **混合系数** \(\pi_k\)：指定了各个高斯成分在整个混合物中的相对重要性，满足\(\sum_{k=1}^{K}\pi_k = 1\) 和 \(\forall k,\;0<\pi_k≤1\) 的条件。

对于给定的一组观测样本\(X=\{x_1,x_2,...,x_N\}\)，其中每一个\(x_i∈R^d\)是一个 d 维列向量，则整个系统的联合概率可表达为:

\[p(X|\Theta)=\prod _{{i=1}}^{N}{\Bigg (}\sum _{{j=1}}^{M}\alpha _{j}\cdot N(x_{i};{\boldsymbol {\mu }}_{j},{\boldsymbol {\Sigma }}_{j}){\Bigg )},\]

这里，\(N(x;\mu ,\sigma ^{2})\) 表示单变量或多变量的标准正态分布；\(\Theta=(\alpha_j,\mu_j,\Sigma_j)\) 是所有未知参数组成的集合[^4]。

#### 参数估计——EM算法
为了求解上述公式的最优参数配置，在实际应用中最常用的技术就是期望最大化(Expectation-Maximization, EM)算法。此迭代过程分为两个阶段交替执行直到收敛为止：

- E步骤（Expectation Step）: 计算当前状态下每条记录属于不同簇的可能性；

- M步骤（Maximization Step): 更新各类别的先验概率、平均数以及协方差矩阵以使似然度达到局部最大值。

具体来说，在E-step中计算的是隐藏变量z关于已知观察值x下的后验概率P(z|x)，而在M-step则是利用这些后验概率重新评估并更新θ=[π,μ,Σ]这三个超参[^3]。

% MATLAB伪代码片段展示如何初始化及训练一个简单的二维GMM
clc;
clear all;

% 假设有两组不同的二维数据作为输入...
dataSetOne = mvnrnd([0 0], eye(2), nPoints);
dataSetTwo = mvnrnd([5 5], diag([0.8 0.8]), nPoints);

% 将它们组合成完整的数据集
combinedDataSets = cat(1,dataSetOne', dataSetTwo');

% 初始化GMM对象
options = statset('Display','final');
gmModel = fitgmdist(combinedDataSets.', K); % 这里的K是你想要拟合的类别数量