高斯混合模型惧类算法的实现

高斯混合模型（Gaussian Mixture Model，简称GMM）是一种基于概率密度函数的聚类算法。它可以用于将数据集分成多个高斯分布的簇，其中每个簇可以被认为是一个混合高斯分布的组合。GMM模型的优点是可以处理非球形的簇、簇的数量可以自动确定、能够给出样本属于每个簇的概率。

GMM算法的实现主要包括以下几个步骤：

1. 初始化高斯分布参数：随机初始化每个高斯分布的均值、协方差矩阵和混合系数。

2. E步（Expectation）：计算每个样本属于每个高斯分布的概率。

3. M步（Maximization）：更新每个高斯分布的均值、协方差矩阵和混合系数。

4. 判断收敛：如果参数没有变化或者达到了设定的迭代次数，则停止迭代。

5. 输出结果：将每个样本分配到最高概率的高斯分布中，得到聚类结果。

下面是一个简单的Python实现示例：

import numpy as np
from scipy.stats import multivariate_normal

class GMM:
    def __init__(self, n_components=2, max_iter=100, tol=1e-4):
        self.n_components = n_components  # 高斯分布的数量
        self.max_iter = max_iter          # 最大迭代次数
        self.tol = tol                    # 收敛阈值

    def fit(self, X):
        n_samples, n_features = X.shape

        # 随机初始化每个高斯分布的均值、协方差矩阵和混合系数
        self.means = np.random.rand(self.n_components, n_features)
        self.covs = np.array([np.eye(n_features)] * self.n_components)
        self.weights = np.ones(self.n_components) / self.n_components

        for _ in range(self.max_iter):
            # E步：计算每个样本属于每个高斯分布的概率
            prob = np.zeros((n_samples, self.n_components))
            for k in range(self.n_components):
                prob[:, k] = self.weights[k] * multivariate_normal.pdf(X, mean=self.means[k], cov=self.covs[k])
            prob /= prob.sum(axis=1, keepdims=True)

            # M步：更新每个高斯分布的均值、协方差矩阵和混合系数
            means_prev = self.means.copy()
            for k in range(self.n_components):
                weight_k = prob[:, k].sum()
                self.means[k] = (X * prob[:, k].reshape(-1, 1)).sum(axis=0) / weight_k
                self.covs[k] = ((X - self.means[k]) * prob[:, k].reshape(-1, 1)).T.dot(X - self.means[k]) / weight_k
                self.weights[k] = weight_k / n_samples

            # 判断收敛
            diff = np.abs(self.means - means_prev).max()
            if diff < self.tol:
                break

        # 输出结果：将每个样本分配到最高概率的高斯分布中
        self.labels_ = np.argmax(prob, axis=1)