K-means算法与GMM实战：EM流程与参数估计

在本实验报告中，学生许健针对2020年春季学期计算学部《机器学习》课程的Lab3进行了深入研究，主要涉及两个关键主题：k-means聚类算法和高斯混合模型（GMM）的实现，以及EM算法的应用。 k-means算法部分： k-means的目标是根据给定的训练样本和预期的聚类数量K，找到一个簇划分，使得所有样本到其所属簇中心的平方误差最小。算法的迭代过程包括以下步骤： 1. 初始化阶段：选择K个样本作为初始聚类中心。 2. 分配阶段：计算每个样本到所有中心的距离，将其归入最近的聚类。 3. 更新阶段：根据新的聚类划分，重新计算每个簇的均值，若新旧均值变化小于预设阈值ε，算法收敛；否则，更新均值并重复分配步骤。 4. 流程总结：通过不断迭代，直至达到收敛条件，最终得到最佳的聚类结果。 高斯混合模型（GMM）与EM算法： GMM是一种概率模型，它假设数据是由多个高斯分布混合而成。EM算法在这里用于估计模型参数，特别是混合高斯模型的均值、方差和权重。E步（Expectation）是估计当前状态下每个样本属于每个组件的概率，M步（Maximization）则是基于这些概率来更新模型参数以最大化似然函数。整个过程会反复进行，直到模型参数收敛或达到预定迭代次数。 实验要求包括： 1. 使用自定义的高斯分布生成数据，用k-means算法进行聚类，并评估其效果。 2. 使用GMM模型和自实现的EM算法估计参数，观察似然值的变化趋势，验证算法的正确性。 应用方面，学生被鼓励在UCI等公开数据集上尝试GMM的实际应用，展示算法的聚类能力。 本实验不仅理论性强，还注重实践操作，通过实际编程实现k-means和GMM算法，让学生深入了解这些核心的机器学习方法及其背后的数学原理。