斯坦福ML公开课121：探索无监督学习的K均值与MoG算法

在斯坦福大学的机器学习公开课程中，第12讲聚焦于无监督学习的主题，特别是K-means聚类算法。相比于前几讲，这一章节的转变标志着从有监督学习向无监督学习的过渡，因为K-means是一种在没有标记数据的情况下进行数据分析的常用算法。 K-means算法的核心思想是将一组数据自动分成若干个类别，每个类别由一个中心（聚类中心）代表。该算法的流程如下： 1. 初始化：随机选择k个聚类中心μ1, μ2, ..., μk位于n维空间中。 2. 分配阶段：计算每个样本到各个聚类中心的距离，将样本分配到距离最近的聚类，赋予其对应的类别标签。 3. 更新阶段：根据当前的分类结果，每个聚类中心更新为该类别的样本平均值，即聚类中心的新位置是其成员点的加权平均。 4. 重复步骤2和3，直到聚类中心的变化幅度小于预设的阈值或达到预定迭代次数，算法收敛。 K-means的目标函数是数据点与其所属聚类中心的平方误差之和，公式为J(label, μ) = ∑||x(i) - μ_label(i)||^2，其中x(i)是第i个样本，μ_label(i)是其对应的聚类中心。通过迭代优化这个目标函数，算法逐渐逼近最佳的聚类划分。 在本节中，还提到了混合高斯分布模型（Mixture of Gaussians, MoG）和基于EM算法的求解方法。EM算法是一种迭代优化技术，特别适用于处理MoG模型，通过E步（Expectation）估计每个样本属于每个高斯分量的概率，然后在M步（Maximization）更新高斯分布参数。这是一种重要的无监督学习技术，常用于图像分析、文本分类等领域，因为它能够发现数据中的潜在结构。 Jensen不等式在这个过程中也有提及，它是概率论中的一个重要概念，用于证明某些统计量的性质，但在此处主要是作为理论工具帮助理解EM算法的收敛性。 K-means的应用广泛，如基因表达数据的聚类分析、市场细分以制定差异化营销策略、新闻聚合以减少重复信息，以及在计算机视觉中的图像分割等。它的优点是简单直观，但缺点是对初始聚类中心的选择敏感，并且假设簇的形状为球形，可能不适合非凸形状的数据分布。 斯坦福ML公开课第12讲深入浅出地介绍了无监督学习中的关键算法K-means及其相关理论，这对于理解和实践机器学习中的数据挖掘和模式识别至关重要。