非参数贝叶斯模型驱动的自动聚类算法及其应用

本文主要探讨了一种基于非参数贝叶斯模型的聚类算法，针对聚类分析中模型选择的挑战，尤其是在无监督情况下确定最优聚类个数的问题。作者在2013年的研究中，提出了利用Dirichlet过程混合模型（DPMM）来解决这一难题。 Dirichlet过程是一种概率论中的随机过程，由Ferguson在1973年首次提出，它是一种描述概率分布的概率分布本身。在DPMM中，关键概念包括Dirichlet过程的基本定义，即一个随机概率测度G服从DP如果满足特定的数学条件，如公式(1)所示，表示为G ~ DP(H, α)。实际应用中，Dirichlet过程通常通过stick-breaking构造、Polya Urn Model和Chinese Restaurant Process等构造形式处理，以便于采样和预测。 作者将混合系数π定义为一个无限序列，通过stick-breaking过程生成，如公式(2)所示，其中π ~ GEM(α)。这个过程中的H是基分布，而G则是根据这些混合系数来分配观测数据的概率分布。对于给定的观测数据η，根据Dirichlet过程的性质，新观测数据η+的预测条件分布遵循特定的形式，这在无标签的学习环境中提供了数据分类的依据。 研究的核心在于构建一种算法，它利用collapsed Gibbs采样方法估计混合模型的参数，这种算法能够在不断迭代中优化模型，自动调整聚类个数。这种方法的优势在于其非参数特性，允许模型适应不同类型的数据分布，无需预先设定固定的聚类数量。 实验部分展示了这种基于Dirichlet过程混合模型的聚类算法在人工合成数据集和真实数据集上的性能。结果显示，相比于传统方法，该算法在模型选择方面更为灵活且效果显著，能够在没有类别标签的情况下找到有效的数据聚类结构。 这项研究提供了一种新颖的聚类算法策略，通过非参数贝叶斯模型和Dirichlet过程有效地解决了聚类分析中模型选择的难题，对于实际数据挖掘和机器学习任务具有重要的理论价值和实践意义。