层次聚类与聚类算法探索

"层次聚类-聚类算法基础" 这篇资料主要介绍了聚类算法的基础，特别是层次聚类。聚类是一种无监督学习方法，用于在没有先验类别信息的情况下，根据数据的内在相似性将其组织成不同的组或簇。资料中提到了几种常见的聚类方法和相关概念。 首先，资料提及了最大熵模型，这是一种广泛应用的模型，特别是在决策树的特征选择过程中，熵作为不确定性度量被用来构建目标函数。同时，资料回顾了逻辑回归的对数似然函数，强调其二阶导数Hessian矩阵为半负定，意味着通过梯度上升法找到的解是全局最优解。 接着，资料简要介绍了回归分析的一个例子，即如何在三维空间中建立各项异性椭球。这部分内容可能与聚类不直接相关，但展示了数据分析中的一个重要概念。 资料的重点在于聚类算法，包括K-means聚类。K-means算法是最常用的聚类方法之一，它首先随机选取k个对象作为初始簇中心，然后将其他对象分配到最近的簇，并基于簇内对象的平均值更新簇中心，这个过程不断迭代直至簇中心不再显著变化。K-means算法对初始中心点的选择非常敏感，不同的初始设置可能导致不同的聚类结果。 除了K-means，资料还提到了层次聚类。层次聚类可以是自顶向下（凝聚式）或自底向上（分裂式），通过构建树状结构（谱树）来表示数据间的相似关系。层次聚类不受初始簇中心的影响，更适用于发现数据的层次结构。 此外，资料还介绍了密度聚类，包括DBSCAN（基于密度的聚类算法）和密度最大值聚类。这些方法不依赖于预先设定的簇数量，而是基于数据点的密度来识别簇。DBSCAN特别适用于发现任意形状的簇，能够处理噪声点，并且不需要知道簇的数量。 最后，资料简要定义了聚类的目标，即在大量未标记数据中寻找相似度较高的内部簇和差异较大的外部簇。并列举了几种常用的相似性度量，如欧式距离、杰卡德相似系数和余弦相似度。 这份资料涵盖了聚类算法的基础知识，包括各种聚类方法的原理、应用及其优缺点，是学习聚类算法的良好起点。