Calinski-Harabasz Index（CH 指数）的使用

Calinski-Harabasz Index（CH 指数）是一种用于评估聚类算法效果的指标，它可以用于评估 KMeans 算法的聚类效果。该指标计算簇内离散度和簇间离散度的比值，具体计算方法如下：

1. 计算每个簇内数据点与该簇质心的距离的平方和，记为 $S_{i}$。

2. 计算所有簇内数据点与整个数据集质心的距离的平方和，记为 $S_{T}$。

3. 计算簇间离散度 $B$，即所有簇质心与整个数据集质心的距离的平方和，记为 $B$。

4. 计算 CH 指数，即 $CH = \frac{B/(k-1)}{S_{T}/(n-k)}$，其中 $k$ 表示簇的个数，$n$ 表示数据点的个数。

CH 指数越大，表示聚类效果越好。因为 CH 指数在计算时考虑了簇内离散度和簇间离散度之间的平衡，可以避免只考虑簇内离散度或者簇间离散度导致的评估偏差。在使用 PySpark 进行 KMeans 聚类时，可以使用 calinskiHarabaszScore 函数来计算 CH 指数，具体使用方法如下：

from pyspark.ml.clustering import KMeans
from pyspark.ml.evaluation import ClusteringEvaluator

# 加载数据
dataset = spark.read.format("libsvm").load("sample_kmeans_data.txt")

# 训练 KMeans 模型
kmeans = KMeans().setK(2).setSeed(1)
model = kmeans.fit(dataset)

# 使用 CH 指数评估聚类效果
evaluator = ClusteringEvaluator()
ch_score = evaluator.evaluate(model.transform(dataset), {evaluator.metricName: "silhouette"})
print("CH Score:", ch_score)

其中，evaluator.metricName 参数设置为 "silhouette"，是因为 ClusteringEvaluator 支持多种评估指标，需要明确指定使用的指标。