基于不同距离的kmeans算法代码实现

基于不同距离的K-means算法通常指的是有监督学习中的K-means++初始化改进版本，以及使用其他距离度量而非欧氏距离的变种。原始的K-means算法依赖于Euclidean距离（两点间直线距离），但在某些数据集上，例如非正态分布的数据或者特征之间存在异质性的数据，可以考虑使用如Manhattan距离（L1距离）、Mahalanobis距离（考虑了特征间的协方差）等。

以下是使用Python的scikit-learn库中修改过的KMeans示例，这里演示的是如何使用Manhattan距离：

from sklearn.cluster import KMeans
import numpy as np

# 定义 Manhattan 距离
def manhattan_distance(x, y):
    return np.abs(x - y).sum(axis=1)

# 创建KMeans实例，指定距离函数
kmeans = KMeans(n_clusters=k, init='k-means++', distance_metric=manhattan_distance)

# 使用数据拟合模型
kmeans.fit(X)

# 预测聚类标签
labels = kmeans.labels_

# 如果需要，还可以获取中心点
centroids = kmeans.cluster_centers_

在这个例子中，`distance_metric` 参数指定了使用哪种距离度量，`X` 是输入的样本数据。

相关问题

马氏距离kmeans聚类算法python实现

### 实现基于马氏距离的 KMeans 聚类算法

为了实现基于马氏距离的 KMeans 聚类算法，通常需要自定义距离度量函数并将其集成到标准的 KMeans 算法框架中。下面是一个完整的 Python 示例代码，展示了如何通过 Scikit-Learn 和 NumPy 库来完成这一目标。

import numpy as np
from scipy.spatial.distance import mahalanobis
from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.preprocessing import StandardScaler


class MahalanobisKMeans(KMeans):
    def __init__(self, n_clusters=8, init='k-means++', max_iter=300,
                 tol=1e-4, random_state=None):
        super().__init__(n_clusters=n_clusters, init=init, max_iter=max_iter,
                         tol=tol, random_state=random_state)

    def fit(self, X):
        self.X = X.copy()
        scaler = StandardScaler().fit(X)
        self.X_scaled = scaler.transform(X)
        
        # 计算协方差矩阵及其逆矩阵
        cov_matrix = np.cov(self.X.T)
        inv_cov_matrix = np.linalg.inv(cov_matrix)
        self.vi = inv_cov_matrix
        
        # 初始化质心
        centroids_indices = self._init_centroids(self.X_scaled)
        self.centers_ = self.X[centroids_indices]

        for _ in range(self.max_iter):
            old_centers = self.centers_.copy()

            distances = []
            for i in range(len(self.X)):
                d = [mahalanobis(self.X[i], center, self.vi) for center in self.centers_]
                distances.append(d)
            
            labels = np.argmin(distances, axis=1)
            
            new_centers = []
            for j in range(self.n_clusters):
                mask = (labels == j)
                cluster_points = self.X[mask]
                
                if len(cluster_points) != 0:
                    mean_point = cluster_points.mean(axis=0)
                else:
                    mean_point = old_centers[j].copy()  # 如果簇为空，则保持旧质心不变
                
                new_centers.append(mean_point)
            
            self.centers_ = np.array(new_centers)
            
            shift = ((old_centers - self.centers_) ** 2).sum()
            if shift <= self.tol:
                break
        
        self.labels_ = labels
    
    def predict(self, X_new):
        distances = []
        for point in X_new:
            distance_to_centers = [
                mahalanobis(point, center, self.vi) 
                for center in self.centers_
            ]
            distances.append(distance_to_centers)
        return np.argmin(np.array(distances), axis=1)


# 测试数据生成
X, y_true = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)

# 使用自定义MahalanobisKMeans模型进行拟合预测
model = MahalanobisKMeans(n_clusters=4, random_state=0)
model.fit(X)
y_pred = model.predict(X)

print(y_pred[:10])  # 打印前十个样本所属类别编号

此代码片段创建了一个继承于 `sklearn.cluster.KMeans` 的新类 `MahalanobisKMeans`，该类重写了父类中的部分方法以便支持马氏距离作为衡量指标[^1]。注意，在实际应用中应当根据具体需求调整参数设置以及处理异常情况下的逻辑分支。

基于kd树的kmeans聚类算法优化代码实现

基于kd树的kmeans聚类算法优化代码实现可以通过以下步骤实现：

1. 构建kd树：首先，需要根据给定的数据集构建kd树，以提高聚类算法的效率。kd树是一种二叉树结构，每个节点代表数据集中的一个点，并根据数据点的特征值进行划分。具体而言，可以采用递归方式，在每一层选择一个特征进行划分，以构建kd树。

2. 优化距离计算：在kd树的基础上，可以对距离计算进行优化，以减少计算量。例如，可以利用kd树的结构，提前剪枝，减少不必要的距离计算。

3. 优化簇中心更新：通过kd树结构，可以快速找到每个数据点所属的簇中心，并更新簇中心的位置。这样可以减少遍历整个数据集的时间，提高簇中心的更新效率。

4. 并行化处理：在实现过程中，可以考虑采用并行化处理的方式，利用多核处理器或者分布式计算的方式，加快kd树的构建和聚类过程。

5. 代码优化：在实现代码过程中，可以采用高效的数据结构和算法，减少不必要的内存和计算开销，使得代码在实际应用中能够更加高效地运行。

通过以上优化，在保证聚类结果准确性的前提下，可以提高基于kd树的kmeans聚类算法的计算效率和运行速度。