metrics.mutual_info_score(label, sample)

`metrics.mutual_info_score(label, sample)` 是一种用于评估分类结果的指标，它可以计算两个变量之间的互信息（mutual information），从而评估它们之间的相关性。其中，`label` 是真实的分类标签，`sample` 是分类器预测的结果。该指标的取值范围为 [0,1]，取值越大表示分类器预测结果与真实标签之间的相关性越强。当两个变量完全独立时，互信息为 0；当它们完全一致时，互信息为 1。

相关问题

metrics.normalized_mutual_info_score(label, sample)

这是一个用于计算标签和样本之间归一化互信息的函数。其中，label是真实的标签，而sample是聚类算法生成的样本标签。互信息是用来衡量两个随机变量之间的相关性的指标，而归一化互信息则是将互信息除以两个随机变量之间的熵的乘积，使得其取值在0到1之间。在聚类领域中，归一化互信息通常用来评估聚类算法的性能。值越高表示聚类结果与真实标签的一致性越好。

2.实现Kmeans算法实现手写字体识别，要求： a、根据算法流程，手动实现Kmeans算法； b、调用sklearn中聚类算法，对给定数据集进行聚类分析； c、对比上述2种Kmeans算法的聚类效果。

a、手动实现Kmeans算法

Kmeans算法的流程如下：

1. 初始化K个质心
2. 针对每个样本点，计算其与K个质心的距离，将其归为距离最近的质心所在的簇
3. 重新计算每个簇的质心
4. 重复执行2和3，直到质心不再发生变化或者达到最大迭代次数

首先我们需要将手写字体数据集转换为可进行聚类的数据格式。我们可以将每张图片转换为一维数组，每个像素点的灰度值作为数组中的一个特征。代码如下：

import os
import numpy as np
from PIL import Image

def load_data(data_dir):
    data = []
    labels = []
    for label in os.listdir(data_dir):
        label_dir = os.path.join(data_dir, label)
        for img_name in os.listdir(label_dir):
            img_path = os.path.join(label_dir, img_name)
            img = Image.open(img_path).convert('L')
            img_arr = np.array(img).reshape(-1)
            data.append(img_arr)
            labels.append(int(label))
    return np.array(data), np.array(labels)

接下来就可以手动实现Kmeans算法了。代码如下：

class KMeans:
    def __init__(self, n_clusters, max_iter=300):
        self.n_clusters = n_clusters
        self.max_iter = max_iter
        
    def fit(self, X):
        n_samples, n_features = X.shape
        # 初始化质心
        self.centroids = X[np.random.choice(n_samples, self.n_clusters, replace=False)]
        for i in range(self.max_iter):
            # 分配簇
            clusters = [[] for _ in range(self.n_clusters)]
            for j, sample in enumerate(X):
                distances = np.sum((self.centroids - sample) ** 2, axis=1)
                cluster_idx = np.argmin(distances)
                clusters[cluster_idx].append(j)
            # 更新质心
            prev_centroids = self.centroids
            for k in range(self.n_clusters):
                cluster_samples = X[clusters[k]]
                self.centroids[k] = np.mean(cluster_samples, axis=0)
            if np.all(prev_centroids == self.centroids):
                break
        # 计算每个样本所属簇的标签
        self.labels_ = np.zeros(n_samples)
        for j, sample in enumerate(X):
            distances = np.sum((self.centroids - sample) ** 2, axis=1)
            cluster_idx = np.argmin(distances)
            self.labels_[j] = cluster_idx
        return self

b、调用sklearn中聚类算法

我们可以直接调用sklearn中的KMeans算法。代码如下：

from sklearn.cluster import KMeans

kmeans = KMeans(n_clusters=10)
kmeans.fit(X)

c、对比上述2种Kmeans算法的聚类效果

我们可以使用NMI（Normalized Mutual Information）来评估聚类效果，NMI的值越大，表示聚类效果越好。代码如下：

from sklearn.metrics import normalized_mutual_info_score

kmeans1 = KMeans(n_clusters=10)
labels1 = kmeans1.fit_predict(X)
nmi1 = normalized_mutual_info_score(y, labels1)

kmeans2 = KMeans(n_clusters=10)
labels2 = kmeans2.fit_predict(X)
nmi2 = normalized_mutual_info_score(y, labels2)

print('手动实现Kmeans算法的NMI：', nmi1)
print('sklearn中KMeans算法的NMI：', nmi2)

通过比较两种算法的NMI值，可以得出聚类效果的对比结果。