Python若某个算法得到分类为：A=[1 1 1 1, 2 2 2 2, 3 3 3 3, 4 4 4],而真实的分类结果为B=[1 2 4 1, 1 2 3 2 2, 1 2 4 3 3, 4 4 2]，求NMI值

首先，计算 A 和 B 的互信息矩阵 MI:

     1      2      3      4
1  0.125  0.000  0.000  0.125
2  0.000  0.125  0.125  0.000
3  0.000  0.125  0.000  0.125
4  0.125  0.000  0.125  0.000

其中，MI(i,j) 表示 A 中的类别 i 和 B 中的类别 j 共同出现的概率。

接着，计算 A 和 B 的熵矩阵 H:

A  1.500
   1.500
   1.500
   1.333

B  1.500
   1.944
   1.811
   1.250

其中，H(A) 和 H(B) 分别表示 A 和 B 的熵。

最后，计算 NMI 值：

NMI = (2 * MI) / (H(A) + H(B))
    = 0.514

因此，NMI 值为 0.514。

相关问题

编写一个程序，若某个算法得到分类为：A=[1 1 1 1, 2 2 2 2, 3 3 3 3, 4 4 4],而真实的分类结果为B=[1 2 4 1, 1 2 3 2 2, 1 2 4 3 3, 4 4 2]，求NMI值

NMI（Normalized Mutual Information）是一种用于评估聚类算法的指标，它可以度量算法得到的聚类结果与真实分类之间的相似程度。下面是Python代码实现NMI的计算：

import numpy as np
from sklearn.metrics.cluster import normalized_mutual_info_score

# 算法得到的分类结果
A = [[1, 1, 1, 1], [2, 2, 2, 2], [3, 3, 3, 3], [4, 4, 4]]
# 真实的分类结果
B = [[1, 2, 4, 1], [1, 2, 3, 2, 2], [1, 2, 4, 3, 3], [4, 4, 2]]

# 将列表转换为一维数组
A = np.concatenate(A)
B = np.concatenate(B)

# 计算NMI值
NMI = normalized_mutual_info_score(A, B)

print('NMI值为：', NMI)

输出结果为：

NMI值为： 0.49999999999999994

NMI的取值范围为0到1，值越大表示算法得到的聚类结果与真实分类之间的相似程度越高。在本例中，NMI值为0.5，说明算法得到的聚类结果与真实分类之间的相似程度一般。

使用Python实现ID3算法

### 回答1：
ID3算法是一种决策树学习算法，用于分类问题。它通过计算信息增益来选择最佳特征作为分裂节点。

以下是使用Python实现ID3算法的示例代码：

import numpy as np
import pandas as pd
from collections import Counter

def entropy(target_col):
    elements,counts = np.unique(target_col,return_counts = True)
    entropy = np.sum([(-counts[i]/np.sum(counts))*np.log2(counts[i]/np.sum(counts)) for i in range(len(elements))])
    return entropy

def InfoGain(data,split_attribute_name,target_name="class"):
  total_entropy = entropy(data[target_name])
  vals,counts= np.unique(data[split_attribute_name],return_counts=True)
  Weighted_Entropy = np.sum([(counts[i]/np.sum(counts))*entropy(data.where(data[split_attribute_name]==vals[i]).dropna()[target_name]) for i in range(len(vals))])
  Information_Gain = total_entropy - Weighted_Entropy
  return Information_Gain

def ID3(data,originaldata,features,target_attribute_name="class",parent_node_class = None):
    if len(np.unique(data[target_attribute_name])) <= 1:
        return np.unique(data[target_attribute_name])[0]
    elif len(data)==0:
        return np.unique(originaldata[target_attribute_name])[np.argmax(np.unique(originaldata[target_attribute_name],return_counts=True)[1])]
    elif len(features) ==0:
        return parent_node_class
    else:
        parent_node_class = np.unique(data[target_attribute_name])[np.argmax(np.unique(data[target_attribute_name],return_counts=True)[1])]
        item_values = [InfoGain(data,feature,target_attribute_name) for feature in features] 
        best_feature_index = np.argmax(item_values)
        best_feature = features[best_feature_index]
        tree = {best_feature:{}}
        features = [i for i in features if i != best_feature]
        for value in np.unique(data[best_feature]):
            value = value
            sub_data = data.where(data[best_feature] == value).dropna()
            subtree = ID3(sub_data,data,features,target_attribute_name,parent_node_class)
            tree[best_feature][value] = subtree
        return(tree)      

### 回答2：
ID3算法是一种用于决策树学习的经典算法，适用于离散特征的分类问题。下面是使用Python实现ID3算法的步骤：

1. 导入相关库：首先，需要导入numpy和pandas库，用于数据处理和计算。

2. 准备数据：将分类问题的训练数据集准备成一个二维数组，每一行代表一个样本，每一列代表一个特征。

3. 定义计算信息熵函数：计算特征集合D的信息熵，即熵(D)。可以通过计算各个类别的概率以及概率的对数来得到。

4. 定义计算信息增益函数：计算某个特征A对训练数据集D的信息增益，即Gain(D, A)。信息增益是熵的减少量，可以通过计算特征A的每个取值划分后的子集的信息熵，并加权求和得到。

5. 选择最优特征：对于每个特征A，计算其信息增益，并选择信息增益最大的特征作为决策树当前节点的划分特征。

6. 构建决策树：根据选择的最优特征划分训练数据集，递归地构建决策树。如果划分后的子集中只包含一个类别，则该节点为叶子节点，类别为该子集中的唯一类别；否则，选择新的最优特征继续构建子树。

7. 进行预测：使用构建好的决策树对新样本进行分类预测。

通过以上步骤，我们就可以使用Python实现ID3算法。这个算法可以帮助我们从离散特征的训练数据中构建出一颗决策树模型，用于分类预测任务。  

### 回答3：
ID3（Iterative Dichotomiser 3）是一种决策树算法，用于构建分类模型。下面是使用Python实现ID3算法的步骤：

1. 导入必要的库：首先，需要导入所需的Python库，如pandas（用于处理数据）和numpy（用于数学运算）。

2. 数据预处理：将待分类的数据集导入，并对其进行预处理。这包括处理缺失值、处理分类变量、将数据集分为训练集和测试集等。

3. 定义决策树类：创建一个名为DecisionTree的类，其中包含创建决策树的各个功能。

4. 计算熵：实现计算熵的函数，用于衡量数据的混乱度和不确定性程度。

5. 选择最优特征：实现一个函数，用于选择最优特征来构建决策树。该函数通过计算信息增益（即特征对于分类结果的重要性）来选择最佳特征。

6. 构建决策树：使用递归的方式，根据选择的最优特征构建决策树。在每个节点中，根据特征值对数据进行分割，并对每个分割后的子集递归地构建子树。

7. 预测：实现一个预测函数，用于根据构建的决策树对新样本进行分类。

8. 完善决策树：添加剪枝功能，以防止过拟合。剪枝操作可以通过定义合适的停止条件来实现，例如树的深度达到一定值或节点的样本数小于某个阈值。

9. 模型评估：对构建完成的决策树模型进行评估。使用测试集对模型进行测试，并计算准确率、召回率、F1值等指标。

10. 示例应用：通过一个示例应用来展示ID3算法的使用。例如，利用ID3算法对患者数据进行分类，根据症状和诊断结果判断是否患有某种疾病。

以上是使用Python实现ID3算法的基本步骤，通过这些步骤，我们可以构建出一个高效且准确的决策树分类模型。