如何用python计算数据集的信息熵

计算数据集的信息熵需要以下步骤：

1.计算每个类别出现的频率。

2.用频率计算每个类别的信息量。

3.计算所有类别的信息量之和，得到数据集的信息熵。

下面是一个用 Python 实现的例子：

from math import log

def calc_shannon_ent(data_set):
    num_entries = len(data_set)
    label_counts = {}
    for feat_vec in data_set:
        current_label = feat_vec[-1]
        if current_label not in label_counts:
            label_counts[current_label] = 0
        label_counts[current_label] += 1
    shannon_ent = 0.0
    for label in label_counts:
        prob = float(label_counts[label]) / num_entries
        shannon_ent -= prob * log(prob, 2)
    return shannon_ent

其中 `data_set` 表示数据集，每一行表示一个样本，最后一列为样本的标签。函数返回数据集的信息熵。

我们可以用一个简单的例子测试一下：

data_set = [
    [1, 1, 'yes'],
    [1, 1, 'yes'],
    [1, 0, 'no'],
    [0, 1, 'no'],
    [0, 1, 'no']
]

print(calc_shannon_ent(data_set)) # 输出结果为 0.9709505944546686

这个例子中，数据集包含 5 个样本，其中 3 个属于类别 yes，2 个属于类别 no，因此 yes 的频率为 3/5，no 的频率为 2/5。我们可以通过计算每个类别的信息量来得到数据集的信息熵。