信息熵python

在Python中，计算信息熵可以使用以下代码：

import math

def entropy(data):
    # 计算数据集长度
    n = len(data)
    # 统计每个元素出现的次数
    counts = {}
    for d in data:
        if d not in counts:
            counts[d] = 0
        counts[d] += 1
    # 计算每个元素出现的概率
    probs = []
    for count in counts.values():
        probs.append(count / n)
    # 计算信息熵
    entropy = 0
    for prob in probs:
        entropy -= prob * math.log(prob, 2)
    return entropy

这个函数接受一个数据集 `data`，返回该数据集的信息熵。它首先统计每个元素出现的次数，然后计算每个元素的出现概率。最后，使用信息熵的定义，计算出信息熵并返回。