信息熵 python

信息熵是用来衡量一个随机变量的不确定性或者信息量的大小的概念。在信息论中，熵被定义为该随机变量的所有可能结果的概率分布的期望。在给定一个概率分布的情况下，可以使用以下公式来计算熵：

H = - sum(p * log2(p)),

其中p表示每个结果的概率。

在Python中，可以使用下面的代码来计算给定数据列表的熵：

import math
from collections import Counter

def Entropy(DataList):
counts = len(DataList)
counter = Counter(DataList)
prob = {i:i/counts for i in counter.items()}
H = - sum([i*math.log2(i) for i in prob.items()])
return H

如果我们有一个数据列表data_list，我们可以通过调用Entropy(data_list)来计算该随机变量的熵。