信息熵Python代码实现

信息熵是信息论中的一个概念，它衡量了随机变量不确定性的度量。在Python中，我们可以使用`scipy.stats`库中的`entropy`函数来计算概率分布的熵。以下是一个简单的例子：

from scipy.stats import entropy
import numpy as np

# 创建一个二项分布作为示例
dist = np.array([0.3, 0.7])  # 这是一个离散随机变量的概率分布

# 计算信息熵
entropy_value = entropy(dist, base=2)  # 使用二进制为基数，因为熵通常以比特（bits）为单位表示

print("信息熵为:", entropy_value)

在这个例子中，`entropy(dist)`会计算`dist`数组中每个元素的概率对数然后求和，结果是负值，表示熵越大，不确定性越高。