"信息论部分资料,包括第2章熵、相对熵与互信息的讲解,由尧文元在江西财经大学2015秋季学期的课程中提供,内容涵盖几何分布、熵的概念及其计算、函数熵以及最小熵等概念,资料为中文译本。"
在信息论中,熵是一个关键概念,它衡量的是一个随机变量的不确定性。在描述【描述】中的例子,我们看到熵被用于分析抛硬币游戏。当随机变量X表示第一次出现正面所需抛硬币的次数时,X服从几何分布。几何分布的概率质量函数(probability mass function, PMF)定义为:
\[ P(X=n) = p(1-p)^{n-1}, \quad n = 1, 2, 3, ... \]
其中,\( p \) 是一次投掷出现正面的概率,这里取 \( p = 1/2 \)。熵H(X)是信息量的期望值,可以表示为:
\[ H(X) = -\sum_{n=1}^{\infty} P(X=n) \log_b P(X=n) \]
对于二进制系统(即 \( b = 2 \)),我们可以计算出 \( H(X) = 2 \) bits,这是因为在几何分布中,每个结果的熵贡献是 \( -p \log_2 p - (1-p) \log_2 (1-p) \),对于 \( p = 1/2 \),这个值为1 bit。
接着,讨论了如何通过一系列问题来确定X的值,这与信源编码理论有关。最“有效”的问题系列就是询问X是否等于1、2、3等,直到找到答案为止。问题的期望个数等于熵H(X),即2个问题。这表明熵确实可以作为不确定性的度量,因为平均需要问的问题数量等于熵的大小。在更一般的情况下,问题个数的期望 \( E(\text{问题个数}) \) 不小于熵H(X)。
第二部分介绍了函数熵。如果Y是X的函数,即 \( Y = g(X) \),则Y的每个可能值y的概率 \( P(Y=y) \) 可以表示为所有使得 \( g(x) = y \) 的x的概率之和。熵 \( H(Y) \) 可以根据X的熵和它们之间的关系来计算。如果Y和X是一一对应的关系(即Y是X的确定性函数),那么 \( H(X) = H(Y) \)。此外,条件熵 \( H(Y|X) \) 描述的是在已知X的情况下Y的不确定性,而 \( H(X|Y) \) 表示在已知Y的情况下X的不确定性。在本例中,由于Y完全由X决定,所以 \( H(Y|X) = 0 \),但 \( H(X|Y) > 0 \)。
最后,最小熵的概念是指在所有可能的分布中,熵最小的情况通常对应于最有序或最确定的状态。在信息论中,寻找具有最小熵的分布有时可以帮助简化问题,例如在编码或数据压缩中。
这部分信息论资料深入浅出地介绍了熵的基本概念及其应用,对于理解和运用信息论原理非常有帮助。通过这些知识点,我们可以更好地理解随机变量的不确定性、信源编码的原理以及函数之间关系对信息量的影响。