信息论与编码习题解析：信息量与熵的计算

"信息论与编码(第2版)部分习题答案或提示" 在信息论中，信息量是用来衡量一个消息的不确定性或新颖性的度量。本资源提供了《信息论与编码》第二版的部分习题答案和提示，涉及到了多个关于信息量计算和熵的基本概念。 1. 四进制和八进制脉冲的信息量与二进制脉冲的关系：信息量与可能状态的数量成对数关系。因此，四进制系统的信息量是二进制的两倍（因为2^2 = 4），八进制系统的信息量是二进制的三倍（因为2^3 = 8）。 2. 洗乱的牌的信息量计算：(1) 一副牌有52!种排列，因此任一特定排列的信息量是log2(52!)比特。 (2) 抽取13张不同点数的牌，其信息量是log2(52 choose 13)比特，其中"choose"表示组合数。 3. 女孩是大学生且身高超过160cm的信息量：首先，计算女大学生中身高超过160cm的概率，然后利用条件概率公式p(A|C)来计算信息量。 4. 离散无忆信源的信息量计算：(1) 自信息量I(x) = -log2(p(x))，计算出消息的概率p，代入公式即可得到自信息量。 (2) 平均每个符号的信息量是所有符号自信息量的平均值。 5. 色盲发病率与信息量：男性色盲发病率为p，非色盲为1-p；女性色盲发病率为q，非色盲为1-q。男性回答“是”或“否”的信息量分别为-log2(p)和-log2(1-p)，女性的回答信息量计算类似。 6. 信源熵的计算：信源熵H(X)定义为所有符号概率的加权平均自信息量，即H(X) = Σ p(x) * I(x)。如果概率之和大于1，说明计算有误，不满足熵的定义，需要检查计算。 7. 骰子投掷的信息量计算：(1) 自信息量I(事件) = -log2(事件的概率)。例如，“3和5同时出现”的概率是1/36，所以信息量是-log2(1/36)比特。 (2) 同理，可以计算其他事件的信息量。对于无序对的熵，考虑所有可能的组合及其概率。对于两个点数之和的熵，考虑所有可能的和及其出现概率。对于至少有一个点数是1的事件，使用概率的补集计算。 这些习题涵盖了信息论的基本概念，包括信息量、熵、条件概率和自信息，以及它们在实际问题中的应用。通过解答这些习题，学生可以深入理解信息论的基本原理，并能运用到实际的信息处理和编码问题中。