信息论与编码习题答案详解：二进制与概率计算

《信息论与编码》（第二版）是一本经典的教材，主要探讨信息的传输、处理和编码理论。这本书的习题集提供了深入理解和应用这些概念的机会。以下是一些章节中的关键知识点： 2.1 脉冲编码的比较： 本题要求分析四进制和八进制脉冲与二进制脉冲的信息含量关系。四进制和八进制每增加一个位，可以表达的数值翻倍，因此它们所含的信息量分别是二进制的2倍和3倍，这是因为每多一位，可以表达的信息种类数量就翻番。 2.2 牌的排列信息量： (1) 对于一副洗乱的扑克牌，任一特定排列的信息量可以通过计算排列的可能性来确定，使用对数函数表示，即 log2(52!)，这里52! 表示52张牌的所有可能排列数。 (2) 抽取13张不同点数的牌的信息量，计算的是概率的对数，即 log2(13/52 C 13)，这涉及组合数学中的组合公式。 2.3 人口信息量计算： 当得知某女性身高160厘米以上且是大学生时，我们需要计算条件概率 p(A|C)，其中A代表是大学生，C代表身高160厘米以上。利用贝叶斯定理，我们可以得出这个消息带来的信息量，大约为1.415比特/符号。 2.4 离散无记忆信源的信息度量： (1) 题目给出了一个离散信源的概率分布，要求计算消息的自信息量，即每个消息发生的负对数概率之和，结果是87.81比特。 (2) 平均每个符号携带的信息量，通常称为熵，是自信息量除以消息的符号总数，约为1.951比特。 2.5 色盲发病率与信息获取： 男性中红绿色盲的发病率约为7%，女性发病率更低。询问男性色盲的问题中，信息量取决于男性总体的发病率，但实际问题可能涉及到概率和假设检验，例如通过患病率判断一个人患病可能性的信息增益。 通过解答这些习题，学生们可以练习如何应用信息论的基本原理，如概率、熵、条件概率等，来解决实际问题。这对于理解信息理论在通信系统、数据压缩和编码设计中的重要性具有重要意义。