信息论与编码第二版：第二章课后习题解析

"信息论与编码 第二版 第二章答案" 在信息论中，编码理论是研究如何有效地传输和存储信息的学科。本章节主要关注的是信息量的计算以及相关概念的理解。首先，我们来看一下四进制和八进制脉冲的信息量。题目指出四进制脉冲的信息量是二进制脉冲的2倍，这是因为每个四进制符号可以表示4种状态，而每个二进制符号只能表示2种，所以四进制相对于二进制增加了两倍的信息表示能力。同样地，八进制脉冲的信息量是二进制的3倍，因为八进制能表示8种状态。 接着，我们来看一个关于洗牌问题的例子。一个充分洗乱的牌组（52张）中，任何特定排列的信息量可以通过计算其概率的负对数得到，以比特为单位。第一小题中，任意特定排列出现的概率是1/52!，因此其信息量为log2(52!)。第二小题询问在抽取13张不同点数的牌时的信息量，这个问题涉及组合概率，计算公式为13C52乘以每种排列的信息量，结果是9.4793比特/符号。 第三个小问题涉及到条件概率和信息量的计算。已知在女性中，25%是大学生，而在所有身高160厘米以上的女性中，有75%是大学生。要计算得知“身高160厘米以上的某女孩是大学生”这一消息的信息量，我们需要使用贝叶斯定理，求得在已知女孩身高160厘米以上的情况下她是大学生的概率p(A|C)，并计算其信息量。 第四个问题涉及离散无忆信源的信息量计算。给定信源X的概率分布，其中每个符号a1、a2、a3、a4的出现概率分别是3/8、1/4、1/4、1/8。首先，我们需要计算出消息"202120130213001203210110321010021032011223210"出现的概率，然后利用自信息量公式I(X)=log2(1/P(X))来分别计算每个符号的信息量，并将它们加起来得到整个消息的总信息量。最后，通过总信息量除以符号总数45来得到平均每个符号的信息量。 第五个问题是关于红绿色盲发病率的问题。男性色盲发病率为7%，女性为0.5%。问男性回答“是”或“否”的信息量，我们可以用概率的负对数来计算。男性回答“是”时的信息量是log2(1/0.07)比特，而回答“否”的信息量是log2(1/(1-0.07))比特。平均每个回答的信息量（熵）是两个概率的负对数的加权平均值。对于女性，由于发病率更低，回答“是”的信息量会更高。 最后一个题目不完整，但可以推测是要求解另一个离散无忆信源的信息熵或平均自信息量，计算方法类似第四题。 通过这些题目，我们可以深入理解信息量、自信息、熵等信息论中的基本概念，以及如何在实际问题中应用这些概念进行计算。这有助于我们更好地理解和处理信息传输和编码的问题。