信息论与编码：陈运课后习题解析

"《信息论与编码》第二版是由陈运编著，电子工业出版社出版的教材。书中包含了关于信息论和编码理论的知识。提供的部分习题答案涉及信息量的计算，包括不同进制脉冲的信息量比较以及与概率相关的自信息量计算。" 在信息论中，信息量是衡量一个事件发生时所带有的不确定性或新奇性的度量。通常，事件发生的概率越小，其信息量越大。这个概念在第二章的部分习题中得到了应用： 2.1 四进制和八进制脉冲的信息量相对于二进制脉冲的问题，展示了信息量与基数的关系。二进制脉冲只有两个状态（0或1），而四进制有四个状态（0, 1, 2, 3），所以四进制脉冲的信息量是二进制的两倍。同样，八进制脉冲有八个状态，因此其信息量是二进制的三倍。 2.2 在洗乱的扑克牌问题中，信息量被用来描述不同事件的随机性和独特性。对于(1)，52张牌中的每一种特定排列都是等可能的，所以任一特定排列的信息量可以通过计算它的概率的负对数来得到，使用的是以2为底的对数，单位是比特。对于(2)，抽取13张不同点数的牌的概率和相应的信息量也被给出，信息量为9.4793比特/符号。 2.3 讨论了条件概率在计算信息量中的应用。当已知一个女孩身高超过160厘米且是大学生时，我们想知道这个信息提供了多少新的信息量。这里涉及到条件概率P(A|C)，即在事件C发生的条件下事件A发生的概率，以及如何将这个概率转换成信息量。 2.4 介绍了离散无记忆信源的信息熵计算。离散无记忆信源意味着符号之间的发送不依赖于之前的符号。问题给出了信源的概率分布，并要求计算特定消息的自信息量和平均每个符号的信息量。自信息量是单个符号的信息量，而平均信息量是所有符号信息量的加权平均。 2.5 本题讨论了红绿色盲发病率与信息量的关系。男性色盲的发病率是7%，女性是0.5%。计算每个回答（“是”或“否”）的信息量，可以理解为在知道男性或女性身份的情况下，回答包含的信息。平均每个回答的信息量（熵）是男性和女性回答的加权平均。 2.6 继续深入信息熵的概念，本题涉及一个特定信源的概率分布，并要求计算由该信源发出的一系列符号的自信息量和平均信息量。 这些习题解答涵盖了信息论的基础概念，包括信息量、信息熵和条件信息量，这些都是理解和应用信息编码理论的关键。通过解决这些问题，读者能够更好地掌握如何量化信息以及如何分析和处理不同情境下的信息传输。