信源熵与信息量：二进制与多元系统的比较

第二章 信源熵是信息论与编码中的核心概念，它衡量的是一个随机事件或信号所能提供的不确定性或信息量。本章通过具体问题展示了信源熵的基本原理和计算方法。 首先，问题2.1考察了不同进制系统的信源熵差异。四进制和八进制脉冲分别能表示更多的消息（4和8个），由于每个消息的发生概率相同，它们的平均信息量分别是二进制的2倍和3倍。这体现了多进制系统中信息密度的提升，信息量随可表达的不同状态数量线性增长。 接着，问题2.2涉及到条件概率下的信息量计算。当知道某个特定条件（如女孩身高超过160厘米且是大学生）时，信息量的计算涉及联合概率分布。根据给定条件，信息量等于log2(0.25 * 0.75) = log2(0.1875)比特。 问题2.3关注了扑克牌排列的信息量。对于52张牌的任意排列，由于排列数量巨大（52!），即使每种排列概率相等，单个排列的信息量也是极大的。同样地，抽取13张点数不同的牌的信息量取决于这种特定事件的概率。 在连续信源方面，问题2.4给出了一个离散无记忆信源的例子。消息的自信息量是通过计算各个符号出现的概率的负对数求和得到的，这里是14个0的自信息量+13个1的自信息量+12个2的自信息量+6个3的自信息量。而平均每符号携带的信息量则是自信息量除以消息的长度。 最后，问题2.5讨论了实际应用中的色盲检测。男性和女性色盲的概率差异反映了信息不确定性。对于男士的回答，“是”或“否”，信息量取决于色盲在男性群体中的比例，这里分别为log2(0.93)和log2(0.07)比特。 第二章的内容围绕着如何量化不同信源（如离散和连续的）的信息含量，以及如何根据概率和条件来计算信息量，这对于理解和设计通信系统、数据压缩算法以及进行决策分析至关重要。