信源熵与信息论基础：李梅、李亦农第二版详解

《信源及信源熵 - 信息论基础教程 第2版》由李梅和李亦农编著，由北京邮电大学出版社出版。本书深入探讨了信息论的基本概念和原理，是通信工程和技术领域的经典教材。在第二章“信源及信息熵”中，作者着重介绍了信源的稳定状态概率分布，这是信息论中衡量信息不确定性和信息量的关键概念。 章节开篇指出，信息论是研究信息本质和传输规律的学科，它关注信息的量化、传输和处理。香农的信息概念源于其1948年的开创性论文，他引入概率论方法，首次定义了信息熵。哈特莱在此基础上，提出使用对数来度量信息量，信息量与消息可能值的数量成正比，不确定性越大，信息量越大。 "自信息"这一概念，指的是单个消息出现时的不确定性，用消息出现概率的对数的负值表示，反映了这个消息所能提供的信息量。而信源熵则是所有可能消息的平均自信息，即消息的不确定性平均值。它是衡量信源平均信息量的重要指标，即使在有噪声的信道中，收信者仍能从信源处获取平均信息量。 通过信源熵的定义，我们可以理解，尽管信源产生的消息信息量各异，但信源熵提供了整体上的不确定性度量。当信息从信源传递到接收端，不确定性减小，实际收到的信息量等于信源熵，这体现了信息在通信过程中的实际价值。 这本书不仅涵盖了信源和信息熵的基础理论，还涉及信道及信道容量、无失真和有噪信道编码等内容，全面地阐述了信息论在通信系统设计和优化中的核心作用。对于学习通信工程、信号处理或信息技术的学生和专业人士来说，这是一本不可多得的参考资料。