信息论基础：从香农到广义概念探索

"《信息论基础教程》由北京邮电大学出版社出版，作者李亦农、李梅。本书深入浅出地介绍了信息论的基本概念、理论和应用，旨在为读者提供通信理论的数学基础。" 在信息论的研究中，通常有三种理解方式： 1. **狭义信息论**，也称为香农信息论，是由Claude Shannon在1948年的论文中奠定的基础。这一领域的研究主要关注通信系统的全貌，从信源到信宿的信息传递过程。它包括信息的度量、信道容量的计算以及信源和信道编码理论。香农信息论的核心在于通过编码和译码策略实现通信效率的最大化，并通过定理证明在特定条件下可以达到通信的最优状态。 2. **一般信息论** 或工程信息论在香农理论的基础上扩展，不仅涉及信息传输，还包括了噪声理论、信号滤波、预测、统计检测与估计、调制理论、信息处理理论以及保密理论等更广泛的领域。这一理论更注重实际工程问题的解决。 3. **广义信息论** 则更为宏大，涵盖了与信息相关的所有自然科学和社会科学领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学，甚至社会学中的信息问题。这种理解方式体现了信息论的跨学科性质，它试图建立一个通用的信息理论框架，以解释和处理不同领域的信息现象。 《信息论基础教程》的章节分布如下： - 第一章介绍信息论的基本概念，包括信息的定义以及信息论的研究对象、目的和内容。 - 第二章至第四章分别讨论信息的度量、信源的信息熵以及信道及其容量，这些都是香农信息论的核心内容。 - 第五章和第六章涉及无失真信源编码和有噪信道编码，这些理论是实现高效通信的关键。 - 第七章则探讨限失真信源编码，这是在允许一定信息损失的情况下的编码策略。 信息论中，信息被看作是描述事物运动状态或存在方式不确定性的量。信息量可以用概率来衡量，具体来说，是消息出现概率的对数的负值，即自信息。信息熵作为信源的平均不确定性，反映了信源输出消息的平均信息量。在通信过程中，信息熵的减小代表了收信者获取信息的程度，即通信前后不确定性消除的量。 这本书是学习信息论的理想教材，对于理解和应用信息论在通信、数据压缩、编码理论等领域的基本原理提供了全面的指导。