信息论基础：信源熵与无失真编码原理

《信息科学基础教程》由北京邮电大学出版社出版，是一本介绍信息论基础知识的教材。该书共分为七章，分别为绪论、信息的度量、信源及信息熵、信道及信道容量、无失真信源编码、有噪信道编码和限失真信源编码，系统地阐述了通信中信息处理的核心概念和技术。 第一章绪论中，信息论被定义为一门研究信息本质、传输规律的新兴学科，它以通信技术发展为背景，起源于1948年Claude Shannon的里程碑式论文《通信的数学理论》。Shannon首次将概率论引入通信研究，提出了信息熵这一关键概念。他定义信息熵为信源发出所有可能消息的平均不确定性，即自信息的统计平均，用以衡量信源的平均信息量。 哈特莱在1928年提出用对数度量信息，将消息的信息量与其可能值个数的对数联系起来。香农信息定义为消息的不确定性描述，通过消息出现的概率来量化。自信息量等于消息出现概率的对数的负值，它既表示消息本身的信息含量，也是收信者可能接收到的最大信息量。 信源熵，即信源所含信息量，是衡量信源平均不确定性的指标。即使信源产生的消息信息量各异，通过通信过程，信源的不确定性会被降低，收信者能够获取这些信息。信息在实际通信中是等价于信息熵的数值，体现了通信过程中信息的交换和传递。 书中后续章节详细探讨了如何测量信源和信道特性，以及如何设计编码策略来优化信息的传输效率，包括无失真和有失真情况下的编码技术。这些都是信息科学领域的核心知识点，对于理解通信系统的设计与优化具有重要意义。通过学习这本书，读者可以深入掌握信息论的基本原理和应用技巧。