多维矢量信道：信息熵与信道容量详解

"《多维矢量信道-信息科学基础教程》是由北京邮电大学出版社出版的一本信息论教材，旨在介绍信息科学的基本概念和原理。该书以通信技术的发展背景为依托，详细探讨了信源、信道及其相关概念，如信道容量的定义，这是通信理论的核心内容。 信道容量，当信道的输入是N维随机矢量集合，输出也是N维随机矢量集合时，其定义为所有可能输入矢量的联合概率分布下的最大数据传输速率，而不引起错误的概率趋于零。公式表达为信道容量C等于信道输入矢量的联合概率分布的熵，即信息熵的上限。信息熵是香农在1948年的开创性工作《通信的数学理论》中引入的概念，它衡量了信息的不确定性，通过随机事件的概率来量化。 书中提到，1928年，哈特莱首次提出用对数测量信息量，信息量被定义为消息可能值个数的对数的负值。香农进一步发展了这一思想，引入了自信息，即消息出现的概率的对数的负值，表示单个消息所能携带的信息量。信源熵则是所有可能消息的平均自信息，代表了信源潜在的平均信息含量。 《多维矢量信道》的章节安排涵盖了信息的度量、信源及信息熵、信道及信道容量等核心内容，以及无失真信源编码、有噪信道编码和限失真信源编码等编码理论，这些都是确保有效通信的关键。全书既介绍了理论基础，又注重实际应用，适合学习信息科学和通信工程的学生和专业人士参考。"