格雷的熵与信息论：编码定理与长期行为

《熵与信息论》是罗伯特·M·格雷编著的一本专著，由Springer-Verlag出版。本书主要探讨了概率性信息度量理论及其在信息源编码定理和噪声通道编码定理中的应用，目标是全面发展香农的数学通信理论。书中大部分内容集中在证明香农编码定理所需的工具和方法上，这些工具在遍历理论和信息论领域共享，包括随机变量、随机过程和动力系统中的几种量化信息概念，如熵、互信息、条件熵、条件信息以及歧视或相对熵等。此外，作者还讨论了这些量的性质，尤其是样本信息和预期信息的长期渐近行为。 第1章介绍了信息源的基础概念，包括概率空间、随机变量、随机过程和动态系统，以及常见的字母集、期望值和渐近均态性。章节中着重于阐述信息源的统计特性，为后续的熵和信息理论打下基础。 第二章深入研究了熵和信息的概念。首先，作者解释了熵作为度量随机变量不确定性的一种方式，并讨论了熵率，这是长期观察到的信息速率的平均值。章节中详细探讨了条件熵和条件信息，这两个概念在分析依赖关系时至关重要。通过回顾，作者重新审视了熵率的定义，并引入了相对熵密度，这是一种衡量两个分布之间信息差异的方式。 第三章聚焦于熵的遍历理论，特别是对于 Stationary Ergodic 源的研究。这部分内容涉及到了非遍历性和stationary nonergodic源的区分，讨论了如何处理这类复杂情况下的信息度量。通过Stationary Ergodic 假设，作者展示了熵与长期行为之间的深刻联系，这对于理解和设计实际通信系统具有重要意义。 整本书不仅涵盖了理论基础，还提供了丰富的实例和证明，使得读者能够掌握熵和信息理论的核心概念，并将其应用于实际的信息处理和通信系统设计中。《熵与信息论》是一本深入浅出的教材，适合对信息科学、通信工程和统计力学感兴趣的读者深入学习。