信息论基础：自信息、信源熵与马尔科夫信源

"这篇资料是关于信息论与编码的学习复习材料，主要涵盖了信息的一般概念、通信系统的模型、信息的性质、香农信息论的基本内容，以及离散信源熵的相关理论，包括自信息量、单符号离散信源熵、离散平稳信源的联合熵、条件熵、马尔科夫信源等知识点。" 在信息论中，信息通常被理解为消息中的不确定性成分。通信系统中，信号通过信道传输，承载着具有意义的消息。信息的性质包括非负性、严格上凸性和最大熵定理。非负性意味着自信息量总是非负的，反映了消息出现的稀有程度；严格上凸性则表明信源熵是概率分布的凸函数；最大熵定理指出，在所有可能的概率分布中，均匀分布的熵最大，体现了信息的不确定性的最大值。 自信息量是单个符号出现的不确定性，用以度量一个事件的信息含量，公式为 \( I(x) = -\log P(x) \)，其中 \( P(x) \) 是符号 \( x \) 出现的概率。信源熵是描述离散信源平均信息量的度量，对于单符号离散信源，熵 \( H(X) = -\sum_{i} P(x_i) \log P(x_i) \) 表示信源产生的平均信息量。它体现了信源发出符号的平均不确定性。 离散平稳信源的联合熵描述了多个符号同时出现的不确定性，而条件熵则是在已知某些信息的情况下，其他信息的不确定性。例如，二维离散平稳信源的联合熵 \( H(X,Y) \) 和条件熵 \( H(Y|X) \) 描述了两个变量 \( X \) 和 \( Y \) 的相互依赖关系。 对于离散平稳无记忆信源，其特点在于当前符号的出现与过去符号无关，其联合熵、平均符号熵和极限熵的计算对于理解和压缩信息至关重要。马尔科夫信源则是一种具有记忆的信源，其状态转移图能够直观地表示符号之间的依赖关系。一阶和二阶马尔科夫信源的极限熵考虑了过去一到两个符号对当前符号的影响，用于计算长期的平均信息量。 遍历定理在马尔科夫信源中扮演重要角色，它保证了在长时间运行后，信源的状态概率将接近其平稳分布，从而可以计算出马尔科夫信源的极限熵。例如，二元二阶马尔科夫信源的极限熵可以通过状态转移概率矩阵和初始状态概率计算得出。 这份复习资料深入探讨了信息论的基本概念和关键计算方法，为理解和应用信息论提供了坚实的基础。