信息论基础：从概论到离散信源熵

"信息论导论-信息论复习" 本文主要涵盖了信息论的基本概念和重要理论，由通信与信息工程学院的杨海芬教授讲解。信息论是研究信息的量化、传输、存储和处理的科学，它在通信、数据处理、编码理论等领域具有广泛的应用。 在第1章概论中，我们了解到信息是消息中不确定性成分的体现，它不同于消息本身和承载它的信号。信息论起源于20世纪40年代，由克劳德·香农开创，主要关注如何有效地传输和存储信息。其中，自信息量是衡量单个符号携带信息量的度量，通常用负对数概率来表示，即 \( I(x) = -\log P(x) \)，它反映了消息出现的意外程度。信源熵是描述离散信源平均信息量的度量，对于单符号离散信源，熵 \( H(X) = -\sum_{i} P(x_i) \log P(x_i) \)，它满足非负性、严格上凸性，并有最大熵定理，即无偏信源的熵最大。 第2章深入探讨了离散信源及其熵。离散信源熵\( H(X) \)表示的是信源输出一个符号的平均信息量，而联合熵\( H(X,Y) \)则考虑了两个随机变量同时出现的信息量。条件熵\( H(Y|X) \)描述了在已知随机变量X的条件下，随机变量Y的不确定性。二维离散平稳信源的联合熵和平均符号熵的计算是理解信源统计特性的重要步骤。离散平稳无记忆信源的特性在于，其当前输出与过去或未来的输出无关，这简化了信息处理问题。对于马尔科夫信源，尤其是一阶和二阶马尔科夫信源，其极限熵描述了在长时间序列中的平均信息量，可以通过状态转移图和遍历定理来计算。 例如，一个马尔科夫信源的状态转移概率可以表示为 \( P(s_i, s_j) \)，其中 \( s_i \) 和 \( s_j \) 是信源的不同状态。通过计算这些状态转移概率，可以得到马尔科夫信源的极限熵，从而分析信源的信息产生规律。 信息论导论涵盖的内容包括但不限于信息的一般概念、自信息量、信源熵、联合熵、条件熵以及马尔科夫信源的特性，这些都是理解和应用信息论基础理论的关键。学习这些知识有助于我们更好地设计和优化通信系统，提高信息传输的效率和可靠性。