信息论基础：离散信源熵与马尔科夫信源详解

本资源是一份关于信息论复习的详细资料，由通信与信息工程学院的杨海芬教授编撰，邮箱为yanghf@uestc.edu.cn。主要内容涵盖了信息论导论的第一章和第二章，重点讨论了信息的基本概念、性质以及在通信系统中的作用。 在第一章中，学习者将理解信息的一般定义，区分信息、消息和信号之间的关系。信息被定义为消息中所包含的不确定性成分，这是通信系统中至关重要的元素。信息具有非负性和严格上凸性的性质，并通过自信息量的概念来衡量。此外，单符号离散信源熵的定义、计算和其性质，如最大熵原理，也将在此部分深入探讨。 第二章进一步深化到离散信源及其熵的研究。这里介绍了离散平稳信源的联合熵、条件熵及其相互关系，包括二维平稳信源的联合熵和平均符号熵的计算方法。扩展信源（即无记忆信源）的特性以及其极限熵的计算也是本章的重点，特别是对马尔科夫信源的讨论尤为深入。马尔科夫信源通过状态转移图表示，其一阶和二阶的极限熵计算是学习者必须掌握的技能。 具体实例，如例2中的二元二阶马尔科夫信源，展示了极限熵的计算，以及如何应用遍历定理。信源的概率分布Ps在不同状态下的计算和信源熵的求解，对于理解和应用信息论至关重要。 这份资料旨在帮助读者系统地复习信息论的基础理论，包括基本概念、重要定理和实际应用中的计算技巧，为通信和信息工程领域的学习者提供了坚实的理论基础。通过深入学习，读者将能熟练掌握信息的量化处理、信源特性的分析以及在实际通信系统中的运用。