信息论与编码课后习题详解：马尔可夫信源与自信息计算

本资源是一份针对信息论与编码课程的课后习题解答文档，由曹雪虹和张宗橙两位作者提供。主要涵盖了马尔可夫信源与二阶马尔可夫链的理论应用以及概率统计中的信息量计算。 2.1 题目要求分析一个具有三个符号的马尔可夫信源，转移概率给出后，学生需画出状态图并求解各个符号在稳态下的概率。通过状态转移矩阵，我们可以看到符号间的依赖关系，通过计算状态转移矩阵的特征向量，可以找到稳态概率，即各状态在长时间运行后的稳定概率分布。具体计算显示了概率的迭代过程和最终结果。 2.2 二阶马尔可夫链涉及从{0,1}组成的符号集，给出了详细的转移概率。学生需要构建状态图，通过列出转移概率矩阵来确定稳态分布。这里展示了如何运用马尔可夫假设来预测序列的长期行为，以及如何计算每个状态在稳态下的概率。 2.3 在骰子投掷问题中，学生需要计算特定事件的自信息，如“3和5同时出现”、“两个1同时出现”的信息量，以及各种组合的熵和平均信息量。这些涉及概率论中的熵概念，即信息的不确定性度量。通过列举所有可能的结果和它们对应的概率，可以计算出信息量。 2.4 对于两个骰子点数之和的熵和特定子集（如2到12的和）的熵，学生需要理解概率分布与熵之间的关系。子集的熵反映了随机变量的不确定性，这里需要统计每个和值出现的概率。 2.5 最后一个问题是一个关于条件概率的问题，涉及到女孩身高和教育水平的信息。通过对女孩学历和身高的联合概率分布的理解，以及贝叶斯定理的应用，可以计算得知“身高160厘米以上的女孩是大学生”这一信息带来的额外不确定性减少量，即信息量。 这份解答文档详细解答了信息论与编码课程中的基础问题，包括马尔可夫链的建模、概率计算以及信息量的量化，对于深入理解和掌握这些概念有着重要的作用。通过解决这些问题，学生不仅可以巩固理论知识，还能提高实际应用能力。