信息论与编码习题详解：马尔可夫链与骰子概率计算

《信息论与编码》是曹雪虹教授编写的教材，本章节主要探讨了信息理论的基本概念和在编码领域的应用。首先，针对一个三符号马尔可夫信源，学生被要求绘制状态图并计算各符号在稳态下的概率。马尔可夫链是一种依赖于当前状态来决定未来状态的概率模型，通过转移概率矩阵和稳态分布的求解，展示了如何运用数学工具分析信源的行为。 在二阶马尔可夫链部分，学生需要基于给定的转移概率构建状态图，然后找到各个状态的稳态概率。这种过程体现了状态依赖性和序列性质在信息传输中的重要性。 接下来，涉及的是关于投掷两个骰子的多个信息量问题。学生被要求计算特定事件的自信息量，如“3和5同时出现”和“两个1同时出现”，这些问题是信息熵理论的应用实例，自信息量衡量的是事件发生的不确定性。此外，还涉及到熵的概念，它衡量的是所有可能结果的平均不确定性或信息含量，以及平均信息量，这是在处理随机变量时的重要参数。 对于同时掷骰子的情况，不仅计算单个事件的信息量，还包括各种组合的熵和组合的平均信息量，以及两个点数之和的熵，这些都是对信息论中的熵公式（如Shannon熵）的实际应用。 最后，第2.5小题是一道实际问题，通过给出的数据，学生需计算在特定条件下，“身高160厘米以上的某女孩是大学生”这一信息带来的信息量。这涉及到条件熵的概念，即在已知某些条件下，新信息的平均不确定性的减少量。 总结来说，这些题目涵盖了信息论中的关键概念，包括马尔可夫链的建模、概率计算、自信息量、熵的测量以及条件熵的应用，旨在帮助学生理解和掌握信息理论在通信、数据压缩和信号处理中的核心原理。通过解决这些问题，学生可以加深对信息论基本原理的理解，提高实际问题解决能力。