曹雪虹《信息论与编码》课后习题详解：马尔可夫信源与熵计算

《信息论与编码》是曹雪虹教授的教材，本书主要探讨了信息论的基本概念和技术在编码理论中的应用。课后习题涵盖了多个关键章节，包括马尔可夫信源的分析、二阶马尔可夫链的概率计算、以及概率统计在实际问题中的应用。 在第二章中，首先介绍了马尔可夫信源的例子，该信源有三个符号，通过给出的转移概率矩阵，学生被要求绘制状态图并计算各符号的稳态概率。状态图展示了符号之间的状态转移关系，而稳态概率则是系统达到平衡状态时每个状态出现的概率。这个过程涉及概率链的概念和马尔可夫性质在状态转移中的应用。 接着，针对一个二阶马尔可夫链，转移概率被具体给出，同样需要构造状态图并求解稳态概率。这里强调了记忆依赖性的马尔可夫模型，即当前状态不仅依赖于上一状态，还与更早的状态有关。 接下来，是关于投掷两个骰子的多态信息量问题。学生需计算特定事件如“3和5同时出现”、“两个1同时出现”的自信息，这是衡量事件不确定性的度量。此外，还涉及到组合的熵和平均信息量，这是信息论中用于衡量随机变量不确定性的概念。通过列举所有可能的结果并计算其概率，可以得出这些统计量。 最后，习题探讨了现实生活中的信息量问题。例如，如果知道某个地区女大学生中身高160厘米以上的人占比很高，且她们中又有75%是大学生，那么得知“某身高160厘米以上的女孩是大学生”这一信息将带来多少信息量。这实际上是利用贝叶斯定理来评估新信息对现有先验知识的影响，体现了信息论在实际决策中的作用。 通过解决这些习题，学生不仅能够掌握马尔可夫模型和概率统计的基本概念，还能理解如何将这些理论应用于实际情境，进行信息量的计算和分析。