信息论与编码详解：马尔可夫信源与骰子实验

《信息论与编码》是一本由曹雪虹教授编写的教材，主要探讨了信息理论的基本概念和技术在编码中的应用。本章节包含了丰富的课后习题，涉及马尔可夫信源的概率分析、二阶马尔可夫链的状态概率计算以及骰子投掷的随机事件信息量测量。 在第二章中，首先讨论了一个具有三个符号的马尔可夫信源，其转移概率矩阵详细给出。通过绘制状态图并运用稳态概率公式，学生被要求求解各个符号在稳定状态下的概率。这是一种基本的动态系统建模，展示了如何处理序列数据中的依赖关系。 接下来的二阶马尔可夫链部分，学生需要根据给定的转移概率构建状态图，并计算每个状态的稳态分布。这种任务涉及到了马尔可夫过程的特征，即只考虑当前状态和前一状态来预测下一个状态的概率。 在实际问题中，如同时掷两个骰子的例子，习题涵盖了自信息量（衡量信息不确定性）的计算，包括特定事件如“3和5同时出现”、“两个1同时出现”的信息含量。此外，还涉及到熵（信息的平均不确定度）和平均信息量的计算，这些概念在数据压缩和通信理论中至关重要。 最后，关于生活中的信息量问题，比如某地女孩的教育水平和身高信息的相关性，习题要求计算“身高160厘米以上且是大学生”这一特定信息带来的额外信息量。这展示了信息论在现实世界决策中的应用，尤其是在统计学和机器学习中。 总结来说，这一系列的课后习题着重于让学生掌握信息论的基础概念，如概率模型、马尔可夫链、信息熵等，并学会如何用这些工具来理解和解决实际问题。通过解答这些题目，学生将深入理解信息的量化度量及其在通信和数据分析中的作用。