信息论与编码：马尔可夫信源与二阶链的稳态概率及骰子自信息计算

《信息论与编码》是曹雪虹教授的一本教材，课程围绕信息理论的核心概念展开，旨在让学生理解信息的量化、编码和传输的原理。课后习题涵盖了一系列关键知识点，通过实际问题的解决，加深学生对马尔可夫信源、二阶马尔可夫链、熵、信息量等概念的理解。 2.1部分，马尔可夫信源是具有统计规律性的信源，状态图展示了信源在不同状态之间的转移关系。通过计算状态转移矩阵，可以确定每个状态的稳态概率。在这个例子中，通过矩阵乘法找到各个状态的长期行为，发现W1、W2和W3的概率分布。 2.2题考查了二阶马尔可夫链，这是时间序列分析中的重要模型，其特点是当前状态受到前两个状态的影响。这里的转移概率矩阵反映了符号之间的依赖关系，通过矩阵求解，我们可以得到四个稳态概率W1至W4。 2.3的习题涉及了离散随机变量的自信息量和熵的计算。自信息量衡量的是一个事件发生的不确定性，而熵则反映一组随机变量的平均信息量。对于同时掷两个骰子的情况，学生需要分别计算特定事件（如“3和5同时出现”和“两个1同时出现”）的信息量，以及所有可能结果的熵和平均信息量。 2.4进一步探讨了两个骰子点数组合的熵，通过列举所有可能的组合及其概率，计算总组合的熵以及指定条件下的信息量。这练习了学生如何处理多变量概率和信息论中的概率分布。 2.5题则涉及到条件熵的概念，即在已知某些信息的情况下，新信息带来的额外不确定性。通过给定的条件，学生需要计算得知“身高160厘米以上是大学生”这一信息增加的熵，即信息量。 这些习题旨在帮助学生掌握信息论的基本概念，通过具体的数值计算，加深对熵、信息量、马尔可夫过程等理论的实际应用。曹雪虹教授的这本书不仅涵盖了理论知识，还提供了丰富的习题解答，适合学习者巩固课堂所学并进行自我测试。