《信息论与编码》课后习题详解：马尔可夫链与信息量计算

"该资源是关于信息论与编码课程的课后习题解答，涵盖了马尔可夫信源、二阶马尔可夫链、自信息、熵等核心概念的计算与分析。" 在信息论中，马尔可夫信源是一种重要的离散时间随机过程，它的特点是当前符号的出现只依赖于有限个过去的符号状态。题目中的2.1部分展示了如何构建一个三状态的马尔可夫信源，并计算各符号的稳态概率。状态图的构建基于转移概率，通过建立状态转移矩阵，利用平稳分布的条件来求解稳态概率。 二阶马尔可夫链在2.2题中被提及，它考虑了前两个符号对当前符号的影响。题目给出了转移概率，并要求绘制状态图以及计算稳态概率。这个过程涉及到更复杂的矩阵运算，同样基于平稳分布的方程组来求解。 自信息是衡量一个事件发生时所含信息量的度量，通常用比特来表示。在2.3题中，自信息被用于计算特定事件发生的不确定性，例如“3和5同时出现”以及“两个1同时出现”。自信息的计算公式为-I(x) = log2(1/p(x))，其中p(x)是事件x发生的概率。 熵是衡量一个随机变量不确定性的度量，2.3题的第(3)部分要求计算两个点数各种组合的熵和平均信息量。这里的熵是所有可能结果的概率与其自信息的加权平均。第(4)部分则要求计算两个点数之和的熵，这涉及到统计所有可能的点数组合及其概率，然后应用熵的定义来计算。 最后，2.4题讨论了一个条件概率问题，即已知一个事件发生的条件下，另一个事件的信息量。在这个例子中，问题是当知道一个身高160厘米以上的女孩是大学生时，我们获得了多少信息。这个问题涉及到联合概率和条件概率的计算，以及信息量的定义。 这些习题解答详细地展示了信息论中的关键概念和计算方法，对于理解和掌握信息论的基本原理非常有帮助。通过这样的练习，学生可以深入理解信源的统计特性、信息量的计算以及熵作为不确定性度量的重要性。