硬币辨伪与骰子信息量：信息论视角下的概率与测量

本资源是关于《TCP/IP Illustrated, Vol 1: The Protocols, 2nd Edition》第二章的课后习题集，主要围绕信息论的概念进行讲解。章节涉及的问题旨在通过实际情境展示信息熵和不确定性的概念。 **2.1 硬币识别问题** 题目讨论了在12枚硬币中找出一枚未知重量的假币，假定它可能是较轻或较重。根据信息论，知道某枚硬币是假币的概率（P）和假币重量不确定性的概率（P'）都是1/12。要消除这种不确定性，需要获取足够的信息量。因为每次天平比较可以消除三种可能结果中的一个（重、轻或相等），每种结果信息量为log3比特。所以，为了确定假币，需要的信息量I1等于log24比特，约等于2.9次比较。 **2.2 投骰子信息量计算** 通过投掷骰子，习题要求计算不同结果的信息量。例如，当两枚骰子点数之和为2时，只有一个组合（1和1），概率为1/36，信息量为I=log36。同样，其他两种情况——和为8和点数分别为3和4，也需要计算各自可能的组合数、概率以及相应的信息量。 **2.3 星期几问题** 问题探讨了询问“明天星期几？”在不同情境下的信息量。在不知道今天星期几时，答案有七种可能性，信息量为I=log7。而在已知今天星期四是前提下，由于答案唯一，信息量为0比特，这体现了条件概率和不确定性减少的关系。 **2.4 女性大学生信息** 这个习题涉及人口统计学与信息论的结合，分析女孩中大学生的比例以及与身高1.6米以上的关系。当得知一个身高1.6米以上的女孩是大学生时，提供了一些额外的信息，尽管具体信息量未给出，但这个问题展示了如何通过概率和条件概率计算特定事件的信息含量。 这些题目都强调了信息论在实际问题中的应用，包括概率、不确定性和信息熵在决策过程中的作用，以及如何通过实验设计减少不确定性。通过解决这些问题，读者能够理解并运用信息论的基本原理来解决实际问题。