信息论应用：硬币检测与骰子投掷的信息量分析

"该资源涉及的是信息论的相关知识，包括信息量、冗余度和概率在解决问题中的应用。" 在信息论中，冗余度是一个关键概念，它表示信息传输中不必要的或者重复的部分。在标题提及的"3比特/符号两信源的冗余度分别"中，冗余度被用来衡量信源编码的效率。具体来说，冗余度g1计算为1减去信源熵H(X)，其中H(X)表示信源的熵，是信源随机变量X的不确定性度量，通常以比特/符号为单位。在给定的例子中，H(X) = 0.553比特/符号，所以g1 = 1 - H(X) = 0.119比特/符号，表示信源中平均每符号包含的冗余信息。 描述中提到了H∞，这通常指的是最大熵，它是不确定性的上限，与信源的具体分布无关。这里H∞ = 0.447比特/符号，是另一个信源的冗余度，计算方式同样为1减去信源熵。 接下来，通过一系列实际问题展示了信息论的应用。例如，第2.1题中，假币检测问题转化为信息获取的过程。信息量I用来衡量消除不确定性所需要的信息，这里是log24比特，表示至少需要2.9次称量才能确定哪一枚是假币，但实际上需要3次。 第2.2题探讨了扔骰子事件的信息量。信息量I是基于事件发生的概率P计算的，公式为I = -log2(P)。比如，“两骰子点数之和为2”是一个低概率事件，信息量较大，为5.17比特；而“两骰子点数是3和4”是一个中等概率事件，信息量为4.17比特。 第2.3题中，询问“明天是星期几”这个问题的信息量取决于提问时的先验知识。如果不知道今天是星期几，答案有7种可能，所以信息量为log7比特。而如果已知今天是星期四，答案只剩下1种可能性，信息量为0比特，因为没有新增任何信息。 最后，第2.4题涉及条件概率和联合概率。它讨论了得知“身高1.6米以上且是大学生”的女孩这一信息所包含的有用性。根据给出的条件，可以计算这个事件的概率，并进一步分析它提供了多少信息。 这些题目展示了信息论如何用于解决实际问题，如决策制定、数据压缩和通信效率等方面，以及如何通过概率和熵的概念量化信息的价值。学习这些知识对于理解和优化通信系统、数据处理和信息管理至关重要。