信息工程论：利用熵与概率解决硬币称重问题

"《信息工程论》是田宝玉教授在北京邮电大学讲授的一门课程，主要涵盖了信息论的相关知识。书中的习题涉及到信息量的计算、信息熵的应用以及如何利用信息理论解决实际问题，如通过最少的实验次数鉴别不同重量的硬币等。" 在信息论中，信息量是一个基本概念，它表示事件发生的不确定性。例如，在部分题目中，信息量被用来计算每种可能结果的比特数。例如，第2.1题给出了几个不同的信息量计算，例如（1）4.17比特、（2）5.17比特等，这些都是基于特定事件概率的计算，通常使用公式H(X) = -∑p(x) log2(p(x))，其中H(X)是熵，p(x)是事件x的概率。 信息熵是衡量随机变量不确定性的度量，具有可加性。在第2.5题中，熵的可加性被用来解决实际问题，即如何用最少的称重次数找出12个硬币中的一个重量异常的硬币。这个问题展示了如何通过设计实验来最大化每次实验的信息获取量，从而减少总的实验次数。通过合理安排称重策略，可以确保每次实验都能提供最多的信息，例如第一次称重将硬币分为三组，通过观察结果来逐步缩小假币的范围。 此外，信息论还用于决策和数据压缩等领域。例如，第2.6题可能是关于数据编码和最小信息传输的问题，而2.7至2.12题的证明部分可能涉及到了信源编码、信道编码的原理，以及香农第一定律和第二定律等核心理论。这些证明虽然在此未给出具体细节，但在实际课程中会详细讲解信息传输的效率和可靠性。 2.13题中的公式和表达式可能涉及到条件熵、互信息等相关概念，它们在理解不同变量间的信息关联以及在有先验知识的情况下如何计算信息量时非常关键。例如，互信息测量了两个随机变量之间的相互依赖性，而条件熵则是在知道一个变量的情况下另一个变量的不确定性。 《信息工程论》这门课程深入探讨了信息处理、通信和数据科学的基本原理，通过具体的实例和习题帮助学生掌握如何运用信息论解决实际问题，理解信息的本质和价值。