信息论应用：称假币与骰子游戏中的信息量分析

"比特/像素 - TCP/IP Illustrated Vol 1 The Protocols 2nd Edition" 在TCP/IP Illustrated Vol 1 The Protocols 2nd Edition中，虽然主要讨论的是网络协议，但这里涉及的信息论概念与数据传输和通信效率息息相关。信息论是研究信息的量化、存储和传输的科学，特别是在不确定性和随机性中的应用。 描述中提到的比特/像素的概念，是衡量图像信息密度的一个指标。每像素的信息量为H(X) = log10 = 3.32 比特/像素。如果一个图像有N个像素，且所有像素点独立变化，那么整幅图像的信息量为H(X N) = NH(X)。在这个例子中，N为5×105，所以总信息量是1.66×106 比特/帧。如果每秒传输30帧这样的图像，信息传输率将达到4.98×107 比特/秒。 接下来，讨论了从黑白电视系统到彩色电视系统的转变。在黑白电视系统中，信息传输率为H(X)。在彩色电视系统中，除了亮度信息，还需要传输30个不同的色彩度，每个色彩度出现的概率相等。因此，每个色彩度的熵为log30比特/符号。由于电平和色彩是独立的，总熵H(XY) = H(X) + H(Y) = log300。这样，彩色电视系统的信息率是黑白电视系统的比值为H(XY) / H(X)。 这部分内容还包含了几个信息论习题，用于进一步阐述信息量和不确定性的概念。 【2.1】中，通过天平来找出12枚硬币中唯一一枚不同重量的假币，这是信息论中的一个应用。问题的关键在于计算消除不确定性所需的最小信息量。这里使用了信息熵来表示不确定性，每次天平称重可以消除一定的不确定性。最终得出至少需要称3次才能确定哪一枚是假币。 【2.2】涉及扔骰子的问题，信息量被用来衡量结果的不确定性。不同的点数组合对应不同的信息量，计算方法是将每种结果的概率取对数。 【2.3】讨论了在不同情况下询问“明天是星期几”所获得的信息量。如果不知道今天的日期，答案有7种可能性，因此信息量较高；而如果已经知道今天是星期四，答案就只有一种，信息量为0比特。 【2.4】涉及概率和条件概率的应用，讨论了在已知某些条件下的信息增益。在本例中，讨论了女大学生和身高1.6米以上女性的比例，以及这些信息如何影响获取新信息的量。 这个资源摘要涵盖了信息论中的基础概念，如信息熵、概率、不确定性和信息量，并通过实际问题展示了这些概念在日常生活和通信中的应用。