信息测度与数据压缩：香农的熵理论

"信息的测度-数据压缩与信源编码" 在信息理论中，信息的测度是一个核心概念，由克劳德·香农在20世纪40年代提出。自信息是衡量一个事件发生时所含有的信息量。对于概率为P(A)的事件A，其自信息定义为： \[ i(A) = -\log_b(P(A)) \] 其中，b是基数，通常取2，表示以比特为单位。自信息有几个关键性质： 1. 如果P(A)=0，即事件A发生的概率为零，那么i(A)=0，表示确定性事件不含有信息。 2. 自信息是非负的，因为对数函数在(0,1]区间内总是负值，乘以-1后变为正值。 3. 如果事件A、B是独立的，那么它们同时发生的自信息等于各自自信息的和： \[ i(A \text{ and } B) = i(A) + i(B) \] 一个有趣的对比是随机字符串和有意义的命题。随机字符串中的每个字符出现的概率相等，因此包含的信息量相对较高；而有意义的命题，比如语言中的句子，由于存在一定的结构和模式，其信息量往往较低，因为可以预测的部分较多。 接下来，我们探讨无失真数据压缩，这基于信息的测度。无失真压缩的目标是在不损失任何原始信息的情况下，减少数据的存储或传输需求。这通常涉及到熵的概念。 熵是描述一个系统不确定性的度量，对于一个有多个可能结果的随机过程，熵表示获取其结果所需的平均信息量。对于样本空间S中独立事件Ai的概率分布P(Ai)，熵定义为： \[ H(S) = -\sum_{i} P(A_i) \cdot \log_b(P(A_i)) \] 例如，抛硬币是一个简单的随机过程，若正反面出现的概率都是0.5，那么每枚硬币的自信息是1 bit，因此熵H(S)也是1 bit。 在实际应用中，如信源编码，我们常常处理的是连续的输出序列。对于一个输出序列{X1, X2, ...}，如果每个输出是独立同分布的，那么信源的熵H(S)可以通过单个符号的熵估计，随着序列长度n趋于无穷大，信源熵H(S)等于单个符号的熵的极限： \[ H(S) = \lim_{n \to \infty} \frac{1}{n} \sum_{i=1}^{n} H(X_i) \] 然而，计算熵可能很复杂，尤其是在实际数据中可能存在依赖关系时。这时，我们可以采用一些统计方法进行估计，比如观察符号的频率。如果符号是独立同分布的，可以通过符号出现的频率来估算熵。例如，如果一个信源S中符号“1”、“6”、“7”、“10”的概率都是1/16，而其他符号的概率都是2/16，那么估算的熵大约是3.25 bits/符号。 当相邻样本相关时，可以考虑计算差分序列，即残差序列，来简化问题。例如，如果原始序列S是111-1111-111111-...，那么残差序列R只包含两种符号，这可能导致较低的熵估计，如0.7 bits。但是，接收端仅凭残差序列R无法恢复原始数据，还需要知道数据的模型，即序列的生成方式。在这种情况下，信源S和R并不等价，因为恢复原始数据需要额外的信息。 信息的测度是理解数据压缩和信源编码的基础，它帮助我们量化信息含量并优化数据的表示，从而实现更有效的通信和存储。