信息论基础：无记忆信道与自信息

"这篇资料是北京邮电大学出版社出版的《信息论基础教程》课程的课件，由李亦农教授讲解。主要内容涉及信息论的基本概念，尤其是当信道无记忆时的情况。教程深入探讨了信源和信道的性质，特别是多维矢量信道输入与输出的关系。" 在信息论中，信道无记忆意味着信道的状态不会受其过去状态的影响，这在通信系统分析中是一个重要的假设。在这种情况下，信源和信道的行为可以简化，便于我们理解和设计有效的通信系统。 1. **自信息**：自信息是个体消息i的不确定性度量，通常用消息i出现概率p(i)的负对数表示，即I(i) = -log2(p(i))。自信息越大，消息的出现越出乎意料，含有的信息量也就越多。例如，一枚公正的硬币正面朝上的消息自信息较小，因为出现的概率较高，而罕见事件的自信息较大。 2. **信息熵**：信息熵是信源所有可能消息的平均自信息，表示信源的平均不确定性。对于有q种可能消息的离散信源，信息熵H(X) = -∑p(x)log2(p(x))，其中x代表信源可能发出的不同消息。信息熵衡量的是信源每发送一次消息时，接收方预期得到的平均信息量。 3. **互信息**：互信息描述了两个事件之间的关联程度，即一个事件提供关于另一个事件的信息量。如果事件A和B相互独立，则它们的互信息为零；若存在依赖关系，互信息会大于零。互信息I(A; B) = H(B) - H(B|A)，表示已知A的情况下B的不确定性减少量。 4. **条件自信息**：条件自信息I(A; B|C)是在已知事件C发生的前提下，事件A对事件B提供的信息量。它有助于我们理解在特定条件下两个事件之间的信息交换。 5. **联合自信息**：联合自信息I(A; B, C)衡量了事件A与事件B和C的联合不确定性。在某些情况下，它可以分解为I(A; B, C) = I(A; B) + I(A; C|B)，这表明A对B和在已知B的条件下对C的信息贡献可以分开计算。 《信息论基础教程》通过这些概念深入讨论了信息的度量方法，对于理解和应用信息论理论至关重要，特别是在通信工程、数据压缩和密码学等领域。当信道无记忆时，这些理论简化了分析，使我们能够更准确地预测和优化通信系统的性能。