通信的数学理论
(A Mathematical Theory of Communication)
C. E. SHANNON
引言
近来出现了许多以带宽换取信噪比的调制方法，比如 PCM 和 PPM，它们的出现进一步激发了人们对广义通信
理论的兴趣。在奈奎斯特（Nyquist）
1
和哈特莱（Hartley）
2
发表的一些重要相关论文中，奠定了这一理论
的基础。本论文将扩展该理论，增加一些新的因素，具体来说，就是信道中噪声的影响、由于原始消息的统
计结构和最终信宿的本质而可能减省的内容。
通信的基本问题就是在一个地方复现在另一个地方选定的消息，这一复现可能是准确的，也可能是近似的。
这些消息通常有特定的含义；也就是说，它们会根据某一系统，与特定的物理或概念实体关联在一起。通信
的语义与工程问题无关。重要的是：实际消息是从一个消息集合选出的。所设计的系统必须能够处理任意选
定的消息，而不是仅能处理实际选择的特定消息，因为在设计系统时，并不知道会实际选择哪条消息。
如果集合中的消息数目是有限的，而且选择每条消息的可能性相等，那就可以用这个消息数或者它的任意单
调函数，来度量从集合中选择一条消息所生成的信息量。正如哈特莱所指出的那样，最自然的选择就是对数
函数了。如果考虑消息统计信息的影响，如果消息的选取范围是连续的，那必须对其定义进行重要扩展，但
在所有情况下，我们使用的度量在实质上都是对数函数。
对数度量之所以更为便利，其原因有多种：
1. 它在实践中更为有用。一些在工程上非常重要的参数，比如时间、带宽、延迟数，等等，往往与可能性
的数量的对数值呈线性关系。例如，增加一个继电器会使继电器的可能状态数加倍。如果对这一数目求
以 2 为底的对数，则增加一个继电器后，会使结果加 1。使时间加倍，会使可能消息数近似变为原来的
平方，而其对数则是加倍，诸如此类。
2. 它更接近于人类对正确度量的直观认知。这一点与第 1 个原因密切相关，因为人们在对实体进行直觉度
量时，通常是与公共标准进行线性比较。比如，人们认为，两张打孔卡存储信息的容量应当是一张打孔
卡的两倍，两个相同信道的信息传输能力应当是一个信道的两倍。
1
Nyquist, H., “Certain Factors Affecting Telegraph Speed,” Bell System Technical Journal, April 1924, p. 324; “Certain Topics in Telegraph
Transmission Theory,” A.I.E.E. Trans., v. 47, April 1928, p. 617.
2
Hartley, R. V. L., “Transmission of Information,” Bell System Technical Journal, July 1928, p. 535.
剩余61页未读，继续阅读
评论3