哈尔滨工程大学信息论课程讲义：信息与不确定性解析

"哈尔滨工程大学信息论PPT是由贾玉晶制作的一份关于信息论的教育资料，主要探讨了信息论的基本概念、研究对象、目的和内容，以及信息论的历史和现状。" 在信息论中，信息被定义为对事物运动状态或存在方式不确定性的描述。这个概念源于英文单词"information"，在牛津英文字典中的解释是被通知或告知的内容。信息的含义广泛，可以涵盖任何形式或载体所表达的内容，但其定义并不精确。而统计信息则是具有明确定义的科学名词，与内容本身无关，只关注信息表达形式的统计性质。 消息（Message）是信息的具体表现形式，是通过能被人或机器的感官感知的物理现象来传达客观事物的运动状态或主观思维活动的。一条消息要满足通信双方都能理解和可传递的条件，例如文字、语音、图像等。消息是信息的载体，承载着信息的内涵，两者之间存在着抽象与具体的关系。 在通信系统中，有三个关键要素：信源、信道和信宿。信源是产生消息的地方，即消息的发送端；信宿是接收和理解消息的目标，即接收端；而信道则是连接信源和信宿的媒介，用于传输消息。 信息量是对信息的量化表示，它与消息带来的不确定性或随机性有关。例如，当一个事件的可能性相等时，两个消息的信息量通常相同；而当事件的不确定性增加时，信息量也随之增大。因此，信息量可以视为不确定性或随机性的函数。 在数学上，概率空间是一个由样本空间和概率测度定义的结构，记为〔X,P〕，其中X是样本空间，P是定义在X上的概率测度。概率测度描述了样本空间中各事件发生的可能性。 自信息（Self-information）是指特定消息出现时所携带的信息量，反映了该消息的意外程度。而信源的平均信息量，也称为熵（Entropy），是信源所有可能消息的信息量的期望值，提供了关于信源输出消息平均不确定性的一个度量。 这份PPT还涵盖了更多关于信息论的深入概念，包括信息熵的计算、信源编码理论、信道容量等内容，是学习和理解信息论基础的理想资料。