离散信源熵：信息论基础

"哈尔滨工业大学贾世楼的信息论的研究生课程讲义，主要讲解了离散信源的熵，包括离散信源的数学模型、信源符号不确定性的度量以及自信息量的概念。" 在信息论中，离散信源是研究的基础，特别是在研究生课程中，这一部分尤为重要。离散信源的特性体现在其随机性，即不确定性，这种不确定性可以通过符号出现的概率来量化。一个简单的离散信源可以被建模为一个离散集合，其中每个符号（状态）对应一个特定的概率。例如，一个离散信源可以表示为[X]=(x1,x2,…xn)，并且用概率空间[P]=(p1,p2,…pn)来描述每个符号出现的概率，所有这些概率之和必须为1，确保了完备性。 信源的不确定性是信息存在的前提。当我们在通信系统中接收信息时，信息量等于收信者在接收到消息后消除的不确定性。不确定性可以用不确定度来衡量，它反映了预测某个随机事件发生难度的大小。比如，从一个袋子中取出不同颜色小球的场景，如果红球数量远大于其他颜色，那么预测取出红球的不确定性就相对较小，反之则较大。 自信息量是度量单个符号信息含量的指标。在理想情况下，即信道无干扰，信源发出的符号xi被接收方准确接收时，自信息量I(xi)就等于接收者通过该符号获得的信息量，也就是符号xi的不确定度。自信息量的大小与符号的概率成反比，即概率大的符号其自信息量小，而概率小的符号自信息量大。此外，自信息量应具备可加性，这意味着多个独立消息的总信息量等于各消息自信息量的和。 Hartley公式是自信息量的数学表达，通常以对数形式表示，以满足不确定性与符号数和概率的关系，并确保概率为0或1时自信息量的极限值分别为无穷大和零。对数形式的自信息量不仅方便计算，还便于理解信息量随概率变化的规律。 离散信源的熵是信息论中的核心概念，它涉及到信源的数学模型构建、不确定性度量以及自信息量的计算，这些都是理解和分析信息传输效率、数据压缩等问题的基础。在实际应用中，如通信工程、数据压缩算法和编码理论等领域，这些理论都起着至关重要的作用。