信源熵实例解析：信息量计算与无记忆信源分析

在第二章信源熵的学习中，本节主要讨论了信源熵的基本概念及其在不同情境下的应用。首先，通过实际问题来探讨不同进制脉冲所含信息量的关系。四进制脉冲由于可以表示4个不同的消息，信息量是二进制脉冲的2倍；八进制脉冲则可以表示8个消息，信息量是二进制的3倍，这体现了信息量与可区分状态数的直接关系。 接下来的问题涉及到条件概率和信息熵的计算。对于居住地区女孩子的例子，我们通过定义两个随机变量X（学历）和Y（身高）来分析。当知道“身高160厘米以上的某女孩是大学生”时，我们需要利用贝叶斯定理来计算这个信息量，发现它等于女大学生中身高160厘米以上比例的对数，即-log(0.75)，因为这是已知条件下发生该事件的概率。 在扑克牌问题中，考察了特定排列的信息量和抽取13张不同点数牌的信息量。任意一张牌的排列有52!种可能，若假定每种排列等概率，信息量为-log(52!)。对于抽取不同点数的牌，我们计算的是罕见事件的概率，即1/(_4^13)，这将决定抽取过程中所携带的信息量。 在离散无记忆信源的例子中，我们处理了一个具体的消息串，计算了其自信息量，即消息中每个符号出现的概率取对数之和。此外，还计算了平均每符号携带的信息量，这是通过整个消息的信息量除以消息的长度得出的，反映了信源的平均不确定度。 最后，通过实际场景（色盲检测）展示了如何运用概率知识来量化信息量。男性中色盲的概率为7%，女性为0.5%，询问男性是否色盲时，两个回答的信息含量取决于回答者实际是否为色盲，但具体值没有给出。 这些习题旨在帮助理解信源熵的概念，特别是信息量的计算方法，以及在实际问题中的应用，包括条件概率、随机事件的信息量和信源平均信息率的计算。