信息论各章习题及解答下载

第1章 绪论 1—1 设英文字母E出现的概率为0.105，x出现的概率为0.002。试求E及x的信息量。 解：英文字母E的信息量为 =3.25bit 英文字母x的信息量为 =8.97bit 1—2 某信息源的符号集由A、B、C、D和E组成，设每一符号独立出现，其出现概率分别为1/4、l/8、l/8/、3/16和5/16。试求该信息源符号的平均信息量。 解：平均信息量，即信息源的熵为 = =2.23bit/符号 1—3 设有四个消息A、BC、D分别以概率1/4、1/8、1/8和l/2传送，每一消息的出现是相互独立的，试计算其平均信息量。 解：平均信息量 = =1.75bit/符号 1—4 一个由字母A、B、C、D组成的字。对于传输的每一个字母用二进制脉冲编码，00代替A，01代替B，10代替C，11代替D，每个脉冲宽度为5ms。 (1)不同的字母是等可能出现时，试计算传输的平均信息速率。 (2)若每个字母出现的可能性分别为 PA=l/5，PB=1/4，PC=1/4，PD=3/10 试计算传输的平均信息速率。 解：(1)不同的字母是等可能出现，即出现概率均为1／4。 每个字母的平均信息量为 = =2 bit/符号 因为每个脉冲宽度为5ms，所以每个字母所占用的时间为 2×5×10-3=10-2s 每秒传送符号数为100符号／秒 (2)平均信息量为 = =1.985 bit/符号 平均信息速率为 198.5 比特/秒 1—5 国际莫尔斯电码用点和划的序列发送英文字母，划用持续3单位的电流脉冲表示，点用持续1个单位的电流脉冲表示；且划出现的概率是点出现概率的l/3； (1)计算点和划的信息量； (2)计算点和划的平均信息量。 解：(1)因为划出现的概率是点出现概率的1/3，所以，点出现的概率为P1=3/4， 划出现的概率为P2＝l/4。故，点的信息量为 =0.415bit 划的信息量为 =2bit (2)平均信息量 H= + =0.81 bit/符号 1—6 设一信息源的输出由128个不同符号组成，其中16个符号出现的概率为l/32，其余112个出现概率为1/224。信息源每秒发出1000个符号，且每个符号彼此独立。试计算该信息源的平均信息速率。 解：平均信息量 H= =6.405 bit/符号 平均信息速率