编程求解习题3.1，其中m可固定为30，代码体现计算过程，并带注释输出每个小问题的结果。 习题3.1：一个无记忆信源的符号集为{0,1}，其中“0”符号的概率为1/4，求： （1）每信源符号平均携带的信息量 （2）100个信源符号构成一条序列，求每一特定序列(包含m个“0”，100-m个“1”)的信息量 （3）求产生形式如同(2)中的序列所对应的信源的熵 其中m可固定为30。

题目分析：

本题所给出的是一个二元随机变量的概率分布，需要根据此概率分布计算出所需的各项指标。

(1) 每信源符号平均携带的信息量

每个符号携带的信息量可以用信息熵来计算，对于一个二元随机变量，其信息熵为：

H(X) = - p0 * log2(p0) - p1 * log2(p1)

其中p0和p1分别表示“0”和“1”的概率。在本题中，“0”的概率为1/4，因此“1”的概率为3/4。代入公式计算得到：

H(X) = - (1/4) * log2(1/4) - (3/4) * log2(3/4) ≈ 0.8113

因此，每个符号平均携带的信息量为0.8113比特。

(2) 100个信源符号构成一条序列，求每一特定序列(包含m个“0”，100-m个“1”)的信息量

对于一个包含m个“0”和100-m个“1”的序列，它的信息量可以用条件熵来计算，即：

H(X1,X2,...,X100) = - ∑ P(X1,X2,...,X100) * log2(P(X1,X2,...,X100))
= - (C(100,m) * (1/4)^m * (3/4)^(100-m)) * log2(C(100,m) * (1/4)^m * (3/4)^(100-m))
= m * log2(4/3) + 100 * log2(3/4) - log2(C(100,m))

其中C(100,m)表示100个符号中取m个符号的组合数，即100个符号中选择m个符号的方案数，可以用组合数公式计算。

在本题中，m可固定为30，代入公式计算得到：

H(X1,X2,...,X100) ≈ 30.0819 比特

因此，对于任意一种包含30个“0”和70个“1”的序列，其信息量为30.0819比特。

(3) 求产生形式如同(2)中的序列所对应的信源的熵

根据无记忆信源的定义，每个符号的产生都是独立的，因此可以将100个符号看成是由100个独立的符号按照一定的概率分布产生得到的。由于每个符号的概率分布都是相同的，因此可以计算出整个信源的熵，即：

H = - (1/4) * log2(1/4) - (3/4) * log2(3/4)
≈ 0.8113

因此，产生形式如同(2)中的序列所对应的信源的熵为0.8113比特。