一个无记忆信源的符号集为{0,1},其中“0”符号的概率为1/4,求: (1)每信源符号平均携带的信息量 (2)100个信源符号构成一条序列,求每一特定序列(包含m个“0”,100-m个“1”)的信息量 (3)求产生形式如同(2)中的序列所对应的信源的熵
时间: 2024-04-24 18:22:18 浏览: 12
(1) 一个符号携带的信息量可以用信息熵来表示,信息熵公式为 $H(X)=-\sum_{i=1}^{n}p(x_i)\log_2p(x_i)$,其中 $p(x_i)$ 表示第 $i$ 个符号出现的概率。所以,根据题意,我们可以得到:
$p(0) = \frac{1}{4}, p(1) = \frac{3}{4}$
$H(X) = -\sum_{i=1}^{2}p(x_i)\log_2p(x_i) = -\frac{1}{4}\log_2\frac{1}{4}-\frac{3}{4}\log_2\frac{3}{4} \approx 0.811$
所以,每个符号平均携带的信息量为 $H(X) \approx 0.811$。
(2) 对于一条包含 $m$ 个“0”和 $100-m$ 个“1”的序列,其信息量可以用条件熵来表示,条件熵公式为 $H(X|Y)=-\sum_{i=1}^{n}\sum_{j=1}^{m}p(x_i,y_j)\log_2p(x_i|y_j)$,其中 $p(x_i|y_j)$ 表示在 $Y=j$ 的条件下 $X=i$ 出现的概率。所以,根据题意,我们可以得到:
$p(0|Y=j) = \frac{j}{100}, p(1|Y=j) = \frac{100-j}{100}$
$p(0,Y=j) = \binom{100}{j}(\frac{1}{4})^j(\frac{3}{4})^{100-j}$
$H(X|Y=j) = -\sum_{i=1}^{2}p(x_i|Y=j)\log_2p(x_i|Y=j)$
然后我们就可以根据上面的公式计算出每个特定序列的信息量。
(3) 信源的熵可以用 $H(X)=-\sum_{i=1}^{n}p(x_i)\log_2p(x_i)$ 来表示,其中 $p(x_i)$ 表示第 $i$ 个符号出现的概率。所以,根据题意,我们可以得到:
$p(0,Y) = \sum_{j=0}^{100}\binom{100}{j}(\frac{1}{4})^j(\frac{3}{4})^{100-j}$
$p(0) = \frac{1}{4}$
$p(1) = \frac{3}{4}$
$H(X) = -\sum_{i=1}^{2}p(x_i)\log_2p(x_i) \approx 0.811$
然后,我们就可以根据上面的公式计算出产生形式如 (2) 中的序列所对应的信源的熵。