某信源可产生128个不同符号，其中16个出现的概率为1/32，其余112个出现的概率为1/224。信息源每秒发送2000个符号，且每个符号彼此独立，其中log2(224)=7.8。试求:（1）该信源发送信息的平均速率；(2) 该信源最大可能的信息速率。

(1) 该信源发送信息的平均速率为：
$$
\begin{aligned}
R &= \text{符号速率} \times \text{符号数目} \\
&= \text{每秒发送的符号数} \times \text{符号长度} \\
&= 2000 \times \log_2(128) \\
&= 2000 \times 7 \\
&= 14000 \text{ bps}
\end{aligned}
$$

(2) 该信源最大可能的信息速率为：
$$
\begin{aligned}
C &= \max_{p_i} H(X) \\
&= \max_{p_i} \left(-\sum_{i=1}^{128} p_i \log_2 p_i \right) \\
&= \frac{16}{32} \cdot \log_2 32 + \frac{112}{224} \cdot \log_2 224 \\
&= 4 + 3.9 \\
&= 7.9 \text{ bps/symbol}
\end{aligned}
$$

因此，该信源最大可能的信息速率为 $C \times 2000 = 15800$bps。但实际上，该信源的平均信息速率只有 $14000$bps，小于最大可能的信息速率。这是因为该信源的实际符号出现概率与最大熵模型中的符号概率分布不同。

相关问题

我设某离散信源有三个消息符号，它们出现的概率分别为1/4、1/4、1/2，各符号出现是相对独立的。若信息源以1000b的速率发送符号，信息传输速率为 。

信息传输速率可以通过以下步骤计算得出：

首先，我们需要计算每个符号传输所需的平均比特数。

根据消息符号的概率分布，我们可以得知第一个符号出现的概率为1/4，需要传输的平均比特数为-log2(1/4) = 2比特。

同理，第二个符号出现的概率也为1/4，需要传输的平均比特数为2比特。

第三个符号出现的概率为1/2，需要传输的平均比特数为-log2(1/2) = 1比特。

然后，我们将每个符号传输所需的平均比特数乘以其出现的概率，并将三者相加，得到平均每个符号传输的比特数。

(1/4) * 2 + (1/4) * 2 + (1/2) * 1 = 1比特

最后，我们将平均每个符号传输的比特数除以单位时间内传输的符号数量，即1000b，得到信息传输速率。

1比特 / 1000b = 0.001比特/比特 = 0.001b

因此，该离散信源的信息传输速率为0.001比特/秒。

某信源由四个符号0、1、2、3组成，它们出现的概率分别为3/81/4、1/4、1/8，符号出现相互独立，求下列消息串的信息量:2010201302130001203210100321010023102002010312032100120210

根据信息论的公式，对于一个消息串x，其信息量为：

$I(x) = -\log_2(P(x))$

其中，P(x)为x出现的概率。

对于给定的消息串2010201302130001203210100321010023102002010312032100120210，根据题意可知，其出现的概率为：

$P(x) = (\frac{3}{8})^{10} \times (\frac{1}{4})^7 \times (\frac{1}{8})^3 = \frac{3^{10}}{2^{28}}$

因此，该消息串的信息量为：

$I(x) = -\log_2(\frac{3^{10}}{2^{28}}) = 28\log_2(2/3) \approx 14.856$ 比特。