计算信道容量与信息理论应用：从硬币称重到骰子投掷

"该资源是一份关于信息论的解答，涉及到信道容量计算、编码理论以及信息量的计算。" 在信息论中，信道容量（Channel Capacity）是指在给定信道条件下，能保证可靠通信的最大信息传输速率。标题中的问题首先计算了一个对称信道的容量，公式为\( C = 2^{H(r)} \)，其中\( H(r) \)是信道输入的熵，对于题目中提到的信道，因为每一行和每一列都是第一行和第一列的置换，所以信道是对称的，熵\( H(r) = -\sum p_i \log_2(p_i) \)。计算得到的信道容量是 \( C = 2^{1.15} \)比特/码符号。 接着，问题探讨了码长为2的重复码，这是一种编码方式，用于提高信息传输的可靠性。在本例中，使用了5个码字（00、11、22、33、44），信息传输率为 \( R = \frac{5}{2} \log_2(1) \) 比特/码符号。为了设计最大似然译码器，考虑所有可能的输出组合，并计算错误概率 \( EP \)。 接下来的问题询问是否存在码长为2的码，使得每个输入码字的错误概率 \( P_e(i) \) 相等。如果这样的码存在，那么它们应该具有相同的错误概率，即 \( P_e(0) = P_e(1) = ... = P_e(4) \)。但是，根据题目中的信息，没有给出具体的条件或方法来找到这样的码，所以无法直接得出结论。 在第二部分的课后习题中，涉及了信息量的计算和决策过程： - 问题2.1是一个经典的逻辑推理题，利用天平来找出12枚硬币中的假币。信息论角度分析，通过计算消除不确定性的信息量来确定最少的称量次数。每次称量可以消除的不确定性是 \( I = log_2(3) \) 比特，所以至少需要称3次来确定假币。 - 问题2.2讨论了同时扔两个骰子的信息量计算。分别计算了点数之和为2、8和3与4的情况下的信息量。信息量由对应的概率决定，概率越小，信息量越大。 - 问题2.3探讨了在不同情境下提问“明天是星期几”所获得的信息量。如果不知道今天是星期几，答案有7种等概率的可能性，信息量为 \( I = log_2(7) \) 比特。而在已知今天是星期四的情况下，答案只有两种可能性（星期五或星期六），信息量相应减少。 这些习题展示了信息论在实际问题中的应用，包括如何量化信息、解决不确定性以及通过编码策略改善通信质量。通过深入理解这些概念，可以更好地设计和分析通信系统。