武汉理工信息论试卷解析：熵、编码与信道容量

"信息论试卷 武汉理工" 本次试卷主要涵盖了信息论的基础概念和重要原理，包括熵、信息不等式、信源编码、信道编码等方面的知识。以下是详细内容解析： 一、填空题 1. 当随机变量X在有限区间[a, b]上服从均匀分布时，其熵达到最大。在均值为μ，方差受限于σ²的情况下，X服从高斯（正态）分布时，熵达到最大。 2. 信息论不等式指出，对于任意实数x, y，有H(x, y) ≤ H(x) + H(y)，等号成立当且仅当x和y相互独立。 3. 若信源X={0, 1}，其中P(0)=1/8，则信源的熵H(X) = -P(0)log2P(0) - P(1)log2P(1) = 3比特/符号。若信源发出由m个“0”和(100-m)个“1”构成的序列，序列的自信息量为mlog2(100/(100-m)) + (100-m)log2(100/m) 比特/符号。 4. 离散对称信道输入等概率时，输出为等概分布，意味着每个输出符号出现的概率相等。 5. 编码根据码字包含的码元个数，分为定长编码（所有码字长度相同）和变长编码（码字长度根据信息内容变化）。 6. 设定长编码的DMS（离散内存less信源），用二元符号进行编码，如果编码为{000, 001, 010, 011, 100, 101}，则编码器输出码元的一维概率分别为0.747和0.253。 二、简答题 1. （1）信源熵计算为每个符号的不确定性，信息含量效率是熵与平均信息量的比值，冗余度则是1减去该比值。 （2）二次扩展信源的概率空间由两个信源符号及其联合概率组成，熵可以通过计算每个符号对的联合概率并应用熵公式得到。 2. 损失熵H(X|Y)描述了已知Y时X的不确定性，当其为零时，信道是无损的。噪声熵H(Y|X)表示在给定X时Y的不确定性，零噪声熵代表确定性信道。具体信道容量需知道输入输出的概率分布和信道特性。 3. 信源编码旨在减少冗余，使信号适应信道传输，如通过霍夫曼编码或算术编码实现数据压缩。信道编码则是为了提高传输的可靠性，通过添加冗余信息来纠正传输错误，如奇偶校验、卷积码或Turbo码。 4. 香农容量公式C=B log2(1+S/N)，其中B是信道带宽，S/N是信噪比。要增大信道容量，可以增大信噪比或扩大信道带宽。 5. 限失真信源编码是在允许一定失真的情况下，通过压缩数据以实现更高效的存储或传输，比如JPEG图像压缩。 以上内容详尽地解释了信息论试卷中的核心概念，涵盖熵的最大化、信息不等式、信源编码和信道编码的基本原理及其应用。这些知识点对于理解信息论及其在通信和数据处理中的作用至关重要。