信息论与编码：马尔可夫信源与熵计算

"该资源是一份关于阿里巴巴Android面试题集，包含了信息论的相关问题和解答，涉及到了位/符号率、信息量计算以及马尔可夫信源等内容。" 在这个面试题集中，主要讨论了以下几个知识点： 1. 位/符号率 (Bit per Symbol Rate)： 在描述电视图像的信息量时，提到了位/符号率的概念。位/符号率是指每个符号（在这里是像素的亮度电平）所携带的信息量。在题目中，每像素有128个不同的亮度电平，如果这些电平等概出现，那么每个像素的信息量可以用2log2(128) = 7位来表示。因此，整个图像的信息量可以通过总像素数乘以每个像素的信息量来计算。 2. 信息量计算： 信息量是信息论中的基本概念，通常用比特(bit)来衡量。题目中提到的电视图像有3×10^5个像素，每个像素的信息量是7位，所以整幅图像的信息量是3×10^5 * 7位。对于广播员描述图像，如果使用1000个汉字，每个汉字视为一个符号，且假设汉字是等概率的，则每个汉字的信息量是log2(10000)位。广播员描述图像的信息量等于1000个汉字乘以这个信息量。为了准确描述图像，需要的汉字数应至少等于图像的信息量除以每个汉字的信息量。 3. 马尔可夫信源： 马尔可夫信源是一种统计模型，用于描述符号序列的概率分布。题目中给出了两个马尔可夫信源的例子：第一个有三个符号，第二个是二阶马尔可夫链。马尔可夫信源的状态转移概率决定了符号序列的生成方式。通过计算状态转移矩阵，可以求出每个符号的稳态概率，即长期出现的概率分布。 在第一个马尔可夫信源中，给出了三个状态（符号）及其转移概率，通过线性代数方法可以求出各状态的稳态概率。 第二个马尔可夫信源是二阶的，即当前符号的出现依赖于前两个符号。这里给出了不同状态之间的转移概率，同样可以通过计算得出每个状态的稳态概率。 这份面试题集涵盖了信息论中的基本概念，如信息量、位/符号率以及马尔可夫信源的分析，这些都是理解通信系统、数据压缩和信息传输等领域的核心概念。