没有合适的资源?快使用搜索试试~ 我知道了~
首页信息论与编码期末复习小总结
资源详情
资源评论
资源推荐

信息论与编码理论复习资料
By 疯狂阿德
第一章 绪论
考点:
信息、消息、信号的区别
通信系统模型
香农
1. 信息、消息、信号的区别
信息:指事物运动的状态或存在方式的不确定性的描述。
消息:包含信息的语言、文字、图像等。
信号:信息的物理体现。
在通信系统中,实际传输的是信号,但实质内容是信息,信息包含在信号中,信号是信息
的载体,通信的结果是消除或部分消除不确定性,从而获得信息。
2. 通信系统模型
通信系统模型
信源:信息输出的源。分离散信源和模拟信源。
信宿:信息归宿之意,意即收信者或用户,是信息传送的终点或目的地。
信道:传送信息的物理媒介。
密钥源:产生密钥 k 的源。信号 x 经过 k 的加密运算后,就把明文 x 变换为密文 y。

一般地说,通信系统的性能指标主要是有效性、可靠性、安全性和经济性。除了经济性外,
这些指标正是信息论的研究对象。
信源编码:信源编码器的作用:一、将信源发出的信息变换成基带信号;二、压缩冗余度,
提高效率(有效性)。
信道编码:在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错和纠
错能力。信道译码器具有检错和纠错能力,它能将在其检错或纠错能力范围内的错传码元
检测出来并加以纠正,以提高传输信息的可靠性。信道编码包括调制解调和纠错检错编译
码。信道中的干扰通常使通信质量下降,对于模拟信号,表现在受到的信号的信噪比下降;
对于数字信号就是误码率增大。信道编码的主要方法是增大码率或频带,即增大所需的信
道容量。这恰与信源编码相反。
3. 香农
他在 1941 年至 1944 年对通信和密码进行深入研究,并用概率论的方法研究通信系统,
揭示了通信系统传递的对象就是信息,并对信息给以科学的定量描述,提出了信息熵的概
念。还指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息,而实现这一目标
的主要方法是编码等。这一成果于 1948 年在《贝尔系统技术杂志》以《通信的数学理论》
为题公开发表,次年,他又在同一杂志上发表了《噪声下的通信》香农因此成为信息论的
奠基人。
简答题:
一、 信源编码与信道编码的区别
答:信源编码是压缩信源发出的信息的冗余度,是为了提高信息传输的有效性;而信
道编码是在信源编码器输出的代码组上有目的地增加了一些监督码元,增大了信息的
冗余度,以提高传输信息的可靠性。
二、 能否将三种码(信源编码、信道编码、密码)合成一种码进行编译?
答:提高有效性必须去掉信源符号中的冗余部分,此时信道误码会使接收端不能恢复原
来的信息,也就是必须相应提高传送的可靠性,不然会使通信质量下降;
反之,为了可靠而采用信道编码,往往需扩大码率,也就降低了有效性。安全性也有
类似情况
编成密码,有时需扩展码位,这样就降低有效性;有时也会因失真而使授权用户无法
获得信息,必须重发而降低有效性,或丢失信息而降低可靠性。
从理论方面来说,若能把三种码合并成一种码来编译,即同时考虑有效、可靠和安全,
可使编译码器更理想化,在经济上可能也更优越。
这种三码合一的设想是当前众所关心的课题,但因理论上和技术上的复杂性,要
取得有用的结果,还是相当困难。

第二章 信 源 与信 息 熵
考点:
自信息
概率空间
样本空间:某事物各种可能出现的不同状态。
先验概率 p(x
i
):选择符号 x
i
作为消息的概率。
• 对 x
i
的不确定性可表示为先验概率 p(x
i
)的倒数的某一函数。
自信息
后验概率 p(x
i
| y
j
):接收端收到消息 y
j
后而发送端发的是 x
i
的概率
设离散信源 X,其概率空间为
如果知道事件 x
i
已发生,则该事件所含有的信息量定义为:
I (x
i
) 含义:
– 当事件 x
i
发生以前,表示事件 x
i
发生的不确定性
– 当事件 x
i
发生以后,表示事件 x
i
所含有的信息量
I(x
i
)的特性:
)()()(
21
21
n
n
xpxpxp
xxx
P
X
)(log)(
ii
xpxI
)()()(
21
21
n
n
xpxpxp
xxx
P
X
)(
1
log)(
i
i
xP
xI
)(
1
log
)(
1
log);(
ji
i
ji
yxp
xP
yxI

⑴ I (x
i
)是非负值
⑵ 当 p(x
i
) = 1 时,I(x
i
) = 0
⑶ 当 p(x
i
) = 0 时,I(x
i
) =∞
⑷ I(x
i
)是先验概率 p(x
i
)的单调递减函数,即
当 p(x
1
)>p(x
2
)时,I (x
1
)<I (x
2
)
⑸两个独立事件的联合信息量等于它们分别的信息量之和。
即统计独立信源的信息量等于它们分别的信息量之和。
• 一个出现概率接近于 1 的随机事件,发生的可能性很大,所以它包含的不确定度就很
小;
• 一个出现概率很小的随机事件,很难猜测在某个时刻它能否发生,所以它包含的不确
定度就很大;
• 若是确定性事件,出现概率为 1,则它包含的不确定度为 0。
联合自信息量
两个消息 x
i
,y
j
同时出现的联合自信息量
• 注意:
• 当 x
i
,y
j
相互独立时,有 p(x
i
y
j
)=p(x
i
)p(y
j
),那么就有 I(x
i
y
j
)=I(x
i
)+I(y
j
)。
• x
i
y
j
所包含的不确定度在数值上也等于它们的自信息量。
条件自信息量
在事件 y
j
出现的条件下,随机事件 x
i
发生的条件概率为 p(x
i
| y
j
) ,则它的条件自信息量定
义为条件概率对数的负值:
信源
– 产生消息(符号)、消息序列和连续消息的来源
– 产生随机变量、随机序列和随机过程的源。
)(log)(
jiji
yxpyxI
)|(log)|(
jiji
yxpyxI

– 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机
的,所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用
一个样本空间及其概率测度—概率空间来描述信源
– 信源的基本特性:具有随机不确定性。
香农信息论的基本点: 一、用随机变量和随机矢量来表示信源;
二、用概率论和随机过程来研究信息。
信源的分类:
连续信源:指发出在时间和幅度上都是连续的消息(模拟消息)的信源。
离散信源:指发出在时间和幅度上都是离散分布的离散消息的信源。
离散无记忆信源:所发出的各个符号是相互独立的,发出的符号序列中的各个符号之间没
有统计关联性,各个符号的出现概率是它自身的先验概率。
• 发出单个符号的信源
– 指信源每次只发出一个符号代表一个消息;
• 发出符号序列的信源
– 指信源每次发出一组含二个以上符号的符号序列代表一个消息
信源的描述
6/16/16/16/16/16/1
654321
xxxxxx
P
X
剩余27页未读,继续阅读















安全验证
文档复制为VIP权益,开通VIP直接复制

评论0