书书书
第 !" 卷# 第 $ 期
!%%& 年 $ 月
计# # 算# # 机# # 学# # 报
’()*+,+ -./0*12 .3 ’.45/6+0,
789: !" *8: $
-;9< !%%&
#
信息融合中的有关熵理论
孙即祥# 史慧敏# 王宏强
(国防科学技术大学电子科学与工程学院# 长沙 =>%%$&)
收稿日期:!%%>?%"?>@;修改稿收到日期:!%%!?%@?%$: 孙即祥,男,>A=" 年生,教授,博士生导师,主要研究方向为图像处理、模式识别、计算
机视觉、最优化理论及方法: +?BCD9:89DEFGHIJK >"&: LFM : 史慧敏,女,>A$% 年生,硕士,工程师,主要研究方向为图像处理、模式识别:
王宏强,男,>A$% 年生,博士研究生,讲师,主要研究方向为多传感器数据融合、目标跟踪与自动目标识别:
摘# 要# 将信息论中有关熵的概念和应用引入到目标观测识别系统中,建立了观测决策融合系统的熵模型;提出
了观测决策融合系统中有关条件熵的两个重要定理,并指出它们在理论研究和实际应用中的指导意义;最后阐述
了融合系统中熵的结构关系
:
关键词# 信息融合;条件熵;不确定性;决策
中图法分类号 65>@
!"# !"#$%& ’#()*+,# *$ -.*%$/& +. 0.1$%2)*+$. 345+$.
,/* -D?NDCLO# ,() (;D?4DL# P1*Q (8LO?RDCLO
(!"#$$% $& ’%(")*$+," !",(+"( -+. ’+/,+((*,+/,0-),$+-% 1+,2(*3,)4 $& 5(&(+3( 6("#+$%$/4,7#-+/3#- =>%%$&)
675*%)8*# 6IDS TCTFG FUMFLVS S8BF W8LWFTM CLV CTT9DWCMD8L CX8;M FLMG8T< DL DLY8GBCMD8L MIF8G< M8 MCGOFM
8XSFGECMD8L CLV GFW8OLDMD8L S<SMFB,X;D9VS MIF FLMG8T< B8VF9 Y8G 8XSFGECMD8L VFWDSD8L Y;SD8L S<SMFB,CLV
TG8T8SFS MH8 DBT8GMCLM MIF8GFBS CX8;M W8LVDMD8LC9 FLMG8T< CLV T8DLMS 8;M MIFDG VDGFWMDEF SDOLDYDWCLWF DL
MIF8GFMDWC9 SM;V< CLV TGCWMDWF: 6IDS TCTFG C9S8 VDSW;SSFS MIF SMG;WM;GC9 GF9CMD8LSIDT 8Y FLMG8T< DL Y;SD8L
S<SMFB:
9#&:$%;5# DLY8GBCMD8L Y;SD8L;W8LVDMD8LC9 FLMG8T<;;LWFGMCDLM<;VFWDSD8L
<= 引= 言
在信息论中,熵是一个极为重要的概念,并且已
渗透于其它许多领域: 下面先对有关内容做简要介
绍: 为简洁,对于离散的或连续的情况,基本定义式
这里均写成连续形式,对于离散情况,积分符号“
!
”
要作离散和“
"
”的理解,概率密度相应地改为概
率,同时积分域和积分变量微元也作相应的理解和
改变: 信源 N 的熵定义为
8(9): ;
!
<
=(>)98O=(>)V> (>)
8(9)表示信源 9 的不确定度? 通常认为在离散情况
下信源熵是不确定性的度量,实际上在连续情况下它
也反映了信息的不确定度
? 例如,在一维情况下,可以
证明,在 >
#
[-,@]限幅条件下,在区间[-,@]上均匀
分布的随机变量的熵最大,为 98O(@ Z -)
!
[ 98O >!
!
,
!
!
为 > 的方差,显然(@ Z -)或
!
越大,随机变量的
分布越广,不确定性也越强;在平均功率为
!
!
限功
率条件下,服从 0(%,
!
!
)正态分布的随机变量的熵
最大,为
98O !
!
!
F
!
,显然
!
的值越大,不确定性越
强?
对于观测决策融合系统来讲,熵的基本模型与
通常理解的通信系统有着某些本质区别,在遵循对
熵基本性质的理解和应用的前提下,可以引入熵的
概念来研究和处理某些问题,赋予它更丰富的涵义,