２背景知识
条件４．互信息应该满足对称性，即
，（Ｘ；】，）＝ｘＣＹ；ｘ）
也可以理解为Ｘ提供的关于ｙ的信息量等于ｙ包含的关于Ｘ的信息量。
２．１．４胞距离
两个概率分布ｐｔ和见间的ＫＬ距离是对两个概率分布间“距离’’的度量。
定义５．两个概率分布ｐｌ∽和成＠）间的Ｋｕｌｌｂａｃｋ
Ｌｅｉｂｌｅｒ（ＫＬ）ｌ距．离定义如下：
％圳Ｉｐ：】２；俐。ｇ黑
（２．９）
其中，上述等式涵盖极限情况。１０９詈专。，Ａｌ。ｇ吾专∞·
肛距离并不是一个标准距离度量，因为其不满足对称性以及三角不等式。
但是在很多领域中，它仍被用作概率分布间距离的度量。
定理２．假设ｐｌ∽和成（砷为两个概率分布，则
三ｋ【Ａ（ｘ）０岛（ｘ）】≥０
当且仅当ｐｌ（功＝见Ｏ）时等号成立。
碰距离也称为相对熵，两个随机变量间的互信息可以表示为两个随机变量
的联合概率分布与其两个边缘分布乘积间的尬距离，即：
Ｊ（Ｘ；ｙ）＝ｐ地【ｐ（ｘ，Ｙ）ＩＩ
ｐ（ｘ）ｐ（ｙ）】（２．１０）
２．１．５出距离
定义６．两个概率分布ｐＩ（砷和见∞间的Ｊｅｎｓｅｎ－Ｓｈａｎｎｏｎ（ＪＳ）距离定义为：
．岛【Ａ，扔】－乃％【Ａ
０剜＋乃％【见０剜
（２．１１）
其中兀＝｛而，乃），０＜而，％＜ｌ，而＋乃＝ｌ且ｐ＝乃Ａ＋万２ｐ２·
坶距离是非负的，当且仅当ｐｌｆｐ２时等于０。殿距离具有对称性，但并不满
足三角不等式，因此并不是一个标准度量。
谬距离的另一种表示形式如下：
塌【Ａ，段】＝日［习一乃日【用卜刀２【仍】
（２．１２）
８
剩余42页未读，继续阅读
programyp
- 粉丝: 89
- 资源: 9324
我的内容管理
展开
最新资源
- Vue实现iOS原生Picker组件：详细解析与实现思路
- Arduino蓝牙小车：参数调试与功能控制
- 百度Java面试精华：200页精选资源涵盖核心知识点
- Swift使用CoreData填坑指南：CoreData在Swift 3.0的变化
- 微距离无线充电器创新设计及其实验探索
- MTK Android平台开发全攻略：44步详解流程
- RecyclerView全面解析：替代ListView的新选择
- Android开发：自动适配中英文键盘解决方案
- Android调用WebService接口教程
- Android开发：BitmapUtil图片处理全解析与实例
- Android多线程断点续传实现详解
- PCA算法在人脸识别会议签到系统中的应用
- EventBus 3.0：Android事件总线详解与实战应用
- Android FileUtil：全面解析文件操作实用技巧与实例
- RecyclerView添加头部和尾部实战教程
- Android实现微博滑动固定顶部栏实战与优化
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
