4
刘群﹑李素建
2. 词语相似度及其计算的方法 2. 词语相似度及其计算的方法
2.1 词语相似度的含义 2.1 词语相似度的含义
词语相似度是一个主观性相当强的概念，没有明确的客观标准可以衡量。脱离具体的应
用去谈论词语相似度，很难得到一个统一的定义。
词语相似度是一个主观性相当强的概念，没有明确的客观标准可以衡量。脱离具体的应
用去谈论词语相似度，很难得到一个统一的定义。
本文的研究主要以基于实例的机器翻译为背景，因此在本文中我们所理解的词语相
似度就是两个词语在不同的上下文中可以互相替换使用而不改变文本的句法语义结构的
程度。两个词语，如果在不同的上下文中可以互相替换且不改变文本的句法语义结构的
可能性越大，二者的相似度就越高，否则相似度就越低。
本文的研究主要以基于实例的机器翻译为背景，因此在本文中我们所理解的词语相
似度就是两个词语在不同的上下文中可以互相替换使用而不改变文本的句法语义结构的
程度。两个词语，如果在不同的上下文中可以互相替换且不改变文本的句法语义结构的
可能性越大，二者的相似度就越高，否则相似度就越低。
相似度这个概念，涉及到词语的词法、句法、语义甚至语用等方方面面的特点。其
中，对词语相似度影响最大的应该是词的语义。
相似度这个概念，涉及到词语的词法、句法、语义甚至语用等方方面面的特点。其
中，对词语相似度影响最大的应该是词的语义。
在本文中，相似度被定义为一个 0 到 1 之间的实数。 在本文中，相似度被定义为一个 0 到 1 之间的实数。
词语距离与词语相似度之间有着密切的关系。实际上，词语距离和词语相似度是一
对词语的相同关系特征的不同表现形式，二者之间可以建立一种简单的对应关系。对于
两个词语 W
1
和 W
2
，我们记其相似度为 Sim(W
1
,W
2
)，其词语距离为 Dis(W
1
,W
2
)，那么我
们可以定义一个满足以上条件的简单转换关系：
词语距离与词语相似度之间有着密切的关系。实际上，词语距离和词语相似度是一
对词语的相同关系特征的不同表现形式，二者之间可以建立一种简单的对应关系。对于
两个词语 W
1
和 W
2
，我们记其相似度为 Sim(W
1
,W
2
)，其词语距离为 Dis(W
1
,W
2
)，那么我
们可以定义一个满足以上条件的简单转换关系：
α
……(1)
α
+
=
),(
),(
21
21
WWDis
WWSim
其中
α
是一个可调节的参数。
α
的含义是：当相似度为 0.5 时的词语距离值。 其中
α
是一个可调节的参数。
α
的含义是：当相似度为 0.5 时的词语距离值。
这种转换关系并不是唯一的，我们这里只是给出了其中的一种可能。 这种转换关系并不是唯一的，我们这里只是给出了其中的一种可能。
在很多情况下，直接计算词语的相似度比较困难，通常可以先计算词语的距离，然
后再转换成词语的相似度。
在很多情况下，直接计算词语的相似度比较困难，通常可以先计算词语的距离，然
后再转换成词语的相似度。
词语相关性反映的是两个词语互相关联的程度。可以用这两个词语在同一个语境中
共现的可能性来衡量。词语相关性和词语相似性是两个不同的概念，二者没有直接的对
应关系。
词语相关性反映的是两个词语互相关联的程度。可以用这两个词语在同一个语境中
共现的可能性来衡量。词语相关性和词语相似性是两个不同的概念，二者没有直接的对
应关系。
2.2 词语相似度的计算方法 2.2 词语相似度的计算方法
词语距离有两类常见的计算方法，一种是根据某种世界知识（Ontology）或分类体系
（Taxonomy）来计算，一种利用大规模的语料库进行统计。
词语距离有两类常见的计算方法，一种是根据某种世界知识（Ontology）或分类体系
（Taxonomy）来计算，一种利用大规模的语料库进行统计。
根据世界知识（Ontology）或分类体系（Taxonomy）计算词语语义距离的方法，一
般是利用一部同义词词典（Thesaurus）。一般同义词词典都是将所有的词组织在一棵或
几棵树状的层次结构中。我们知道，在一棵树状图中，任何两个结点之间有且只有一条
路径。于是，这条路径的长度就可以作为这两个概念的语义距离的一种度量。
根据世界知识（Ontology）或分类体系（Taxonomy）计算词语语义距离的方法，一
般是利用一部同义词词典（Thesaurus）。一般同义词词典都是将所有的词组织在一棵或
几棵树状的层次结构中。我们知道，在一棵树状图中，任何两个结点之间有且只有一条
路径。于是，这条路径的长度就可以作为这两个概念的语义距离的一种度量。
剩余17页未读，继续阅读
whph
- 粉丝: 26
- 资源: 305
我的内容管理
展开
最新资源
- zlib-1.2.12压缩包解析与技术要点
- 微信小程序滑动选项卡源码模版发布
- Unity虚拟人物唇同步插件Oculus Lipsync介绍
- Nginx 1.18.0版本WinSW自动安装与管理指南
- Java Swing和JDBC实现的ATM系统源码解析
- 掌握Spark Streaming与Maven集成的分布式大数据处理
- 深入学习推荐系统：教程、案例与项目实践
- Web开发者必备的取色工具软件介绍
- C语言实现李春葆数据结构实验程序
- 超市管理系统开发：asp+SQL Server 2005实战
- Redis伪集群搭建教程与实践
- 掌握网络活动细节：Wireshark v3.6.3网络嗅探工具详解
- 全面掌握美赛：建模、分析与编程实现教程
- Java图书馆系统完整项目源码及SQL文件解析
- PCtoLCD2002软件：高效图片和字符取模转换
- Java开发的体育赛事在线购票系统源码分析
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
