没有合适的资源?快使用搜索试试~ 我知道了~
首页频率增强的语义相似度计算算法
"一种频率增强的语句语义相似度计算* (2013年) - 湖南大学学报(自然科学版), Vol. 40, No. 2, Feb·2013" 这篇论文主要探讨了如何改进基于HowNet的语句语义相似度计算方法,以提高其准确性和合理性。HowNet是一个广泛使用的汉语词汇知识库,包含了丰富的词义和词义关系。在传统的基于HowNet的语义相似度计算中,往往忽视了语句中不同词语对于整体相似度贡献程度的差异,这可能导致计算结果不尽如人意。 针对这一问题,论文提出了一种频率增强的语句语义相似度计算算法。算法的核心思想是结合词语的语义信息(义原距离和义原深度)以及它们在语料库中的出现频率。义原距离衡量的是两个词语在HowNet中的义原之间的距离,而义原深度则反映了词语在义原树状结构中的位置,这两个因素共同影响了词语的相似度。 在原有的计算基础上,论文引入了词语频率作为权重,以调整高频率词语的影响。这是因为高频率的词语在各种语境下都可能出现,其通用性较强,可能并不足以反映特定语境下的语义关联。通过将词语的频率函数作为权重引入,可以有效地降低这些词语在相似度计算中的权重,从而使得计算结果更能体现语句之间的具体语义关联,更符合人类的主观判断。 实验结果显示,改进后的算法在计算语句相似度时,与人类的主观评价更为一致,表明了算法的有效性和实用性。这种频率增强的计算方法为自然语言处理和信息检索领域的语义分析提供了新的思路,有助于提升相关应用的性能。 关键词涉及:HowNet、义原树状结构、语料库、语义相似度。此研究对于理解和改进基于词典和语料库的语义理解算法具有重要的理论价值和实际意义。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/19714181/bg1.jpg)
第 卷 第 期
年 月
湖 南 大 学 学 报 自 然 科 学 版
Journal of Hunan UniversityNatural Sciences
Vol No
Feb @
文章编号
一 种 频 率 增 强 的 语 句 语 义 相 似 度 计 算
廖志芳
邱丽霞
谢岳山
樊晓平
中南大学 软件学院 湖南 长沙 中南大学 信息科学与工程学院 湖南 长沙
湖南财政经济学院 湖南 长沙
摘 要 目前 在基于 HowNet 进行语句语义相似度计算的算法中 没有考虑语句中的
不同词语对语句之间相似度值的不同贡献程度 以致计算结果不理想 为了更好地解决上述
缺陷 提出了一种频率增强语句语义相似度算法 该算法利用 HowNet 作为词典库 在同时
考虑义原距离和义原深度的条件下 进行词语相似度计算 在此基础上算法进一步将词语在
语料库中的频率函数作为权重值 引入至语句的语义相似度计算中 以降低高频率词语在语
句相似度值中的比重 实验表明 改进的算法在语句相似度计算结果上与人们的主观判断更
接近 结果更合理
关键词 How Net 义原树状结构 语料库 语义相似度
中图分类号 TP 文献标识码 A
A Frequency Enhanced Algorithm of Sentence Semantic Similarity
LIAO Zhifang
QIU Lixia
XIE Yueshan
FAN Xiao
p
ing
School of Software Central South Univ Changsha Hunan China
School of Information Science and Engineering Central South Univ Changsha Hunan China
Hunan College of Finance and Economics Changsha Hunan China
Abstract Sentence semantic similarity algorithms based on HowNet ignored the fact that different
words have different contribution weight to sentence similarity value and therefore the similarity result is
not quite reasonable In order to solve this problem we proposed an improved algorithm based on word
frequency The algorithm calculates the similarity between words based on How Net both considering the
distance and the height of primitives Then a frequency function of words in corpus as a weight factor is
embedded into the sentence semantic similarity algorithm which reduces the proportion value that the high
frequency words devote to sentence similarity calculation The sentence semantic similarity experiment re
sults show that the improved algorithm is much better in rationality as well as in matching with peoples
subjective judgment
Key words HowNet
p
rimitive tree structure corpus semantic similarity
文本相似度
是表示两个或多个文本之间匹
配程度的一个度量参数 相似度越大 说明对比的内
容相似程度越高 反之越低 文本相似度计算广泛应
用于文本挖掘 Web 信息搜索和机器翻译等 是自
收稿日期
基金项目 国家科技支撑项目BAHB 湖 南 省 自 然 科 学 基 金 资 助 项 目 JJ 湖南 省 科 技 计 划 项 目 KG
FJ
作者简介 廖志芳 女 湖南长沙人 中南大学副教授 博士
通讯联系人 Email bysj com
下载后可阅读完整内容,剩余6页未读,立即下载
![application/pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
weixin_38643127
- 粉丝: 8
- 资源: 921
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- Hadoop生态系统与MapReduce详解
- MDS系列三相整流桥模块技术规格与特性
- MFC编程:指针与句柄获取全面解析
- LM06:多模4G高速数据模块,支持GSM至TD-LTE
- 使用Gradle与Nexus构建私有仓库
- JAVA编程规范指南:命名规则与文件样式
- EMC VNX5500 存储系统日常维护指南
- 大数据驱动的互联网用户体验深度管理策略
- 改进型Booth算法:32位浮点阵列乘法器的高速设计与算法比较
- H3CNE网络认证重点知识整理
- Linux环境下MongoDB的详细安装教程
- 压缩文法的等价变换与多余规则删除
- BRMS入门指南:JBOSS安装与基础操作详解
- Win7环境下Android开发环境配置全攻略
- SHT10 C语言程序与LCD1602显示实例及精度校准
- 反垃圾邮件技术:现状与前景
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)