Python 比较文本相似性的方法(difflib,Levenshtein) - CSDN文库

文本相似性

133 浏览量更新于2023-03-16 2 收藏 45KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

Python 比较文本相似性的方法比较文本相似性的方法(difflib,Levenshtein)

今天小编就为大家分享一篇Python 比较文本相似性的方法(difflib,Levenshtein)，具有很好的参考价值，希望对

大家有所帮助。一起跟随小编过来看看吧

最近工作需要用到序列匹配，检测相似性，不过有点复杂的是输入长度是不固定的，举例为：

input_and_output = [1, 2, '你好', 世界', 12.34, 45.6, -21, '中国', '美丽']

其中，需要从input_and_output 中选取不固定长度的一段作为输入，且顺序不定，然后去与总体进行比较，找出最符合的，开

始是对汉字进行数值化编码，不过后来由于出现汉字越来越多，遂放弃该方法，转向别的方式，查找资料发现了两个python包

广被推荐，从下面来看各有优缺点，记录之~

1、、difflib

import difflib #python 自带库，不需额外安装

In [49]: test1

Out[49]: ['你好', '我是谁']

In [50]: test2

Out[50]: ['你好啊', '我谁']

In [51]: test3

Out[51]: [12, 'nihao']

In [52]: test4

Out[52]: ['你好', 'woshi']

In [53]: difflib.SequenceMatcher(a=test1, b=test2).quick_ratio()

Out[53]: 0.0

In [54]: difflib.SequenceMatcher(a=test1, b=test4).ratio()

Out[54]: 0.5

2、、Levenshtein

#pip install python-Levenshtein

import Levenshtein

In [56]: Levenshtein.distance(','.join(test1), ','.join(test2))

Out[56]: 2

In [57]: Levenshtein.distance(','.join(test1), ','.join(test4))

Out[57]: 5

简单来说，difflib使用时不一定为字符串，但匹配时只有单个元素完全匹配才计入，

而Levenshtein则需要输入为字符串，匹配时是整体匹配（也可能跟把所有元素集中成一个字符串有关，具体待继续使用再摸

索）

以上这篇Python 比较文本相似性的方法(difflib,Levenshtein)就是小编分享给大家的全部内容了，希望能给大家一个参考，也

希望大家多多支持我们。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

weixin_38710127

粉丝: 5
资源: 921

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈