python FMM
时间: 2023-11-09 16:00:33 浏览: 141
python实现中文分词FMM算法实例
FMM是正向最大匹配算法(Forward Maximum Matching)的缩写,是一种中文分词算法。它的基本思路是从前往后扫描待分词的文本,根据词典中所记录的词语长度,将文本分解成若干个词语。
FMM算法的优点在于简单高效,但缺点是无法处理歧义问题,即一个词能同时匹配多种可能的词语组合,因此在实际应用中常常和其他分词算法进行组合使用。
阅读全文
python实现中文分词FMM算法实例