n-gram模型实现分词python

n-gram模型是一种统计语言建模技术，在Python中用于文本分析和自然语言处理，尤其是在分词任务中。它将连续的词序列分成固定长度的片段，比如最常见的有 uni-gram(单词)、bi-gram(二元组)、tri-gram(三元组)等。在分词过程中，n-gram模型会计算每个n元组在语料库中的概率，然后利用这些概率来判断词语边界。

在Python中，我们可以使用`sklearn`库中的`CountVectorizer`或自定义函数来实现n-gram模型分词。下面是一个简单的示例：

from sklearn.feature_extraction.text import CountVectorizer

# 假设我们有一段文本数据
texts = ["我喜欢吃苹果", "他也喜欢吃香蕉", "我们都爱吃梨"]

# 创建CountVectorizer对象，指定ngram_range (uni-gram, bi-gram)
vectorizer = CountVectorizer(ngram_range=(1, 2))

# 转换文本成特征矩阵
features = vectorizer.fit_transform(texts)

# 获取词频最高的前n个单词作为分词结果
top_ngrams = vectorizer.get_feature_names_out()[:10]

print(top_ngrams)

在这个例子中，`fit_transform`会生成一个矩阵，其中每一行对应一个文档，每列代表一个n-gram，值表示该n-gram在相应文档中的频率。