Python输入一句话,给文字分词,每个词给出近邻词,怎么写代码?
时间: 2023-02-08 08:57:55 浏览: 145
python 分词程序
4星 · 用户满意度95%
首先需要安装 Python 的自然语言处理库 NLTK,然后使用 NLTK 的 word_tokenize 函数对文本进行分词。接着,使用 NLTK 的 Text 函数将分词后的结果转换为一个 Text 对象,这样就可以使用 Text 对象的 collocations() 函数来查找近邻词。
代码示例如下:
```python
import nltk
nltk.download('punkt')
sentence = "这是一句需要分词的话"
# 分词
words = nltk.word_tokenize(sentence)
# 查找近邻词
text = nltk.Text(words)
text.collocations()
```
注意: 这里的分词是默认英文的分词。如果要中文分词,需要安装 jieba 库。
代码示例如下:
```python
import jieba
sentence = "这是一句需要分词的话"
# 分词
words = jieba.lcut(sentence)
# 查找近邻词
text = nltk.Text(words)
text.collocations()
```
阅读全文