pycharm文本分词

在Pycharm中进行文本分词可以使用NLTK库中的word_tokenize()函数。下面是一个示例代码：

import nltk

sentence = 'I like blue'
words = nltk.word_tokenize(sentence)
print(words)

运行以上代码，输出结果为：['I', 'like', 'blue']。

该代码使用了NLTK库中的word_tokenize()函数，将输入的句子进行分词，将句子分割成单个的词语，并将结果存储在一个列表中。在这个例子中，输入的句子是"I like blue"，分词后的结果是['I', 'like', 'blue']。