python nltk 分词分句

使用nltk库进行分词和分句非常方便。首先需要安装nltk库，然后下载punkt模块，代码如下：

import nltk

nltk.download('punkt')

接着就可以使用word_tokenize()函数进行分词，使用sent_tokenize()函数进行分句，示例代码如下：

from nltk.tokenize import word_tokenize, sent_tokenize

text = "Hello world. How are you today?"
tokens = word_tokenize(text)
sentences = sent_tokenize(text)

print(tokens)
print(sentences)

输出结果为：

['Hello', 'world', '.', 'How', 'are', 'you', 'today', '?']
['Hello world.', 'How are you today?']