nltk tokenizer

NLTK（自然语言工具包）是一个流行的Python工具包，用于自然语言处理。其中包含了许多模块和函数，其中就包括用于分词的模块。NLTK中的分词器主要有两种：基于规则的分词器和基于统计的分词器。

其中，最常用的基于规则的分词器是Treebank分词器，它使用一系列规则将文本分成单独的单词和标点符号。在使用Treebank分词器之前，需要先下载相应的数据集：

import nltk
nltk.download('punkt')

然后可以使用Treebank分词器对文本进行分词：

from nltk.tokenize import TreebankWordTokenizer

tokenizer = TreebankWordTokenizer()
text = "This is a sample sentence."
tokens = tokenizer.tokenize(text)
print(tokens)

输出结果为：

['This', 'is', 'a', 'sample', 'sentence', '.']

除了Treebank分词器外，NLTK还提供了其他一些基于规则的分词器，如WhitespaceTokenizer、PunktWordTokenizer等。此外，NLTK还提供了基于统计的分词器，如MaxentTokenizer、TweetTokenizer等。这些分词器的具体使用方法可以查看NLTK官方文档。