第2关：NLTK分词函数应用

NLTK (Natural Language Toolkit) 是一个流行的 Python 库，用于处理自然语言文本。在第二关中，如果你正在使用 NLTK 进行分词，通常你会经历以下几个步骤：

1. 安装和导入库：首先需要安装 nltk 和其数据包，可以运行 `pip install nltk`，然后通过 `import nltk` 导入库。

2. 加载分词模块：nltk 提供了多种分词器，如 `word_tokenize()`，它主要用于英文句子的简单分词。

from nltk.tokenize import word_tokenize

3. 分词示例：给定一段英文文本，你可以调用 `word_tokenize()` 函数对文本进行切分成单词列表。

text = "This is a sample sentence for tokenization."
tokens = word_tokenize(text)
print(tokens)

输出会类似这样的结果：`['This', 'is', 'a', 'sample', 'sentence', 'for', 'tokenization', '.']`

4. 预处理：有时候你可能还需要对分词后的结果进行一些预处理，比如移除停用词、标点符号，或者进行词干提取或词形还原等。