import nltk sent = "I am almost dead this time" token = nltk.word_tokenize(sent)
时间: 2024-04-21 14:22:40 浏览: 124
nltk-3.4.5.zip
这段代码导入了NLTK库,并使用`nltk.word_tokenize()`函数将给定的句子进行分词。
在代码中,首先导入NLTK库,然后定义一个字符串变量`sent`,其中包含一个句子。接下来,调用`nltk.word_tokenize(sent)`函数,将句子作为参数传递给该函数。该函数会将句子分词,并返回一个包含分词结果的列表。
运行该段代码,你将得到以下输出:
```
['I', 'am', 'almost', 'dead', 'this', 'time']
```
每个单词都被拆分成了一个独立的字符串,并存储在名为`token`的列表中。
阅读全文