all_words = nltk.FreqDist(w.lower() for w in nltk.word_tokenize( "I'm foolish foolish man" )) print (all_words.keys()) all_words.plot()
时间: 2024-04-17 12:24:46 浏览: 115
nltk.download()太慢,可以下载这个nltk-data
这段代码使用NLTK库对给定文本中的单词进行频率分布统计,并绘制频率分布图。
在代码中,首先使用`nltk.word_tokenize()`函数将给定文本分词,得到单词列表。然后使用列表推导式对每个单词进行小写化,并使用`nltk.FreqDist()`函数创建一个频率分布对象`all_words`。最后,通过调用`all_words.keys()`函数,打印出所有不重复的单词。而`all_words.plot()`函数用于绘制频率分布图。
请注意,这段代码需要先安装NLTK库,并且在使用前需要导入NLTK库。如果你未安装NLTK库,可以使用以下命令进行安装:
```
pip install nltk
```
然后,在代码开头添加以下导入语句:
```
import nltk
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
```
这样就可以成功运行该段代码,并得到单词频率分布和频率分布图。
阅读全文