jupyter去除停用词

以下是在 Jupyter Notebook 中去除停用词的示例代码：

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

# 下载停用词
nltk.download('stopwords')

# 加载英文停用词
stop_words = set(stopwords.words('english'))

# 待处理的文本
text = "This is an example sentence to demonstrate stop word removal."

# 分词
words = word_tokenize(text)

# 去除停用词
filtered_words = [word for word in words if word.lower() not in stop_words]

# 打印结果
print(filtered_words)

输出结果为：

['example', 'sentence', 'demonstrate', 'stop', 'word', 'removal', '.']

其中，首先使用 `nltk` 库下载英文停用词（如果已经下载过则可以省略这一步），然后加载停用词集合。接着使用 `word_tokenize` 函数进行分词，最后使用列表推导式去除停用词。