遍历txt文件 去除停用词
时间: 2023-08-24 18:03:53 浏览: 100
停词文件.txt
好的,以下是示例代码:
```python
import jieba
# 加载停用词表
stopwords = set()
with open('stopwords.txt', 'r', encoding='utf-8') as f:
for line in f:
stopwords.add(line.strip())
# 读取文本文件并分词
with open('text.txt', 'r', encoding='utf-8') as f:
text = f.read()
words = jieba.lcut(text)
# 去除停用词
new_words = []
for word in words:
if word not in stopwords:
new_words.append(word)
# 将去除停用词后的结果拼接成字符串
new_text = ' '.join(new_words)
# 输出结果
print(new_text)
```
需要注意的是,以上代码仅是一个简单的示例,对于不同的文本和应用场景,还需要根据实际情况进行调整和优化。
阅读全文