遍历“C:\Users\84297\Desktop\爬虫\data”路径中的txt文件并进行分词,在“C:\Users\84297\Desktop\爬虫\pp”下生成对应的文本文件
时间: 2023-03-29 14:04:16 浏览: 94
你好,我可以回答这个问题。您可以使用Python中的os和jieba库来实现这个功能。具体步骤如下:
1. 导入os和jieba库
import os
import jieba
2. 遍历文件夹并进行分词
def cut_words(file_path):
with open(file_path, 'r', encoding='utf-8') as f:
content = f.read()
words = jieba.cut(content)
return ' '.join(words)
def traverse_folder(folder_path):
for root, dirs, files in os.walk(folder_path):
for file in files:
if file.endswith('.txt'):
file_path = os.path.join(root, file)
words = cut_words(file_path)
save_path = os.path.join('C:\\Users\\84297\\Desktop\\爬虫\\pp', file.replace('.txt', '_cut.txt'))
with open(save_path, 'w', encoding='utf-8') as f:
f.write(words)
3. 调用函数
traverse_folder('C:\\Users\\84297\\Desktop\\爬虫\\data')
这样就可以遍历“C:\Users\84297\Desktop\爬虫\data”路径中的txt文件并进行分词,在“C:\Users\84297\Desktop\爬虫\pp”下生成对应的文本文件了。
阅读全文