对data路径中的txt文件分别进行分词,并在out文件夹下生成对应的新文本文件的代码如何编写
时间: 2023-03-29 21:04:33 浏览: 153
您好,我可以回答这个问题。对于这个问题,您可以使用Python中的分词库,如jieba等,对data路径中的txt文件进行分词,然后将分词结果写入新的文本文件中。具体的代码实现可以参考以下示例:
```python
import os
import jieba
# 定义输入和输出文件夹路径
data_dir = 'data'
out_dir = 'out'
# 遍历data文件夹中的所有txt文件
for filename in os.listdir(data_dir):
if filename.endswith('.txt'):
# 构造输入和输出文件路径
input_path = os.path.join(data_dir, filename)
output_path = os.path.join(out_dir, filename)
# 打开输入文件并读取内容
with open(input_path, 'r', encoding='utf-8') as f:
content = f.read()
# 对内容进行分词
words = jieba.cut(content)
# 将分词结果写入输出文件
with open(output_path, 'w', encoding='utf-8') as f:
f.write(' '.join(words))
```
以上代码会将data文件夹中的所有txt文件进行分词,并将分词结果写入out文件夹中对应的新文本文件中。
阅读全文