根据我的需求返回函数代码(python语言):从指定文件夹批量读入txt文件,使用结巴库分词处理后再批量写入对应的新txt文件中。
时间: 2024-02-22 16:57:52 浏览: 48
python批量读取文件名并写入txt文件中
以下是根据您的需求编写的Python函数代码:
```python
import os
import jieba
def batch_process_files(input_folder, output_folder):
"""
批量处理指定文件夹中的txt文件,使用结巴库分词处理后再写入对应的新txt文件中
Args:
input_folder: str, 指定文件夹路径,该文件夹中应只包含需要处理的txt文件
output_folder: str, 指定输出文件夹路径,用于存储分词后的txt文件
Returns:
None
"""
if not os.path.exists(output_folder):
os.makedirs(output_folder)
for filename in os.listdir(input_folder):
if filename.endswith('.txt'):
with open(os.path.join(input_folder, filename), 'r', encoding='utf-8') as f:
content = f.read()
words = jieba.cut(content)
output_filename = os.path.join(output_folder, filename)
with open(output_filename, 'w', encoding='utf-8') as f:
f.write(' '.join(words))
```
使用方法:
调用 `batch_process_files(input_folder, output_folder)` 函数,其中 `input_folder` 为包含待处理文本的文件夹路径,`output_folder` 为存储分词后文本的文件夹路径。该函数会按照指定的路径批量处理文本,将分词后的结果存储在指定的输出文件夹中。
阅读全文