python批量处理文件并将其文件名分为训练集和测试集保存到txt文件中
时间: 2023-11-28 20:50:23 浏览: 87
可以使用Python中的os模块和random模块来实现批量处理文件并将其文件名分为训练集和测试集保存到txt文件中。以下是一个示例代码:
```python
import os
import random
# 设置文件路径和保存文件名
data_dir = 'path/to/data'
train_file = 'train.txt'
test_file = 'test.txt'
# 设置训练集和测试集比例
train_ratio = 0.8
test_ratio = 0.2
# 获取所有文件名
files = os.listdir(data_dir)
# 打乱文件顺序
random.shuffle(files)
# 计算训练集和测试集数量
train_num = int(len(files) * train_ratio)
test_num = len(files) - train_num
# 分割文件名
train_files = files[:train_num]
test_files = files[train_num:]
# 保存文件名到txt文件中
with open(train_file, 'w') as f:
for file in train_files:
f.write(file + '\n')
with open(test_file, 'w') as f:
for file in test_files:
f.write(file + '\n')
```
这段代码首先设置数据目录、保存文件名和训练集测试集比例,然后获取所有文件名并打乱文件顺序。接着计算训练集和测试集数量,分割文件名并保存到txt文件中。最终得到的train.txt和test.txt文件中包含了训练集和测试集的文件名,可以在训练和测试模型时使用。
阅读全文