python随机打乱文件夹内文件并按照3:1:1划分训练集、测试集、验证集分别存入三个文件夹,给出具体代码

时间: 2024-05-14 12:15:42 浏览: 18
以下是可以实现要求的 Python 代码: ```python import os import random import shutil # 设置随机种子 random.seed(42) # 设置文件夹路径和所需比例 data_dir = '/path/to/folder' train_ratio = 0.6 # 训练集占比 val_ratio = 0.2 # 验证集占比 # 获取文件名列表并打乱顺序 file_names = os.listdir(data_dir) random.shuffle(file_names) # 划分数据集并复制到对应的文件夹 num_train = int(len(file_names) * train_ratio) num_val = int(len(file_names) * val_ratio) train_file_names = file_names[:num_train] val_file_names = file_names[num_train:num_train+num_val] test_file_names = file_names[num_train+num_val:] for file_list, folder_name in [(train_file_names, 'train'), (val_file_names, 'val'), (test_file_names, 'test')]: folder_path = os.path.join(data_dir, folder_name) os.makedirs(folder_path, exist_ok=True) for file_name in file_list: src_path = os.path.join(data_dir, file_name) dst_path = os.path.join(folder_path, file_name) shutil.copyfile(src_path, dst_path) ``` 说明: - 首先设置了随机种子,为了保证每次运行代码得到的数据集都是一样的。 - 然后设置了数据集路径和所需比例,这里按照 3:1:1 的比例进行划分。 - 通过 `os.listdir` 获取文件名列表,并使用 `random.shuffle` 打乱顺序。 - 接着计算训练集、验证集和测试集的文件数目,然后将文件名列表划分为三个列表。 - 最后循环遍历三个列表,将每个文件复制到相应的文件夹中。如果文件夹不存在则创建。使用 `shutil.copyfile` 进行复制,这里没有使用 `os.rename` 是因为在复制文件时会自动新建文件并将数据写入,而 `os.rename` 只是改变了文件名,需要保证目标文件夹已经存在。

相关推荐

最新推荐

recommend-type

python实现将两个文件夹合并至另一个文件夹(制作数据集)

主要介绍了python实现将两个文件夹合并至另一个文件夹(制作数据集),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
recommend-type

Python分割训练集和测试集的方法示例

主要介绍了Python分割训练集和测试集的方法示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
recommend-type

pycharm下python使用yolov3/yolov3-tiny训练好的权重文件.weights进行行人检测,批量测试自定义文件夹下的图片并输出至指定文件夹

python使用yolov3/yolov3-tiny训练好的权重文件.weights进行行人检测,批量测试自定义文件夹下的图片并输出至指定文件夹 目录 python使用yolov3/yolov3-tiny训练好的权重文件.weights进行行人检测,批量测试自定义...
recommend-type

Python实现合并同一个文件夹下所有txt文件的方法示例

主要介绍了Python实现合并同一个文件夹下所有txt文件的方法,涉及Python针对文件的遍历、读取、写入等相关操作技巧,需要的朋友可以参考下
recommend-type

python读取多层嵌套文件夹中的文件实例

今天小编就为大家分享一篇python读取多层嵌套文件夹中的文件实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

MATLAB柱状图在信号处理中的应用:可视化信号特征和频谱分析

![matlab画柱状图](https://img-blog.csdnimg.cn/3f32348f1c9c4481a6f5931993732f97.png) # 1. MATLAB柱状图概述** MATLAB柱状图是一种图形化工具,用于可视化数据中不同类别或组的分布情况。它通过绘制垂直条形来表示每个类别或组中的数据值。柱状图在信号处理中广泛用于可视化信号特征和进行频谱分析。 柱状图的优点在于其简单易懂,能够直观地展示数据分布。在信号处理中,柱状图可以帮助工程师识别信号中的模式、趋势和异常情况,从而为信号分析和处理提供有价值的见解。 # 2. 柱状图在信号处理中的应用 柱状图在信号处理
recommend-type

HSV转为RGB的计算公式

HSV (Hue, Saturation, Value) 和 RGB (Red, Green, Blue) 是两种表示颜色的方式。下面是将 HSV 转换为 RGB 的计算公式: 1. 将 HSV 中的 S 和 V 值除以 100,得到范围在 0~1 之间的值。 2. 计算色相 H 在 RGB 中的值。如果 H 的范围在 0~60 或者 300~360 之间,则 R = V,G = (H/60)×V,B = 0。如果 H 的范围在 60~120 之间,则 R = ((120-H)/60)×V,G = V,B = 0。如果 H 的范围在 120~180 之间,则 R = 0,G = V,B =
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。