如何把图片数据集文件夹和excel标签按照7:3划分为训练集和测试集

时间: 2024-02-03 08:04:01 浏览: 101
您可以使用Python中的库来帮助您完成这个任务。具体步骤如下: 1. 导入必要的库 ```python import os import random import shutil import pandas as pd ``` 2. 定义文件夹路径和excel文件路径 ```python data_dir = "/path/to/data/folder/" excel_path = "/path/to/excel/file.xlsx" ``` 3. 读取excel文件并随机划分为训练集和测试集 ```python df = pd.read_excel(excel_path) train_df = pd.DataFrame(columns=df.columns) test_df = pd.DataFrame(columns=df.columns) for label in df["label"].unique(): label_df = df[df["label"]==label] label_train_df = label_df.sample(frac=0.7, random_state=42) label_test_df = label_df.drop(label_train_df.index) train_df = train_df.append(label_train_df) test_df = test_df.append(label_test_df) ``` 4. 创建训练集和测试集文件夹 ```python train_dir = os.path.join(data_dir, "train") test_dir = os.path.join(data_dir, "test") os.mkdir(train_dir) os.mkdir(test_dir) ``` 5. 复制图片到对应的文件夹 ```python for index, row in train_df.iterrows(): img_path = os.path.join(data_dir, row["filename"]) label_dir = os.path.join(train_dir, row["label"]) os.makedirs(label_dir, exist_ok=True) shutil.copy(img_path, label_dir) for index, row in test_df.iterrows(): img_path = os.path.join(data_dir, row["filename"]) label_dir = os.path.join(test_dir, row["label"]) os.makedirs(label_dir, exist_ok=True) shutil.copy(img_path, label_dir) ``` 注意:以上代码仅为示例,需要根据实际情况进行修改。
阅读全文

相关推荐

请问这行代码中的训练集和测试集怎么查看,# 阶段三 数据分析 df = pd.read_excel(file_name) data___=pd.read_excel(file_name)#取了一个应该不会重复的名字 data__ = data___.loc[:, ['经验要求', '文凭要求', '薪资待遇_平均月薪']]#把这里改成df # 对于分类变量,使用LabelEncoder转换 le = LabelEncoder() # 用了这四个指标预测 data__['经验要求'] = le.fit_transform(data__['经验要求']) data__['文凭要求'] = le.fit_transform(data__['文凭要求']) # data['公司性质'] = le.fit_transform(data['公司性质']) # data['规模'] = le.fit_transform(data['规模']) # 将数据分为特征X和目标y X = data__.drop('薪资待遇_平均月薪', axis=1) y = data__['薪资待遇_平均月薪'] # 将数据分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 训练线性回归模型 reg = LinearRegression().fit(X_train, y_train) # 使用模型进行预测 y_pred = reg.predict(X_test) data___['预测薪资待遇_平均月薪'] = reg.predict(X) # 计算均方误差 mse = mean_squared_error(y_test, y_pred) # 这个改成文件夹路径 data___.to_excel('深圳2023年求职信息预测.xlsx') del df['Unnamed: 0'] del df['公司性质_规模'] print(df.info mape=np.mean(np.abs((y_test - y_pred)/y_test))*100 print("MAPE:",mape) # 展示预测结果 predictions = pd.DataFrame({'经验要求': X['经验要求'], '文凭要求': X['文凭要求'], '薪资待遇_平均月薪': y, '预测薪资待遇_平均月薪': data___['预测薪资待遇_平均月薪']}) print(predictions)

最新推荐

recommend-type

python实现将两个文件夹合并至另一个文件夹(制作数据集)

尽管这部分代码在示例中没有完全给出,但通常会使用`shutil.move()`函数来移动文件,这样可以将原始文件夹中的图片按照预设的比例分配到训练集和测试集中。例如,可以随机选择70%的文件移动到训练集,剩下的30%分配...
recommend-type

使用python将图片按标签分入不同文件夹的方法

总之,通过Python的`pandas`、`os`和`shutil`库,我们可以轻松地实现按标签分类图片的任务,这在机器学习项目中尤为关键,因为它允许我们有效地组织和管理训练数据集。这样的自动化处理可以极大地提高工作效率,减少...
recommend-type

pycharm下python使用yolov3/yolov3-tiny训练好的权重文件.weights进行行人检测,批量测试自定义文件夹下的图片并输出至指定文件夹

在本文中,我们将探讨如何在PyCharm环境下利用Python结合YOLOv3或YOLOv3-tiny模型,使用预先训练好的权重文件进行行人检测,并批量处理自定义文件夹中的图片,将检测结果输出到指定文件夹。这个过程对于目标识别和...
recommend-type

pytorch 语义分割-医学图像-脑肿瘤数据集的载入模块

这样,训练模型时就可以方便地获取每一批次的输入数据和标签。 为了验证数据加载模块是否正确工作,可以在主函数中实例化 `driveDateset` 类并打印或显示一些样本来检查。测试部分的代码会展示原始图像和对应的标注...
recommend-type

keras-siamese用自己的数据集实现详解

例如,如果我们的数据集中包含狗和猫的图片,那么我们可以创建两个文件夹,一个用于狗的图片,另一个用于猫的图片。这样组织数据使得后续处理更加方便。 接下来,我们需要生成一个CSV文件,其中包含了成对的图像...
recommend-type

Fast-BNI:多核CPU上的贝叶斯网络快速精确推理

贝叶斯网络(Bayesian Networks, BNs)是一种强大的图形化机器学习工具,它通过有向无环图(DAG)表达随机变量及其条件依赖关系。精确推理是BNs的核心任务,旨在计算在给定特定证据条件下查询变量的概率。Junction Tree (JT) 是一种常用的精确推理算法,它通过构造一个树状结构来管理和传递变量间的潜在表信息,以求解复杂的概率计算。 然而,精确推理在处理复杂问题时效率低下,尤其是当涉及的大规模团(节点集合)的潜在表较大时,JT的计算复杂性显著增长,成为性能瓶颈。因此,研究者们寻求提高BN精确推理效率的方法,尤其是针对多核CPU的并行优化。 Fast-BNI(快速BN精确推理)方案就是这类努力的一部分,它旨在解决这一挑战。Fast-BNI巧妙地融合了粗粒度和细粒度并行性,以改善性能。粗粒度并行性主要通过区间并行,即同时处理多个团之间的消息传递,但这可能导致负载不平衡,因为不同团的工作量差异显著。为解决这个问题,一些方法尝试了指针跳转技术,虽然能提高效率,但可能带来额外的开销,如重新根化或合并操作。 相比之下,细粒度并行性则关注每个团内部的操作,如潜在表的更新。Fast-BNI继承了这种理念,通过将这些内部计算分解到多个处理器核心上,减少单个团处理任务的延迟。这种方法更倾向于平衡负载,但也需要精心设计以避免过度通信和同步开销。 Fast-BNI的主要贡献在于: 1. **并行集成**:它设计了一种方法,能够有效地整合粗粒度和细粒度并行性,通过优化任务分配和通信机制,提升整体的计算效率。 2. **瓶颈优化**:提出了针对性的技术,针对JT中的瓶颈操作进行改进,如潜在表的更新和消息传递,降低复杂性对性能的影响。 3. **平台兼容**:Fast-BNI的源代码是开源的,可在https://github.com/jjiantong/FastBN 获取,便于学术界和业界的进一步研究和应用。 Fast-BNI的成功不仅在于提高了BN精确推理的性能,还在于它为复杂问题的高效处理提供了一种可扩展和可配置的框架,这对于机器学习特别是概率图模型在实际应用中的广泛使用具有重要意义。未来的研究可能进一步探索如何在GPU或其他硬件平台上进一步优化这些算法,以实现更高的性能和更低的能耗。
recommend-type

2260DN打印机维护大揭秘:3个步骤预防故障,延长打印机寿命

![2260DN打印机维护大揭秘:3个步骤预防故障,延长打印机寿命](https://i.rtings.com/assets/products/jzz13IIX/canon-pixma-g2260/design-medium.jpg) # 摘要 本文全面介绍了2260DN打印机的结构和工作原理,着重探讨了其常见故障类型及其诊断方法,并分享了多个故障案例的分析。文章还详细阐述了打印机的维护保养知识,包括清洁、耗材更换以及软件更新和配置。此外,本文强调了制定预防性维护计划的必要性,提出了优化打印机环境和操作规范的措施,并提倡对用户进行教育和培训以减少错误操作。高级维护技巧和故障应急处理流程的探讨
recommend-type

如何配置NVM(Node Version Manager)来从特定源下载安装包?

要配置NVM(Node Version Manager)从特定源下载安装包,可以按照以下步骤进行: 1. **设置NVM镜像源**: 你可以通过设置环境变量来指定NVM使用的镜像源。例如,使用淘宝的Node.js镜像源。 ```bash export NVM_NODEJS_ORG_MIRROR=https://npm.taobao.org/mirrors/node ``` 将上述命令添加到你的shell配置文件(如`.bashrc`、`.zshrc`等)中,以便每次启动终端时自动生效。 2. **安装Node.js**: 配置好镜像源后,你可以使用N
recommend-type

Pokedex: 探索JS开发的口袋妖怪应用程序

资源摘要信息:"Pokedex是一个基于JavaScript的应用程序,主要功能是收集和展示口袋妖怪的相关信息。该应用程序是用JavaScript语言开发的,是一种运行在浏览器端的动态网页应用程序,可以向用户提供口袋妖怪的各种数据,例如名称、分类、属性等。" 首先,我们需要明确JavaScript的作用。JavaScript是一种高级编程语言,是网页交互的核心,它可以在用户的浏览器中运行,实现各种动态效果。JavaScript的应用非常广泛,包括网页设计、游戏开发、移动应用开发等,它能够处理用户输入,更新网页内容,控制多媒体,动画以及各种数据的交互。 在这个Pokedex的应用中,JavaScript被用来构建一个口袋妖怪信息的数据库和前端界面。这涉及到前端开发的多个方面,包括但不限于: 1. DOM操作:JavaScript可以用来操控文档对象模型(DOM),通过DOM,JavaScript可以读取和修改网页内容。在Pokedex应用中,当用户点击一个口袋妖怪,JavaScript将利用DOM来更新页面,展示该口袋妖怪的详细信息。 2. 事件处理:应用程序需要响应用户的交互,比如点击按钮或链接。JavaScript可以绑定事件处理器来响应这些动作,从而实现更丰富的用户体验。 3. AJAX交互:Pokedex应用程序可能需要与服务器进行异步数据交换,而不重新加载页面。AJAX(Asynchronous JavaScript and XML)是一种在不刷新整个页面的情况下,进行数据交换的技术。JavaScript在这里扮演了发送请求、处理响应以及更新页面内容的角色。 4. JSON数据格式:由于JavaScript有内置的JSON对象,它可以非常方便地处理JSON数据格式。在Pokedex应用中,从服务器获取的数据很可能是JSON格式的口袋妖怪信息,JavaScript可以将其解析为JavaScript对象,并在应用中使用。 5. 动态用户界面:JavaScript可以用来创建动态用户界面,如弹出窗口、下拉菜单、滑动效果等,为用户提供更加丰富的交互体验。 6. 数据存储:JavaScript可以使用Web Storage API(包括localStorage和sessionStorage)在用户的浏览器上存储数据。这样,即使用户关闭浏览器或页面,数据也可以被保留,这对于用户体验来说是非常重要的,尤其是对于一个像Pokedex这样的应用程序,用户可能希望保存他们查询过的口袋妖怪信息。 此外,该应用程序被标记为“JavaScript”,这意味着它可能使用了JavaScript的最新特性或者流行的库和框架,例如React、Vue或Angular。这些现代的JavaScript框架能够使前端开发更加高效、模块化和易于维护。例如,React允许开发者构建可复用的UI组件,Vue则提供了数据驱动和组件化的编程方式,而Angular则是一个全面的前端框架,提供了模板、依赖注入、客户端路由等功能。 在文件名称列表中提到了"Pokedex-main",这很可能是应用程序的主文件或者项目的根目录名称。在这种情况下,主文件可能包含程序的入口点,即整个JavaScript应用程序开始执行的地方,它通常会包含对其他JavaScript文件的引用,以及初始化应用程序的代码。 综上所述,Pokedex作为一个JavaScript应用程序,涉及了前端开发的多个关键技术和概念。通过JavaScript,开发者能够实现一个功能丰富、响应用户交互、动态更新内容的应用程序,为用户提供口袋妖怪的详细信息和互动体验。
recommend-type

HL-2260D打印机快速修复手册:5分钟内解决纸张处理难题

![HL-2260D打印机快速修复手册:5分钟内解决纸张处理难题](https://digitalgadgetwave.com/wp-content/uploads/2023/03/fixing-printer-issues-troubleshooting-lines-on-pri.jpg) # 摘要 本论文旨在为用户提供对HL-2260D打印机全面的技术理解和维护方案。首先,文章对打印机硬件进行了详细分析,并提供了故障定位方法,特别关注了打印机的关键机械部件、打印头和墨盒组件。接着,深入探讨了纸张处理流程以及纸张路径中的关键传感器的作用。此外,论文还介绍了一系列快速故障排除技巧,涵盖纸张卡