np.array 打乱数据

时间: 2023-09-25 20:16:45 浏览: 180
PDF

python训练数据时打乱训练数据与标签的两种方法小结

要打乱一个NumPy数组的数据,你可以使用`np.random.shuffle()`函数。这个函数会原地修改数组,将其元素随机重新排列。 下面是一个示例: ```python import numpy as np # 创建一个数组 arr = np.array([1, 2, 3, 4, 5]) # 打乱数组的顺序 np.random.shuffle(arr) print(arr) ``` 输出可能是: ``` [3 1 4 5 2] ``` 注意,`np.random.shuffle()`函数只能打乱数组的第一个维度,如果是多维数组,只会打乱每个一维子数组的顺序。如果你想打乱多维数组的所有元素的顺序,可以先使用`np.reshape()`将其转换成一维数组,然后再使用`np.random.shuffle()`进行打乱。
阅读全文

相关推荐

import os import cv2 import numpy as np def load_data(file_dir): all_num = 4000 train_num = int(all_num * 0.75) cats = [] label_cats = [] dogs = [] label_dogs = [] for file in os.listdir(file_dir): file="\\"+file name = file.split(sep='.') if 'cat' in name[0]: cats.append(file_dir + file) label_cats.append(0) else: if 'dog' in name[0]: dogs.append(file_dir + file) label_dogs.append(1) image_list = np.hstack((cats,dogs)) label_list = np.hstack((label_cats, label_dogs)) temp = np.array([image_list, label_list]) # 矩阵转置 temp = temp.transpose() # 打乱顺序 np.random.shuffle(temp) # print(temp) # 取出第一个元素作为 image 第二个元素作为 label image_list = temp[:, 0] label1_train = temp[:train_num, 1] # print(label1_train) # 单出,去掉单字符 label_train = [int(y) for y in label1_train] # print(label_train) label1_test = temp[train_num:, 1] label_test = [int(y) for y in label1_test] data_test=[] data_train = [] for i in range (all_num): if i <train_num: image= image_list[i] image = cv2.imread(image) image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) #将图片转换成RGB格式 image = cv2.resize(image, (28, 28)) image = image.astype('float32') image = np.array(image)/255#归一化[0,1] image=image.reshape(-1,28,28) data_train.append(image) # label_train.append(label_list[i]) else: image = image_list[i] image = cv2.imread(image) image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) image = cv2.resize(image, (28, 28)) image = image.astype('float32') image = np.array(image) / 255 image = image.reshape(-1, 28, 28) data_test.append(image) # label_test.append(label_list[i]) data_train=np.array(data_train) label_train = np.array(label_train) data_test = np.array(data_test) label_test = np.array(label_test) return data_train,label_train,data_test, label_test

# 定义数据集读取器 def load_data(mode='train'): # 数据文件 datafile = './data/data116648/mnist.json.gz' print('loading mnist dataset from {} ......'.format(datafile)) data = json.load(gzip.open(datafile)) train_set, val_set, eval_set = data # 数据集相关参数,图片高度IMG_ROWS, 图片宽度IMG_COLS IMG_ROWS = 28 IMG_COLS = 28 if mode == 'train': imgs = train_set[0] labels = train_set[1] elif mode == 'valid': imgs = val_set[0] labels = val_set[1] elif mode == 'eval': imgs = eval_set[0] labels = eval_set[1] imgs_length = len(imgs) assert len(imgs) == len(labels), \ "length of train_imgs({}) should be the same as train_labels({})".format( len(imgs), len(labels)) index_list = list(range(imgs_length)) # 读入数据时用到的batchsize BATCHSIZE = 100 # 定义数据生成器 def data_generator(): if mode == 'train': random.shuffle(index_list) imgs_list = [] labels_list = [] for i in index_list: img = np.reshape(imgs[i], [1, IMG_ROWS, IMG_COLS]).astype('float32') img_trans=-img #转变颜色 label = np.reshape(labels[i], [1]).astype('int64') label_trans=label imgs_list.append(img) imgs_list.append(img_trans) labels_list.append(label) labels_list.append(label_trans) if len(imgs_list) == BATCHSIZE: yield np.array(imgs_list), np.array(labels_list) imgs_list = [] labels_list = [] # 如果剩余数据的数目小于BATCHSIZE, # 则剩余数据一起构成一个大小为len(imgs_list)的mini-batch if len(imgs_list) > 0: yield np.array(imgs_list), np.array(labels_list) return data_generator

import scipy.io as scio import numpy as np from sklearn.decomposition import PCA from sklearn import svm import matplotlib.pyplot as plt import random from sklearn.datasets import make_blobs test_data = scio.loadmat('D:\\python-text\\AllData.mat') train_data = scio.loadmat('D:\\python-text\\label.mat') print(test_data) print(train_data) data2 = np.concatenate((test_data['B021FFT0'], test_data['IR007FFT0']), axis=0) data3 = train_data['label'] print(data2) print(data3) # print(type(data3)) # print(data4) # print(type(data4)) data2 = data2.tolist() data2 = random.sample(data2, 200) data2 = np.array(data2) data3 = data3.tolist() data3 = random.sample(data3, 200) data3 = np.array(data3) # data4,data3= make_blobs(random_state=6) print(data2) print(data3) # print(type(data3)) # 创建一个高斯内核的支持向量机模型 clf = svm.SVC(kernel='rbf', C=1000) clf.fit(data2,data3.reshape(-1)) pca = PCA(n_components=2) # 加载PCA算法,设置降维后主成分数目为2 pca.fit(data2) # 对样本进行降维 data4 = pca.transform(data2) # 以散点图的形式把数据画出来 plt.scatter(data4[:, 0], data4[:, 1], c=data3,s=30, cmap=plt.cm.Paired) # 建立图像坐标 axis = plt.gca() xlim = axis.get_xlim() ylim = axis.get_ylim() # 生成两个等差数列 xx = np.linspace(xlim[0], xlim[1], 30) yy = np.linspace(ylim[0], ylim[1], 30) # print("xx:", xx) # print("yy:", yy) # 生成一个由xx和yy组成的网格 X, Y = np.meshgrid(xx, yy) # print("X:", X) # print("Y:", Y) # 将网格展平成一个二维数组xy xy = np.vstack([X.ravel(), Y.ravel()]).T Z = clf.decision_function(xy).reshape(X.shape) # 画出分界线 axis.contour(X, Y, Z, colors='k', levels=[-1, 0, 1], alpha=0.5, linestyles=['--', '-', '--']) axis.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=100,linewidth=1, facecolors='none') plt.show()修改一下错误

最新推荐

recommend-type

对python打乱数据集中X,y标签对的方法详解

这里,`np.array()`将`X_batch`和`y_batch`转换为numpy数组,而`[index]`则是使用索引数组访问数组的元素,从而实现对原始数据的顺序打乱。 总结一下,打乱Python数据集中的X、y标签对的步骤如下: 1. 创建一个...
recommend-type

boost-chrono-1.53.0-28.el7.x86_64.rpm.zip

文件放服务器下载,请务必到电脑端资源详情查看然后下载
recommend-type

atlas-devel-3.10.1-12.el7.x86_64.rpm.zip

文件太大放服务器下载,请务必到电脑端资源详情查看然后下载
recommend-type

Angular程序高效加载与展示海量Excel数据技巧

资源摘要信息: "本文将讨论如何在Angular项目中加载和显示Excel海量数据,具体包括使用xlsx.js库读取Excel文件以及采用批量展示方法来处理大量数据。为了更好地理解本文内容,建议参阅关联介绍文章,以获取更多背景信息和详细步骤。" 知识点: 1. Angular框架: Angular是一个由谷歌开发和维护的开源前端框架,它使用TypeScript语言编写,适用于构建动态Web应用。在处理复杂单页面应用(SPA)时,Angular通过其依赖注入、组件和服务的概念提供了一种模块化的方式来组织代码。 2. Excel文件处理: 在Web应用中处理Excel文件通常需要借助第三方库来实现,比如本文提到的xlsx.js库。xlsx.js是一个纯JavaScript编写的库,能够读取和写入Excel文件(包括.xlsx和.xls格式),非常适合在前端应用中处理Excel数据。 3. xlsx.core.min.js: 这是xlsx.js库的一个缩小版本,主要用于生产环境。它包含了读取Excel文件核心功能,适合在对性能和文件大小有要求的项目中使用。通过使用这个库,开发者可以在客户端对Excel文件进行解析并以数据格式暴露给Angular应用。 4. 海量数据展示: 当处理成千上万条数据记录时,传统的方式可能会导致性能问题,比如页面卡顿或加载缓慢。因此,需要采用特定的技术来优化数据展示,例如虚拟滚动(virtual scrolling),分页(pagination)或懒加载(lazy loading)等。 5. 批量展示方法: 为了高效显示海量数据,本文提到的批量展示方法可能涉及将数据分组或分批次加载到视图中。这样可以减少一次性渲染的数据量,从而提升应用的响应速度和用户体验。在Angular中,可以利用指令(directives)和管道(pipes)来实现数据的分批处理和显示。 6. 关联介绍文章: 提供的文章链接为读者提供了更深入的理解和实操步骤。这可能是关于如何配置xlsx.js在Angular项目中使用、如何读取Excel文件中的数据、如何优化和展示这些数据的详细指南。读者应根据该文章所提供的知识和示例代码,来实现上述功能。 7. 文件名称列表: "excel"这一词汇表明,压缩包可能包含一些与Excel文件处理相关的文件或示例代码。这可能包括与xlsx.js集成的Angular组件代码、服务代码或者用于展示数据的模板代码。在实际开发过程中,开发者需要将这些文件或代码片段正确地集成到自己的Angular项目中。 总结而言,本文将指导开发者如何在Angular项目中集成xlsx.js来处理Excel文件的读取,以及如何优化显示大量数据的技术。通过阅读关联介绍文章和实际操作示例代码,开发者可以掌握从后端加载数据、通过xlsx.js解析数据以及在前端高效展示数据的技术要点。这对于开发涉及复杂数据交互的Web应用尤为重要,特别是在需要处理大量数据时。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

【SecureCRT高亮技巧】:20年经验技术大佬的个性化设置指南

![【SecureCRT高亮技巧】:20年经验技术大佬的个性化设置指南](https://www.vandyke.com/images/screenshots/securecrt/scrt_94_windows_session_configuration.png) 参考资源链接:[SecureCRT设置代码关键字高亮教程](https://wenku.csdn.net/doc/6412b5eabe7fbd1778d44db0?spm=1055.2635.3001.10343) # 1. SecureCRT简介与高亮功能概述 SecureCRT是一款广泛应用于IT行业的远程终端仿真程序,支持
recommend-type

如何设计一个基于FPGA的多功能数字钟,实现24小时计时、手动校时和定时闹钟功能?

设计一个基于FPGA的多功能数字钟涉及数字电路设计、时序控制和模块化编程。首先,你需要理解计时器、定时器和计数器的概念以及如何在FPGA平台上实现它们。《大连理工数字钟设计:模24计时器与闹钟功能》这份资料详细介绍了实验报告的撰写过程,包括设计思路和实现方法,对于理解如何构建数字钟的各个部分将有很大帮助。 参考资源链接:[大连理工数字钟设计:模24计时器与闹钟功能](https://wenku.csdn.net/doc/5y7s3r19rz?spm=1055.2569.3001.10343) 在硬件设计方面,你需要准备FPGA开发板、时钟信号源、数码管显示器、手动校时按钮以及定时闹钟按钮等
recommend-type

Argos客户端开发流程及Vue配置指南

资源摘要信息:"argos-client:客户端" 1. Vue项目基础操作 在"argos-client:客户端"项目中,首先需要进行项目设置,通过运行"yarn install"命令来安装项目所需的依赖。"yarn"是一个流行的JavaScript包管理工具,它能够管理项目的依赖关系,并将它们存储在"package.json"文件中。 2. 开发环境下的编译和热重装 在开发阶段,为了实时查看代码更改后的效果,可以使用"yarn serve"命令来编译项目并开启热重装功能。热重装(HMR, Hot Module Replacement)是指在应用运行时,替换、添加或删除模块,而无需完全重新加载页面。 3. 生产环境的编译和最小化 项目开发完成后,需要将项目代码编译并打包成可在生产环境中部署的版本。运行"yarn build"命令可以将源代码编译为最小化的静态文件,这些文件通常包含在"dist/"目录下,可以部署到服务器上。 4. 单元测试和端到端测试 为了确保项目的质量和可靠性,单元测试和端到端测试是必不可少的。"yarn test:unit"用于运行单元测试,这是测试单个组件或函数的测试方法。"yarn test:e2e"用于运行端到端测试,这是模拟用户操作流程,确保应用程序的各个部分能够协同工作。 5. 代码规范与自动化修复 "yarn lint"命令用于代码的检查和风格修复。它通过运行ESLint等代码风格检查工具,帮助开发者遵守预定义的编码规范,从而保持代码风格的一致性。此外,它也能自动修复一些可修复的问题。 6. 自定义配置与Vue框架 由于"argos-client:客户端"项目中提到的Vue标签,可以推断该项目使用了Vue.js框架。Vue是一个用于构建用户界面的渐进式JavaScript框架,它允许开发者通过组件化的方式构建复杂的单页应用程序。在项目的自定义配置中,可能需要根据项目需求进行路由配置、状态管理(如Vuex)、以及与后端API的集成等。 7. 压缩包子文件的使用场景 "argos-client-master"作为压缩包子文件的名称,表明该项目可能还涉及打包发布或模块化开发。在项目开发中,压缩包子文件通常用于快速分发和部署代码,或者是在模块化开发中作为依赖进行引用。使用压缩包子文件可以确保项目的依赖关系清晰,并且方便其他开发者快速安装和使用。 通过上述内容的阐述,我们可以了解到在进行"argos-client:客户端"项目的开发时,需要熟悉的一系列操作,包括项目设置、编译和热重装、生产环境编译、单元测试和端到端测试、代码风格检查和修复,以及与Vue框架相关的各种配置。同时,了解压缩包子文件在项目中的作用,能够帮助开发者高效地管理和部署代码。
recommend-type

"互动学习:行动中的多样性与论文攻读经历"

多样性她- 事实上SCI NCES你的时间表ECOLEDO C Tora SC和NCESPOUR l’Ingén学习互动,互动学习以行动为中心的强化学习学会互动,互动学习,以行动为中心的强化学习计算机科学博士论文于2021年9月28日在Villeneuve d'Asq公开支持马修·瑟林评审团主席法布里斯·勒菲弗尔阿维尼翁大学教授论文指导奥利维尔·皮耶昆谷歌研究教授:智囊团论文联合主任菲利普·普雷教授,大学。里尔/CRISTAL/因里亚报告员奥利维耶·西格德索邦大学报告员卢多维奇·德诺耶教授,Facebook /索邦大学审查员越南圣迈IMT Atlantic高级讲师邀请弗洛里安·斯特鲁布博士,Deepmind对于那些及时看到自己错误的人...3谢谢你首先,我要感谢我的两位博士生导师Olivier和Philippe。奥利维尔,"站在巨人的肩膀上"这句话对你来说完全有意义了。从科学上讲,你知道在这篇论文的(许多)错误中,你是我可以依
recommend-type

【SecureCRT高亮规则深度解析】:让日志输出一目了然的秘诀

![【SecureCRT高亮规则深度解析】:让日志输出一目了然的秘诀](https://www.endace.com/assets/images/learn/packet-capture/Packet-Capture-diagram%203.png) 参考资源链接:[SecureCRT设置代码关键字高亮教程](https://wenku.csdn.net/doc/6412b5eabe7fbd1778d44db0?spm=1055.2635.3001.10343) # 1. SecureCRT高亮规则概述 ## 1.1 高亮规则的入门介绍 SecureCRT是一款流行的终端仿真程序,常被用来