data_read = pd.read_csv('data/ind.{}.x.csv'.format(dataset_str))

时间: 2024-06-07 11:10:26 浏览: 93
CS

导入csv类型的文件 Dataset

star4星 · 用户满意度95%
这行代码使用 Pandas 库中的 read_csv 函数从文件中读取 CSV 格式的数据,并将其存储在名为 data_read 的 Pandas DataFrame 对象中。其中,'data/ind.{}.x.csv' 中的 {} 是一个占位符,会被 dataset_str 取代。例如,如果 dataset_str 取值为 'train',那么实际读取的文件路径就是 'data/ind.train.x.csv'。
阅读全文

相关推荐

f = open('G:\jiont\比赛数据2022\charging_data79.csv', encoding='utf-8') data = pd.DataFrame(pd.read_csv(f, encoding='utf-8-sig', low_memory=False)) soc = np.array(data['standard_soc']) # 放电深度DoD current = np.array(data['total_current']) current = [ float(x)/10 for x in current ] all_vol = np.array(data['cell_volt_list']) mileage = np.array(data['mileage']) mileage = [ float(x)/10 for x in mileage ] all_sig_data = cycle_sig(all_vol) all_sig_data = clean_data(all_sig_data) def split_chargedata(chargr_data): a_data = [] all_data = [] for index, m in enumerate(mileage): if index + 1 < len(mileage): if m == mileage[index + 1]: a_data.append(chargr_data[index]) else: a_data.append(chargr_data[index]) all_data.append(a_data) a_data = [] else: all_data.append(a_data) return all_data all_charge_data = split_chargedata(all_sig_data) all_charge_current = split_chargedata(current) all_charge_soc = split_chargedata(soc) dod1 = [] for t in all_charge_soc: dod1.append(t[-1]-t[0]) ind = [] for ind1, t in enumerate(dod1): if t<10: ind.append(ind1) all_charge_data = np.delete(all_charge_data, ind, axis=0) all_charge_current = np.delete(all_charge_current, ind, axis=0) all_charge_soc = np.delete(all_charge_soc, ind, axis=0) ind9 = [5, 13, 25, 35, 47, 55, 81, 84, 86, 88, 89, 92, 94, 101, 111, 115, 116, 126, 157, 162, 167, 174, 180, 198, 200, 216, 237, 245, 261] all_charge_data = np.delete(all_charge_data, ind9, axis=0) all_charge_current = np.delete(all_charge_current, ind9, axis=0) all_charge_soc = np.delete(all_charge_soc, ind9, axis=0)

# -*- coding: utf-8 -*- """ Transform the data type from ascii to ubyte format (8 bits unsigned binary) and save to new files, which would reduce the data size to 1/3, and would save the data transforming time when read by the python @author: Marmot """ import numpy as np import time from itertools import islice import pandas as pd # data_folder = '../../data/' set_list = ['train','testA','testB'] size_list = [10000,2000,2000] time1= time.time() for set_name,set_size in zip(set_list,size_list): output_file = data_folder + set_name + '_ubyte.txt' f = open(output_file, "w") f.close() Img_ind = 0 input_file = data_folder + set_name +'.txt' with open(input_file) as f: for content in f: Img_ind = Img_ind +1 print('transforming ' + set_name + ': ' + str(Img_ind).zfill(5)) line = content.split(',') title = line[0] + ' '+line[1] data_write = np.asarray(line[2].strip().split(' ')).astype(np.ubyte) data_write = (data_write + 1).astype(np.ubyte) if data_write.max()>255: print('too large') if data_write.min()<0: print('too small') f = open(output_file, "a") f.write(data_write.tobytes()) f.close() time2 = time.time() print('total elapse time:'+ str(time2- time1)) #%% generate train label list value_list =[] set_name = 'train' input_file = data_folder + set_name +'.txt' with open(input_file) as f: for content in f: line = content.split(',') value_list.append(float(line[1])) value_list = pd.DataFrame(value_list, columns=['value']) value_list.to_csv(data_folder + 'train_label.csv',index = False,header = False)

import os import random import numpy as np import cv2 import keras from create_unet import create_model img_path = 'data_enh/img' mask_path = 'data_enh/mask' # 训练集与测试集的切分 img_files = np.array(os.listdir(img_path)) data_num = len(img_files) train_num = int(data_num * 0.8) train_ind = random.sample(range(data_num), train_num) test_ind = list(set(range(data_num)) - set(train_ind)) train_ind = np.array(train_ind) test_ind = np.array(test_ind) train_img = img_files[train_ind] # 训练的数据 test_img = img_files[test_ind] # 测试的数据 def get_mask_name(img_name): mask = [] for i in img_name: mask_name = i.replace('.jpg', '.png') mask.append(mask_name) return np.array(mask) train_mask = get_mask_name(train_img) test_msak = get_mask_name(test_img) def generator(img, mask, batch_size): num = len(img) while True: IMG = [] MASK = [] for i in range(batch_size): index = np.random.choice(num) img_name = img[index] mask_name = mask[index] img_temp = os.path.join(img_path, img_name) mask_temp = os.path.join(mask_path, mask_name) temp_img = cv2.imread(img_temp) temp_mask = cv2.imread(mask_temp, 0)/255 temp_mask = np.reshape(temp_mask, [256, 256, 1]) IMG.append(temp_img) MASK.append(temp_mask) IMG = np.array(IMG) MASK = np.array(MASK) yield IMG, MASK # train_data = generator(train_img, train_mask, 32) # temp_data = train_data.__next__() # 计算dice系数 def dice_coef(y_true, y_pred): y_true_f = keras.backend.flatten(y_true) y_pred_f = keras.backend.flatten(y_pred) intersection = keras.backend.sum(y_true_f * y_pred_f) area_true = keras.backend.sum(y_true_f * y_true_f) area_pred = keras.backend.sum(y_pred_f * y_pred_f) dice = (2 * intersection + 1)/(area_true + area_pred + 1) return dice # 自定义损失函数,dice_loss def dice_coef_loss(y_true, y_pred): return 1 - dice_coef(y_true, y_pred) # 模型的创建 model = create_model() # 模型的编译 model.compile(optimizer='Adam', loss=dice_coef_loss, metrics=[dice_coef]) # 模型的训练 history = model.fit_generator(generator(train_img, train_mask, 4), steps_per_epoch=100, epochs=10, validation_data=generator(test_img, test_msak, 4), validation_steps=4 ) # 模型的保存 model.save('unet_model.h5') # 模型的读取 model = keras.models.load_model('unet_model.h5', custom_objects={'dice_coef_loss': dice_coef_loss, 'dice_coef': dice_coef}) # 获取测试数据 test_generator = generator(test_img, test_msak, 32) img, mask = test_generator.__next__() # 模型的测试 model.evaluate(img, mask) # [0.11458712816238403, 0.885412871837616] 94%

解释:target = self.survey.source.target collection = self.survey.source.collection '''Mesh''' # Conductivity in S/m (or resistivity in Ohm m) background_conductivity = 1e-6 air_conductivity = 1e-8 # Permeability in H/m background_permeability = mu_0 air_permeability = mu_0 dh = 0.1 # base cell width dom_width = 20.0 # domain width # num. base cells nbc = 2 ** int(np.round(np.log(dom_width / dh) / np.log(2.0))) # Define the base mesh h = [(dh, nbc)] mesh = TreeMesh([h, h, h], x0="CCC") # Mesh refinement near transmitters and receivers mesh = refine_tree_xyz( mesh, collection.receiver_location, octree_levels=[2, 4], method="radial", finalize=False ) # Refine core mesh region xp, yp, zp = np.meshgrid([-1.5, 1.5], [-1.5, 1.5], [-6, -4]) xyz = np.c_[mkvc(xp), mkvc(yp), mkvc(zp)] mesh = refine_tree_xyz(mesh, xyz, octree_levels=[0, 6], method="box", finalize=False) mesh.finalize() '''Maps''' # Find cells that are active in the forward modeling (cells below surface) ind_active = mesh.gridCC[:, 2] < 0 # Define mapping from model to active cells active_sigma_map = maps.InjectActiveCells(mesh, ind_active, air_conductivity) active_mu_map = maps.InjectActiveCells(mesh, ind_active, air_permeability) # Define model. Models in SimPEG are vector arrays N = int(ind_active.sum()) model = np.kron(np.ones((N, 1)), np.c_[background_conductivity, background_permeability]) ind_cylinder = self.getIndicesCylinder( [target.position[0], target.position[1], target.position[2]], target.radius, target.length, [target.pitch, target.roll], mesh.gridCC ) ind_cylinder = ind_cylinder[ind_active] model[ind_cylinder, :] = np.c_[target.conductivity, target.permeability] # Create model vector and wires model = mkvc(model) wire_map = maps.Wires(("sigma", N), ("mu", N)) # Use combo maps to map from model to mesh sigma_map = active_sigma_map * wire_map.sigma mu_map = active_mu_map * wire_map.mu '''Simulation''' simulation = fdem.simulation.Simulation3DMagneticFluxDensity( mesh, survey=self.survey.survey, sigmaMap=sigma_map, muMap=mu_map, Solver=Solver ) '''Predict''' # Compute predicted data for your model. dpred = simulation.dpred(model) dpred = dpred * 1e9 # Data are organized by frequency, transmitter location, then by receiver. # We had nFreq transmitters and each transmitter had 2 receivers (real and # imaginary component). So first we will pick out the real and imaginary # data bx_real = dpred[0: len(dpred): 6] bx_imag = dpred[1: len(dpred): 6] bx_total = np.sqrt(np.square(bx_real) + np.square(bx_imag)) by_real = dpred[2: len(dpred): 6] by_imag = dpred[3: len(dpred): 6] by_total = np.sqrt(np.square(by_real) + np.square(by_imag)) bz_real = dpred[4: len(dpred): 6] bz_imag = dpred[5: len(dpred): 6] bz_total = np.sqrt(np.square(bz_real) + np.square(bz_imag)) mag_data = np.c_[mkvc(bx_total), mkvc(by_total), mkvc(bz_total)] if collection.SNR is not None: mag_data = self.mag_data_add_noise(mag_data, collection.SNR) data = np.c_[collection.receiver_location, mag_data] # data = (data, ) return data

import pyntcloud from scipy.spatial import cKDTree import numpy as np def pass_through(cloud, limit_min=-10, limit_max=10, filter_value_name="z"): """ 直通滤波 :param cloud:输入点云 :param limit_min: 滤波条件的最小值 :param limit_max: 滤波条件的最大值 :param filter_value_name: 滤波字段(x or y or z) :return: 位于[limit_min,limit_max]范围的点云 """ points = np.asarray(cloud.points) if filter_value_name == "x": ind = np.where((points[:, 0] >= limit_min) & (points[:, 0] <= limit_max))[0] x_cloud = pcd.select_by_index(ind) return x_cloud elif filter_value_name == "y": ind = np.where((points[:, 1] >= limit_min) & (points[:, 1] <= limit_max))[0] y_cloud = cloud.select_by_index(ind) return y_cloud elif filter_value_name == "z": ind = np.where((points[:, 2] >= limit_min) & (points[:, 2] <= limit_max))[0] z_cloud = pcd.select_by_index(ind) return z_cloud # -------------------读取点云数据并可视化------------------------ # 读取原始点云数据 cloud_before=pyntcloud.PyntCloud.from_file("./data/pcd/000000.pcd") # 进行点云下采样/滤波操作 # 假设得到了处理后的点云(下采样或滤波后) pcd = o3d.io.read_point_cloud("./data/pcd/000000.pcd") filtered_cloud = pass_through(pcd, limit_min=-10, limit_max=10, filter_value_name="x") # 获得原始点云和处理后的点云的坐标值 points_before = cloud_before.points.values points_after = filtered_cloud.points.values # 使用KD-Tree将两组点云数据匹配对应,求解最近邻距离 kdtree_before = cKDTree(points_before) distances, _ = kdtree_before.query(points_after) # 计算平均距离误差 ade = np.mean(distances) print("滤波前后的点云平均距离误差为:", ade) o3d.visualization.draw_geometries([filtered_cloud], window_name="直通滤波", width=1024, height=768, left=50, top=50, mesh_show_back_face=False) # 创建一个窗口,设置窗口大小为800x600 vis = o3d.visualization.Visualizer() vis.create_window(width=800, height=600) # 设置视角点 ctr = vis.get_view_control() ctr.set_lookat([0, 0, 0]) ctr.set_up([0, 0, 1]) ctr.set_front([1, 0, 0])这段程序有什么问题吗

解释如下代码: for pic_id1 in range(1,N_pic+1): print('matching ' + set_name +': ' +str(pic_id1).zfill(5)) N_CHANGE = 0 for T_id in range(1,16,3): for H_id in range(2,5): FAIL_CORNER = 0 data_mat1 = read_data(input_file,pic_id1,T_id,H_id) search_list = range( max((pic_id1-10),1),pic_id1)+ range(pic_id1+1, min((pic_id1 + 16),N_pic + 1 ) ) for cor_ind in range(0,N_cor): row_cent1 = cor_row_center[cor_ind] col_cent1 = cor_col_center[cor_ind] img_corner = data_mat1[(row_cent1-N_pad): (row_cent1+N_pad+1), (col_cent1-N_pad): (col_cent1+N_pad+1) ] if ((len(np.unique(img_corner))) >2)&(np.sum(img_corner ==1)< 0.8*(N_pad2+1)**2) : for pic_id2 in search_list: data_mat2 = read_data(input_file,pic_id2,T_id,H_id) match_result = cv2_based(data_mat2,img_corner) if len(match_result[0]) ==1: row_cent2 = match_result[0][0]+ N_pad col_cent2 = match_result[1][0]+ N_pad N_LEF = min( row_cent1 , row_cent2) N_TOP = min( col_cent1, col_cent2 ) N_RIG = min( L_img-1-row_cent1 , L_img-1-row_cent2) N_BOT = min( L_img-1-col_cent1 , L_img-1-col_cent2) IMG_CHECK1 = data_mat1[(row_cent1-N_LEF): (row_cent1+N_RIG+1), (col_cent1-N_TOP): (col_cent1+N_BOT+1) ] IMG_CHECK2 = data_mat2[(row_cent2-N_LEF): (row_cent2+N_RIG+1), (col_cent2-N_TOP): (col_cent2+N_BOT+1) ] if np.array_equal(IMG_CHECK1,IMG_CHECK2) : check_row_N = IMG_CHECK1.shape[0] check_col_N = IMG_CHECK1.shape[1] if (check_col_Ncheck_row_N>=25): match_all.append( (pic_id1, row_cent1, col_cent1, pic_id2 , row_cent2, col_cent2) ) search_list.remove(pic_id2) else: FAIL_CORNER = FAIL_CORNER +1 N_CHANGE = N_CHANGE + 1 #%% break if less than 1 useless corners, or have detected more than 10 images from 60 if(FAIL_CORNER <= 1): break match_all_pd = pd.DataFrame(match_all,columns = ['pic_id1','row_id1','col_id1','pic_id2','row_id2','col_id2']) pd_add = pd.DataFrame(np.arange(1,N_pic+1), columns = ['pic_id1']) pd_add['pic_id2'] = pd_add['pic_id1'] pd_add['row_id1'] = 0 pd_add['row_id2'] = 0 pd_add['col_id1'] = 0 pd_add['col_id2'] = 0 match_all_pd = pd.concat([match_all_pd,pd_add]) match_all_pd.index = np.arange(len(match_all_pd))

最新推荐

recommend-type

pandas中read_csv的缺失值处理方式

df = pd.read_csv('train.csv', na_values=['Unknown', 'Not Given']) ``` 这样,Pandas会把'Unknown'和'Not Given'也当作缺失值处理。 3. **keep_default_na参数**:默认情况下,`read_csv`会使用上述的默认...
recommend-type

1基于蓝牙的项目开发--蓝牙温度监测器.docx

1基于蓝牙的项目开发--蓝牙温度监测器.docx
recommend-type

AppDynamics:性能瓶颈识别与优化.docx

AppDynamics:性能瓶颈识别与优化
recommend-type

percona-xtrabackup-2.4.28-1.ky10.x86-64.rpm

xtrabackup银河麒麟v10rpm安装包
recommend-type

Haskell编写的C-Minus编译器针对TM架构实现

资源摘要信息:"cminus-compiler是一个用Haskell语言编写的C-Minus编程语言的编译器项目。C-Minus是一种简化版的C语言,通常作为教学工具使用,帮助学生了解编程语言和编译器的基本原理。该编译器的目标平台是虚构的称为TM的体系结构,尽管它并不对应真实存在的处理器架构,但这样的设计可以专注于编译器的逻辑而不受特定硬件细节的限制。作者提到这个编译器是其编译器课程的作业,并指出代码可以在多个方面进行重构,尽管如此,他对于编译器的完成度表示了自豪。 在编译器项目的文档方面,作者提供了名为doc/report1.pdf的文件,其中可能包含了关于编译器设计和实现的详细描述,以及如何构建和使用该编译器的步骤。'make'命令在简单的使用情况下应该能够完成所有必要的构建工作,这意味着项目已经设置好了Makefile文件来自动化编译过程,简化用户操作。 在Haskell语言方面,该编译器项目作为一个实际应用案例,可以作为学习Haskell语言特别是其在编译器设计中应用的一个很好的起点。Haskell是一种纯函数式编程语言,以其强大的类型系统和惰性求值特性而闻名。这些特性使得Haskell在处理编译器这种需要高度抽象和符号操作的领域中非常有用。" 知识点详细说明: 1. C-Minus语言:C-Minus是C语言的一个简化版本,它去掉了许多C语言中的复杂特性,保留了基本的控制结构、数据类型和语法。通常用于教学目的,以帮助学习者理解和掌握编程语言的基本原理以及编译器如何将高级语言转换为机器代码。 2. 编译器:编译器是将一种编程语言编写的源代码转换为另一种编程语言(通常为机器语言)的软件。编译器通常包括前端(解析源代码并生成中间表示)、优化器(改进中间表示的性能)和后端(将中间表示转换为目标代码)等部分。 3. TM体系结构:在这个上下文中,TM可能是一个虚构的计算机体系结构。它可能被设计来模拟真实处理器的工作原理,但不依赖于任何特定硬件平台的限制,有助于学习者专注于编译器设计本身,而不是特定硬件的技术细节。 4. Haskell编程语言:Haskell是一种高级的纯函数式编程语言,它支持多种编程范式,包括命令式、面向对象和函数式编程。Haskell的强类型系统、模式匹配、惰性求值等特性使得它在处理抽象概念如编译器设计时非常有效。 5. Make工具:Make是一种构建自动化工具,它通过读取Makefile文件来执行编译、链接和清理等任务。Makefile定义了编译项目所需的各种依赖关系和规则,使得项目构建过程更加自动化和高效。 6. 编译器开发:编译器的开发涉及语言学、计算机科学和软件工程的知识。它需要程序员具备对编程语言语法和语义的深入理解,以及对目标平台架构的了解。编译器通常需要进行详细的测试,以确保它能够正确处理各种边缘情况,并生成高效的代码。 通过这个项目,学习者可以接触到编译器从源代码到机器代码的转换过程,学习如何处理词法分析、语法分析、语义分析、中间代码生成、优化和目标代码生成等编译过程的关键步骤。同时,该项目也提供了一个了解Haskell语言在编译器开发中应用的窗口。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

【数据整理秘籍】:R语言与tidyr包的高效数据处理流程

![【数据整理秘籍】:R语言与tidyr包的高效数据处理流程](https://www.lecepe.fr/upload/fiches-formations/visuel-formation-246.jpg) # 1. 数据整理的重要性与R语言介绍 数据整理是数据科学领域的核心环节之一,对于后续的数据分析、模型构建以及决策制定起到至关重要的作用。高质量的数据整理工作,能够保证数据分析的准确性和可靠性,为数据驱动的业务决策提供坚实的数据基础。 在众多数据分析工具中,R语言因其强大的统计分析能力、丰富的数据处理包以及开放的社区支持而广受欢迎。R语言不仅仅是一种编程语言,它更是一个集数据处理、统
recommend-type

在使用STEP7编程环境为S7-300 PLC进行编程时,如何正确分配I/O接口地址并利用SM信号模板进行编址?

在西门子STEP7编程环境中,对于S7-300系列PLC的I/O接口地址分配及使用SM信号模板的编址是一个基础且至关重要的步骤。正确地进行这一过程可以确保PLC与现场设备之间的正确通信和数据交换。以下是具体的设置步骤和注意事项: 参考资源链接:[PLC STEP7编程环境:菜单栏与工具栏功能详解](https://wenku.csdn.net/doc/3329r82jy0?spm=1055.2569.3001.10343) 1. **启动SIMATIC Manager**:首先,启动STEP7软件,并通过SIMATIC Manager创建或打开一个项目。 2. **硬件配置**:在SIM
recommend-type

水电模拟工具HydroElectric开发使用Matlab

资源摘要信息:"该文件是一个使用MATLAB开发的水电模拟应用程序,旨在帮助用户理解和模拟HydroElectric实验。" 1. 水电模拟的基础知识: 水电模拟是一种利用计算机技术模拟水电站的工作过程和性能的工具。它可以模拟水电站的水力、机械和电气系统,以及这些系统的相互作用和影响。水电模拟可以帮助我们理解水电站的工作原理,预测和优化其性能,以及评估和制定运行策略。 2. MATLAB在水电模拟中的应用: MATLAB是一种高性能的数值计算和可视化软件,广泛应用于工程、科学和数学领域。在水电模拟中,MATLAB可以用于建立模型、模拟、分析和可视化水电站的性能。MATLAB提供了强大的数学函数库和图形工具箱,可以方便地进行复杂的计算和数据可视化。 3. HydroElectric实验的模拟: HydroElectric实验是一种模拟水电站工作的实验,通常包括水轮机、发电机、水道、负荷等部分。在这个实验中,我们可以模拟各种运行条件下的水电站性能,如不同水流量、不同负荷等。 4. MATLAB开发的水电模拟应用程序的使用: 使用MATLAB开发的水电模拟应用程序,用户可以方便地设置模拟参数,运行模拟,查看模拟结果。应用程序可能包括用户友好的界面,用户可以通过界面输入各种参数,如水流量、负荷等。然后,应用程序将根据输入的参数,进行计算,模拟水电站的工作过程和性能,最后将结果以图表或数据的形式展示给用户。 5. MATLAB的高级功能在水电模拟中的应用: MATLAB提供了丰富的高级功能,如优化工具箱、神经网络工具箱、符号计算等,这些功能可以进一步提高水电模拟的效果。例如,使用优化工具箱,我们可以找到最佳的工作参数,使水电站的性能最优化。使用神经网络工具箱,我们可以建立更复杂的模型,更准确地模拟水电站的工作过程。使用符号计算,我们可以处理更复杂的数学问题,如求解非线性方程。 6. 水电模拟的未来发展方向: 随着计算机技术的不断发展,水电模拟的应用前景广阔。未来,水电模拟可能会更加注重模型的精确度和复杂度,更多地运用人工智能、大数据等先进技术,以提高模拟的效率和准确性。此外,水电模拟也可能更多地应用于其他领域,如能源管理、环境影响评估等。
recommend-type

"互动学习:行动中的多样性与论文攻读经历"

多样性她- 事实上SCI NCES你的时间表ECOLEDO C Tora SC和NCESPOUR l’Ingén学习互动,互动学习以行动为中心的强化学习学会互动,互动学习,以行动为中心的强化学习计算机科学博士论文于2021年9月28日在Villeneuve d'Asq公开支持马修·瑟林评审团主席法布里斯·勒菲弗尔阿维尼翁大学教授论文指导奥利维尔·皮耶昆谷歌研究教授:智囊团论文联合主任菲利普·普雷教授,大学。里尔/CRISTAL/因里亚报告员奥利维耶·西格德索邦大学报告员卢多维奇·德诺耶教授,Facebook /索邦大学审查员越南圣迈IMT Atlantic高级讲师邀请弗洛里安·斯特鲁布博士,Deepmind对于那些及时看到自己错误的人...3谢谢你首先,我要感谢我的两位博士生导师Olivier和Philippe。奥利维尔,"站在巨人的肩膀上"这句话对你来说完全有意义了。从科学上讲,你知道在这篇论文的(许多)错误中,你是我可以依