通过openpyxl获取excel最大的行数,然后对最大行数分为n块,skip, nrows参数 使用joblib库读取,

时间: 2023-02-11 09:48:14 浏览: 352

使用 openpyxl 库可以通过以下方式获取 Excel 文件中最大的行数:

from openpyxl import load_workbook

# 打开 Excel 文件
wb = load_workbook(filename)

# 获取第一个工作表
ws = wb.active

# 获取最大行数
max_row = ws.max_row

然后可以使用 joblib 库来读取 Excel 文件中的数据。可以使用 skip 参数和 nrows 参数来指定读取的行数。具体用法如下:

from joblib import Parallel, delayed
import pandas as pd

def read_excel_block(skip, nrows):
    df = pd.read_excel(filename, skiprows=skip, nrows=nrows)
    return df

# 将最大行数分为 n 块
n = 10
row_per_block = max_row // n

# 使用 joblib 库并行读取 Excel 文件中的数据
results = Parallel(n_jobs=-1)(delayed(read_excel_block)(i*row_per_block,row_per_block) for i in range(n))

如果最大行数不能被n整除就增加最后一块数量即可

if max_row % n != 0:
    results.append(read_excel_block(n*row_per_block, max_row % n ))

最后,结果是一个列表,列表中每个元素都是一个读取的数据块.

上面的代码中使用了n_jobs=-1来启用所有可用的 CPU 核来并行处理。使用这种方法可以加快读取 Excel 文件中的数据的速度。

向AI提问 loading 发送消息图标

相关推荐

最新推荐

recommend-type

C#利用Openxml读取Excel数据实例

在本文中,我们将深入探讨如何使用OpenXML库来读取Excel数据,特别关注日期和浮点型数据的处理问题。 首先,我们需要理解OpenXML的工作原理。OpenXML是基于XML的文件格式,它将Excel文档分解为多个组件,如工作簿、...
recommend-type

Python openpyxl模块实现excel读写操作

- 若要获取整个工作表的数据,可以使用`ws.iter_rows()`或`ws.iter_cols()`迭代所有行或列,然后将数据存储到列表或元组中。 - **写入数据**: - 修改单元格的值只需设置Cell对象的value属性。例如,`cell.value ...
recommend-type

python3读取excel文件只提取某些行某些列的值方法

Python提供了多个库来处理Excel文件,如pandas、openpyxl、xlrd等。本篇将聚焦于使用xlrd库来实现从Excel文件中提取特定行和列的值。xlrd是一个用于读取Excel文件的Python库,它不支持写入操作,但非常适合进行快速...
recommend-type

python3 循环读取excel文件并写入json操作

此外,补充知识部分提到了如何使用Python与MySQL数据库交互,并使用`openpyxl`库来读取和写入Excel文件。这个功能可能是为了根据模板文件创建新的Excel文件,每次写入数据时都会找到当前Sheet的最大行数,然后从下一...
recommend-type

python读取并定位excel数据坐标系详解

主要使用的库是`xlrd`,这是一个用于读取旧版Microsoft Excel文件的Python库,而`matplotlib.pyplot`和`numpy`则用于数据可视化。 首先,确保已安装`xlrd`库。如果没有,可以通过以下步骤安装: 1. 下载`xlrd`库的...
recommend-type

hiddenite-shops:Minecraft Bukkit商店交易插件

Minecraft 是一款流行的沙盒游戏,允许玩家在虚拟世界中探索、建造和生存。为了增加游戏的可玩性和互动性,开发者们创造了各种插件来扩展游戏的功能。Bukkit 是一个流行的 Minecraft 服务器端插件API,它允许开发人员创建插件来增强服务器的功能。本文将详细介绍一个基于 Bukkit API 的插件——hiddenite-shops,该插件的主要功能是在 Minecraft 游戏中的商店系统中进行商品的买卖。 首先,我们需要了解 Bukkit 是什么。Bukkit 是一款开源的 Minecraft 服务器软件,它允许开发人员利用 Java 编程语言创建插件。这些插件可以修改、增强游戏的玩法或添加新的游戏元素。Bukkit 插件通常托管在各种在线代码托管平台如 GitHub 上,供玩家和服务器运营者下载和安装。 说到 hiddenite-shops 插件,顾名思义,这是一个专注于在 Minecraft 中创建商店系统的插件。通过这个插件,玩家可以创建自己的商店,并在其中摆放出售的商品。同时,玩家也可以在别人的商店中购物。这样的插件极大地丰富了游戏内的交易模式,增加了角色扮演的元素,使游戏体验更加多元化。 在功能方面,hiddenite-shops 插件可能具备以下特点: 1. 商品买卖:玩家可以把自己不需要的物品放置到商店中出售,并且可以设定价格。其他玩家可以购买这些商品,从而促进游戏内的经济流通。 2. 商店管理:每个玩家可以创建属于自己的商店,对其商店进行管理,例如更新商品、调整价格、装饰商店界面等。 3. 货币系统:插件可能包含一个内置的货币系统,允许玩家通过虚拟货币来购买和出售商品。这种货币可能需要玩家通过游戏中的某些行为来获取,比如采矿、钓鱼或完成任务。 4. 权限控制:管理员可以对商店进行监管,设定哪些玩家可以创建商店,或者限制商店的某些功能,以维护游戏服务器的秩序。 5. 交易记录:为了防止诈骗和纠纷,hiddenite-shops 插件可能会记录所有交易的详细信息,包括买卖双方、交易时间和商品详情等。 在技术实现上,hiddenite-shops 插件需要遵循 Bukkit API 的规范,编写相应的 Java 代码来实现上述功能。这涉及到对事件监听器的编程,用于响应游戏内的各种动作和事件。插件的开发人员需要熟悉 Bukkit API、Minecraft 游戏机制以及 Java 编程语言。 在文件名称列表中,提到的 "hiddenite-shops-master" 很可能是插件代码的仓库名称,表示这是一个包含所有相关源代码、文档和资源文件的主版本。"master" 通常指代主分支,是代码的最新且稳定版本。在 GitHub 等代码托管服务上,开发者通常会在 master 分支上维护代码,并将开发中的新特性放在其他分支上,直到足够稳定后再合并到 master。 总的来说,hiddenite-shops 插件是对 Minecraft Bukkit 服务器功能的一个有力补充,它为游戏世界中的经济和角色扮演提供了新的元素,使得玩家之间的交易和互动更加丰富和真实。通过理解和掌握该插件的使用,Minecraft 服务器运营者可以为他们的社区带来更加有趣和复杂的游戏体验。
recommend-type

【SSM框架快速入门】

# 摘要 本文旨在详细介绍SSM(Spring + SpringMVC + MyBatis)框架的基础与高级应用,并通过实战案例分析深入解析其在项目开发中的实际运用。首先,文章对SSM框架进行了概述,随后逐章深入解析了核心组件和高级特性,包括Spring的依赖注入、AOP编程、SpringMVC的工作流程以及MyBatis的数据持久化。接着,文章详细阐述了SSM框架的整合开发基础,项目结构配置,以及开发环境的搭建和调试。在高级应用
recommend-type

项目环境搭建及系统使用说明用例

### Postman 示例 API 项目本地部署教程 对于希望了解如何搭建和使用示例项目的用户来说,可以从以下几个方面入手: #### 环境准备 为了成功完成项目的本地部署,需要按照以下步骤操作。首先,将目标项目 fork 至自己的 GitHub 账户下[^1]。此过程允许开发者拥有独立的代码仓库副本以便于后续修改。 接着,在本地创建一个新的虚拟环境来隔离项目所需的依赖项,并通过 `requirements.txt` 文件安装必要的库文件。具体命令如下所示: ```bash python -m venv my_env source my_env/bin/activate # Linu
recommend-type

Windows Media Encoder 64位双语言版发布

Windows Media Encoder 64位(英文和日文)的知识点涵盖了软件功能、操作界面、编码特性、支持的设备以及API和SDK等方面,以下将对这些内容进行详细解读。 1. 软件功能和应用领域: Windows Media Encoder 64位是一款面向Windows操作系统的媒体编码软件,支持64位系统架构,是Windows Media 9系列中的一部分。该软件的主要功能包括录制和转换视频文件。它能够让用户通过视频捕捉设备或直接从电脑桌面上录制视频,同时提供了丰富的文件格式转换选项。Windows Media Encoder广泛应用于网络现场直播、点播内容的提供以及视频文件的制作。 2. 用户界面和操作向导: 软件提供了一个新的用户界面和向导,旨在使初学者和专业用户都容易上手。通过简化的设置流程和直观的制作指导,用户能够快速设定和制作影片。向导会引导用户选择适当的分辨率、比特率和输出格式等关键参数。 3. 编码特性和技术: Windows Media Encoder 64位引入了新的编码技术,如去隔行(de-interlacing)、逆向电影转换(inverse telecine)和屏幕捕捉,这些技术能够显著提高视频输出的品质。软件支持从最低320x240分辨率60帧每秒(fps)到最高640x480分辨率30fps的视频捕捉。此外,它还能处理最大到30GB大小的文件,这对于长时间视频录制尤其有用。 4. 支持的捕捉设备: Windows Media Encoder 64位支持多种视频捕捉设备,包括但不限于Winnov、ATI、Hauppauge等专业视频捕捉卡,以及USB接口的视频摄像头。这为用户提供了灵活性,可以根据需要选择合适的硬件设备。 5. 高级控制选项和网络集成: Windows Media Encoder SDK是一个重要的组件,它为网站开发者提供了全面的编码控制功能。开发者可以利用它实现从网络(局域网)进行远程控制,或通过API编程接口和ASP(Active Server Pages)进行程序化的控制和管理。这使得Windows Media Encoder能够更好地融入网站和应用程序中,提供了更广阔的使用场景,例如自动化的视频处理流水线。 6. 兼容性和语言版本: 本文件提供的版本是Windows Media Encoder 64位的英文和日文版本。对于需要支持多语言用户界面的场合,这两个版本的软件能够满足不同语言用户的需求。经过测试,这些版本均能正常使用,表明了软件的兼容性和稳定性。 总结来说,Windows Media Encoder 64位(英文和日文)是一款功能强大、易于操作的媒体编码软件。它在操作便捷性、视频编码品质、设备兼容性和程序化控制等方面表现突出,适合用于视频内容的创建、管理和分发。对于需要高质量视频输出和网络集成的用户而言,无论是个人创作者还是专业视频制作团队,该软件都是一种理想的选择。
recommend-type

【IEEE 14总线系统Simulink模型:从零到专家的终极指南】:构建、仿真及故障诊断

# 摘要 本文详细介绍了IEEE 14总线系统的Simulink模型构建、仿真分析以及故障诊断技术。第一章提供了系统概述,为后续章节打下基础。第二章深入探讨了Simulink模型的构建,涵盖了用户界面、工具模块、电路元件、负荷及发电机组建模方法,以及模型的参数化和优化。第三章讲述了如何进行IEEE 14总线系统的仿真以及如
手机看
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回
顶部