提升python读取excel数据效率

Python中提升读取Excel数据效率通常可以采用以下策略：

1. 使用pandas库：`pandas`是最常用的处理表格数据的库，它内置了快速且高效的`read_excel`函数。尽量安装`fastparquet`或`pyarrow`扩展，它们能优化读取大型Excel文件的速度。

import pandas as pd
data = pd.read_excel('file.xlsx', engine='fastparquet' or 'pyarrow')

2. 分块读取大文件：如果文件非常大，一次性加载可能会占用大量内存。可以使用`chunksize`参数分块读取，按需处理每个数据块。

chunk_size = 10 ** 6  # 例如每次读取1MB
chunks = []
for chunk in pd.read_excel('big_file.xlsx', chunksize=chunk_size):
    # 对每个数据块进行处理
    chunks.append(chunk)

3. 数据预处理：在读入DataFrame之前，先检查是否需要过滤、转换或合并某些列，这可以减少后续操作的数据量。

4. 内存映射文件：对于特别大的文件，可以考虑使用`openpyxl`或`xlrd`的内存映射功能，避免将整个内容加载到内存中。

from openpyxl import load_workbook
with load_workbook(filename='large_file.xlsx') as wb:
    sheet = wb['Sheet1']
    for row in sheet.iter_rows(values_only=True):
        # 这里直接遍历行，不会把所有数据加载到内存
        process_data(row)