pd.read_excel 读取大 xlsx

`pd.read_excel()` 是 Pandas 库中的一个函数，用于从 Excel 文件中读取数据到 DataFrame 对象。如果你需要处理大型 Excel 文件（比如包含大量行或列，或者文件本身非常大），可能会遇到性能问题。为了优化读取大文件的情况，你可以考虑以下策略：

1. **分块读取**（chunksize 参数）：Pandas 的 `read_excel` 支持分块读取，可以设置 `chunksize` 参数指定每次读取的数据量，然后遍历每个数据块进行处理，以减少内存消耗。例如：

   chunksize = 100000  # 设置每块大小
   for chunk in pd.read_excel('large_file.xlsx', chunksize=chunksize):
       process(chunk)

2. **使用引擎**：`read_excel` 可以通过 `engine` 参数选择不同的引擎，如 'openpyxl' 或 'xlrd'（默认）。某些引擎可能对大文件有更好的支持。

3. **内存映射**：对于特别大的文件，可以使用 `pandas.read_csv` 配合 `memmap` 功能来实现内存映射读取，虽然这不是 `read_excel` 直接提供的，但可以作为替代方案，特别是当数据是以 CSV 格式存储在 Excel 中的时候。

4. **考虑存储优化**：如果条件允许，考虑将数据转换成其他更适用于大数据的格式，如 Parquet 或 Feather，然后再读取。

5. **关闭连接**：确保在读取完成后关闭文件连接，释放资源。