Python如何读写超大型excel文件
时间: 2023-10-04 21:09:51 浏览: 105
python读写excel文件
处理超大型Excel文件时,可以使用Python的pandas和openpyxl库。
1. 使用pandas读取Excel文件:
```python
import pandas as pd
# 读取Excel文件
df = pd.read_excel('large_excel_file.xlsx', sheet_name='Sheet1')
```
2. 使用openpyxl读取Excel文件:
```python
from openpyxl import load_workbook
# 读取Excel文件
wb = load_workbook('large_excel_file.xlsx')
sheet = wb['Sheet1']
```
在读取Excel文件时,可以使用参数进行优化,例如:
- `usecols`参数:指定读取的列,可以只读取需要的数据,避免读取全部数据造成的内存占用过大。
```python
df = pd.read_excel('large_excel_file.xlsx', sheet_name='Sheet1', usecols='A:C')
```
- `chunksize`参数:分块读取,适用于数据集非常大的情况。
```python
for chunk in pd.read_excel('large_excel_file.xlsx', sheet_name='Sheet1', chunksize=1000):
process(chunk)
```
3. 写入Excel文件也可以使用pandas和openpyxl。
使用pandas写入Excel文件:
```python
df.to_excel('output.xlsx', sheet_name='Sheet1', index=False)
```
使用openpyxl写入Excel文件:
```python
from openpyxl import Workbook
# 创建Workbook对象
wb = Workbook()
# 创建Worksheet对象
ws = wb.active
# 写入数据
ws.cell(row=1, column=1, value='Hello, world!')
# 保存文件
wb.save('output.xlsx')
```
如果需要写入大量数据,建议使用openpyxl,它的写入速度更快。
阅读全文