python生成的csv文件超过100w行,excel显示不全,怎么生成两个工作簿
时间: 2024-09-28 11:03:44 浏览: 37
如果你在Python中处理CSV文件,并且文件内容超过100万行,Excel可能无法一次性完整显示。为了避免这个问题,你可以将大文件分割成两个或更多的较小的工作簿。以下是使用pandas库的一个简单步骤:
1. 首先,安装pandas库(如果还没安装):
```bash
pip install pandas
```
2. 然后,使用pandas读取大CSV文件并分段保存到新的工作簿中:
```python
import pandas as pd
# 假设你的大文件名为large_file.csv
chunksize = 10 ** 5 # 每次读取10万行
output_files = [] # 存储每个工作簿的文件名
# 使用pandas的read_csv函数,每次迭代读取指定行数,然后保存为一个新的Excel文件
for i in range(0, df.shape[0], chunksize):
chunk_df = df.iloc[i:i + chunksize] # 分割数据框
file_name = f"part_{i}_{i+chunksize-1}.xlsx" # 创建文件名,如part_000000_099999.xlsx
chunk_df.to_excel(file_name, index=False) # 保存到Excel
output_files.append(file_name)
# output_files现在包含所有工作簿的文件路径
```
在这个例子中,`df`是你需要处理的大DataFrame。这个脚本会将数据分为10万行一组,依次创建并保存新的Excel工作簿。
阅读全文