python读取超大csv文件代码怎么写
时间: 2023-10-09 08:10:34 浏览: 72
python读写csv文件并增加行列的实例代码
你可以使用 pandas 库中的 read_csv 方法,加上一些参数来优化读取大文件的速度。例如,使用 chunksize 参数可以让 pandas 每次只读取一块数据,避免内存不足的问题。示例代码如下:
```
import pandas as pd
# 设置参数
chunksize = 1000000 # 每次读取的行数
file_path = 'your_file_path.csv'
# 逐块读取数据并进行处理
for chunk in pd.read_csv(file_path, chunksize=chunksize):
# 处理代码
...
```
希望可以帮到你!
阅读全文