pd.read_csv()读取数据过大
时间: 2023-11-19 13:52:16 浏览: 154
Python读取csv文件数据
可以尝试使用分块读取的方式,将数据分成多个部分进行读取,然后再进行合并。具体实现可以使用pandas的read_csv函数中的chunksize参数,指定每次读取的行数,例如:
```python
import pandas as pd
chunksize = 1000000 # 每次读取100万行数据
reader = pd.read_csv('data.csv', chunksize=chunksize)
result = pd.DataFrame()
for chunk in reader:
result = pd.concat([result, chunk])
```
这样就可以将数据分块读取并合并了。
阅读全文