python分块读取csv
时间: 2023-10-09 19:15:56 浏览: 165
Python读取csv文件数据
可以使用Python的pandas库来分块读取CSV文件。下面是一个示例代码:
```python
import pandas as pd
# 设置每个块的大小
chunksize = 1000
# 逐块读取CSV文件
for chunk in pd.read_csv('your_csv_file.csv', chunksize=chunksize):
# 在这里对每个数据块进行处理
# 可以使用chunk变量来访问每个数据块的内容
print(chunk)
```
上述代码将CSV文件分成大小为1000行的数据块进行逐块处理。你可以根据实际情况调整`chunksize`的大小。在每次迭代中,你可以使用`chunk`变量来访问每个数据块的内容,进行相应的处理操作。
阅读全文