python 2GB以上csv统计行数
时间: 2023-06-29 13:05:49 浏览: 125
Python:统计文件行数
5星 · 资源好评率100%
可以使用pandas库来读取csv文件,并统计行数。以下是示例代码:
```python
import pandas as pd
# 读取csv文件,使用chunksize参数分块读取
reader = pd.read_csv('your_file.csv', chunksize=1000000)
# 统计行数
row_count = 0
for chunk in reader:
row_count += len(chunk)
print('Total rows: ', row_count)
```
在这个示例中,我们将文件分成了1,000,000行一块进行读取,并且在每一块中统计行数。最后将所有块的行数相加得到总行数。注意,这个方法需要足够的内存来存储数据块。如果内存不足,可以增加chunksize参数的值,或者使用其他分块处理的方法。
阅读全文