python 2GB以上csv统计行数

可以使用pandas库来读取csv文件，并统计行数。以下是示例代码：

import pandas as pd

# 读取csv文件，使用chunksize参数分块读取
reader = pd.read_csv('your_file.csv', chunksize=1000000)

# 统计行数
row_count = 0
for chunk in reader:
    row_count += len(chunk)

print('Total rows: ', row_count)

在这个示例中，我们将文件分成了1,000,000行一块进行读取，并且在每一块中统计行数。最后将所有块的行数相加得到总行数。注意，这个方法需要足够的内存来存储数据块。如果内存不足，可以增加chunksize参数的值，或者使用其他分块处理的方法。

相关问题

python 20GB以上csv统计行数

对于 20GB 以上的 CSV 文件，一次性读取到内存可能会导致内存溢出。因此，建议使用逐行读取的方式统计行数。可以使用 Python 内置的 `csv` 模块和 `gzip` 模块来处理压缩的 CSV 文件，具体代码如下：

import csv
import gzip

# 打开压缩的 CSV 文件
with gzip.open('large_file.csv.gz', 'rt', encoding='utf-8') as f:
    reader = csv.reader(f)
    row_count = 0
    for row in reader:
        row_count += 1

print('行数：', row_count)

如果 CSV 文件没有压缩，可以直接使用以下代码：

import csv

# 打开 CSV 文件
with open('large_file.csv', 'r', encoding='utf-8') as f:
    reader = csv.reader(f)
    row_count = 0
    for row in reader:
        row_count += 1

print('行数：', row_count)

注意，这两种方法都需要逐行读取整个文件，可能需要一些时间来完成。