python 20GB以上csv统计行数

对于 20GB 以上的 CSV 文件，一次性读取到内存可能会导致内存溢出。因此，建议使用逐行读取的方式统计行数。可以使用 Python 内置的 `csv` 模块和 `gzip` 模块来处理压缩的 CSV 文件，具体代码如下：

import csv
import gzip

# 打开压缩的 CSV 文件
with gzip.open('large_file.csv.gz', 'rt', encoding='utf-8') as f:
    reader = csv.reader(f)
    row_count = 0
    for row in reader:
        row_count += 1

print('行数：', row_count)

如果 CSV 文件没有压缩，可以直接使用以下代码：

import csv

# 打开 CSV 文件
with open('large_file.csv', 'r', encoding='utf-8') as f:
    reader = csv.reader(f)
    row_count = 0
    for row in reader:
        row_count += 1

print('行数：', row_count)

注意，这两种方法都需要逐行读取整个文件，可能需要一些时间来完成。

相关问题

使用python统计csv文件行数

可以使用以下代码来统计csv文件的行数：

import csv

with open('filename.csv', 'r') as file:
    reader = csv.reader(file)
    rows = list(reader)
    print(len(rows))

其中，'filename.csv'是你要统计行数的csv文件名。这段代码会打开文件，读取所有行，并将它们存储在一个列表中。最后，使用len()函数来计算列表的长度，即为csv文件的行数。

python存储csv文件行数过多

如果你的CSV文件行数过多，可能会导致内存不足或者程序运行过慢。为了解决这个问题，你可以使用Python的csv模块和pandas模块来分批次读取和写入CSV文件。

使用csv模块，你可以使用以下代码来读取CSV文件的一部分行：

import csv

with open('file.csv') as f:
    reader = csv.reader(f)
    rows = []
    for i in range(10000):  # 读取前10000行
        rows.append(next(reader))

而使用pandas模块，你可以使用以下代码来读取CSV文件的一部分行：

import pandas as pd

chunksize = 10000 # 每次读取10000行
for chunk in pd.read_csv('file.csv', chunksize=chunksize):
    # 进行处理

对于写入CSV文件，也可以采用类似的方式，将数据分批次写入文件中。