python 读取超大csv 内存不够

当读取超大的CSV文件时，内存可能会不够用，可以考虑使用以下方法：

1. 使用pandas库的chunksize参数，按块读取数据并逐块处理。例如：

import pandas as pd

chunksize = 1000000  # 每次读取100万条数据
for chunk in pd.read_csv('large_file.csv', chunksize=chunksize):
    # 对每个chunk进行处理

2. 使用csv模块的迭代器，逐行读取处理。例如：

import csv

with open('large_file.csv', 'r') as f:
    reader = csv.reader(f)
    for row in reader:
        # 对每一行进行处理

3. 使用Dask库，它可以在集群上分布式地处理大数据集。例如：

import dask.dataframe as dd

df = dd.read_csv('large_file.csv')
# 对整个数据集进行处理

以上方法都可以避免将整个数据集都加载到内存中，从而减少内存使用。