pandas分块读取csv文件

在处理大型CSV文件时，由于内存限制，我们需要分块读取文件。Pandas提供了read_csv()方法，它允许从CSV文件中读取数据，并且可以指定每次读取的行数。

下面是一个分块读取CSV文件的示例：

import pandas as pd

chunk_size = 1000  # 每次读取的行数
csv_file = 'data.csv'

# 通过循环逐块读取数据
for chunk in pd.read_csv(csv_file, chunksize=chunk_size):
    # 对每个块进行处理
    # ...

上面的代码将CSV文件分成了大小为1000的块。在循环中，我们逐块读取文件，并对每个块进行处理，例如统计块中的数据、进行数据清洗等。

需要注意的是，每个块都是一个DataFrame对象，因此我们可以使用所有Pandas的DataFrame方法对每个块进行操作。