pandas分块读取

pandas 提供了分块读取大文件的功能，这种方式可以有效地避免读取大文件时内存不足的问题。

下面是一个分块读取 csv 文件的示例：

import pandas as pd

# 定义每个块的大小
chunk_size = 100000

# 使用 for 循环遍历每个块
for chunk in pd.read_csv('large_file.csv', chunksize=chunk_size):
    # 对每个块进行处理
    # ...

在上面的代码中，我们通过 `pd.read_csv()` 函数指定了每个块的大小为 `chunk_size`，然后使用 for 循环遍历每个块，对每个块进行处理。

在对每个块进行处理时，可以使用 pandas 的常规数据操作方式来处理数据，比如筛选、排序、分组等等。需要注意的是，由于每个块的数据量可能很大，因此在对每个块进行处理时，最好只保留必要的列，以减少内存占用。