pandas分段读取

在Pandas中，分段读取数据通常是指一次性加载大量数据文件时，由于内存限制，我们不希望一次性将整个文件读入内存，而是分批处理。Pandas提供了一种方法来实现这种分块读取数据，这主要通过`read_csv`函数的`chunksize`参数来完成。

`chunksize`参数定义了每次从文件中读取的数据块大小。例如，如果你有一个CSV文件有上千万行，你可以设置`chunksize`为100000（或者你认为合适的行数），这样Pandas就会每次读取10万行数据到内存中进行操作，处理完一块再读取下一块，直到文件读取完毕。

这是如何使用的示例：

import pandas as pd

# 假设你的文件路径是file.csv
chunksize = 100000
chunks = []

for chunk in pd.read_csv('file.csv', chunksize=chunksize):
    # 在这里对每个数据块进行操作，比如数据清洗、分析等
    processed_chunk = ... 
    chunks.append(processed_chunk)

# 将所有处理过的数据块合并成一个完整的DataFrame
all_data = pd.concat(chunks, ignore_index=True)