pandas数据集分块

以下是使用pandas进行数据集分块的方法：

1.手动指定分块行数进行分块

import pandas as pd

# 读取数据集
df = pd.read_csv('data.csv')

# 指定分块行数
chunk_size = 1000

# 分块读取数据集
chunks = []
for chunk in pd.read_csv('data.csv', chunksize=chunk_size):
    chunks.append(chunk)

# 处理每个数据块
for chunk in chunks:
    # do something with chunk

2.自动计算分块行数进行分块

import pandas as pd

# 读取数据集
df = pd.read_csv('data.csv')

# 计算分块行数
chunk_size = len(df) // num_chunks

# 分块读取数据集
chunks = []
for chunk in pd.read_csv('data.csv', chunksize=chunk_size):
    chunks.append(chunk)

# 处理每个数据块
for chunk in chunks:
    # do something with chunk

注意：pandas并未内置分块函数，因此需要使用上述方法进行数据集分块。