将csv分块读取后怎么合并成一个dataframe

您可以使用 pandas 库中的 concat 函数将分块读取的多个 csv 文件合并成一个 dataframe。具体步骤如下：

1. 使用 pandas 的 read_csv 函数读取每个 csv 文件，并将它们存储在一个列表中。

2. 使用 pandas 的 concat 函数将列表中的所有 dataframe 合并成一个 dataframe。

3. 如果需要，可以使用 pandas 的 drop_duplicates 函数去除重复行。

以下是示例代码：

import pandas as pd

# 读取多个 csv 文件
chunks = []
for chunk in pd.read_csv('file.csv', chunksize=1000):
    chunks.append(chunk)

# 合并成一个 dataframe
df = pd.concat(chunks)

# 去除重复行
df.drop_duplicates(inplace=True)

请注意，上述代码仅适用于 csv 文件较大，需要分块读取的情况。如果您的 csv 文件较小，可以直接使用 pandas 的 read_csv 函数读取整个文件。