python Dask 合并多个DateFrame
时间: 2023-02-11 11:10:14 浏览: 133
24式加速你的Python(小结)
在 Dask 中,可以使用 `dask.dataframe.concat()` 函数将多个 DataFrame 合并在一起。示例代码如下:
``` python
import dask.dataframe as dd
df1 = dd.read_csv("file1.csv")
df2 = dd.read_csv("file2.csv")
df3 = dd.read_csv("file3.csv")
result = dd.concat([df1, df2, df3])
```
其中,`[df1, df2, df3]` 是将要合并的 DataFrame 的列表。
需要注意的是如果数据集过大,或者数据集较小但你期望获徖的结果数据非常大的话,那么需要设置好 `dask` 的 `npartitions` 参数,来控制并行化的级别,避免内存问题
阅读全文