如何将pandas.dataframe追加到dask.dataframe中
时间: 2023-11-18 12:21:05 浏览: 216
dask-scaling-dataframe:Python和Dask
要将 Pandas DataFrame 追加到 Dask DataFrame 中,可以使用 Dask DataFrame 的 `append()` 方法。具体操作步骤如下:
1. 将 Pandas DataFrame 转换为 Dask DataFrame,可以使用 `dask.dataframe.from_pandas()` 方法。
```
import dask.dataframe as dd
import pandas as pd
# 创建 Pandas DataFrame
df_pandas = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})
# 将 Pandas DataFrame 转换为 Dask DataFrame
df_dask = dd.from_pandas(df_pandas, npartitions=2)
```
2. 创建一个新的 Pandas DataFrame,并将其追加到 Dask DataFrame 中。
```
# 创建一个新的 Pandas DataFrame
df_new = pd.DataFrame({'A': [4, 5, 6], 'B': [7, 8, 9]})
# 将新的 Pandas DataFrame 追加到 Dask DataFrame 中
df_dask = df_dask.append(dd.from_pandas(df_new, npartitions=2))
```
在这个例子中,我们创建了一个新的 Pandas DataFrame `df_new`,它包含了两个新的行。然后,我们使用 `dd.from_pandas()` 将它转换为 Dask DataFrame,并使用 `append()` 方法将其追加到之前的 Dask DataFrame 中。
需要注意的是,`append()` 方法会返回一个新的 Dask DataFrame,因此需要将其赋值给原来的变量名。另外,为了避免分区数发生变化,我们在创建新的 Dask DataFrame 时指定了相同的 `npartitions` 参数。
阅读全文