pnadas dataframe 转 pyspark dataframe

pandas DataFrame 转换为 PySpark DataFrame 的方法通常有两种，一种是使用 PySpark 自带的 API，另一种是使用第三方库 PyArrow。下面分别介绍这两种方法。

方法1：使用 PySpark API

首先需要将 pandas DataFrame 转换为 PySpark DataFrame，可以使用 `createDataFrame()` 方法。这个方法需要两个参数，第一个参数是 pandas DataFrame，第二个参数是 PySpark DataFrame 的 schema。

示例代码如下：

from pyspark.sql import SparkSession
import pandas as pd

spark = SparkSession.builder.appName("pandas_to_spark").getOrCreate()

# 创建一个 pandas DataFrame
pdf = pd.DataFrame({
    "name": ["Alice", "Bob", "Charlie"],
    "age": [25, 30, 35]
})

# 将 pandas DataFrame 转换为 PySpark DataFrame
sdf = spark.createDataFrame(pdf)

sdf.show()

输出结果如下：

+-------+---+
|   name|age|
+-------+---+
|  Alice| 25|
|    Bob| 30|
|Charlie| 35|
+-------+---+

方法2：使用 PyArrow

首先需要安装 PyArrow 库，可以使用以下命令进行安装：

pip install pyarrow

然后使用 `from_pandas()` 方法将 pandas DataFrame 转换为 PySpark DataFrame。

示例代码如下：

from pyspark.sql import SparkSession
import pandas as pd
import pyarrow

spark = SparkSession.builder.appName("pandas_to_spark").getOrCreate()

# 创建一个 pandas DataFrame
pdf = pd.DataFrame({
    "name": ["Alice", "Bob", "Charlie"],
    "age": [25, 30, 35]
})

# 将 pandas DataFrame 转换为 PySpark DataFrame
sdf = spark.createDataFrame(pyarrow.Table.from_pandas(pdf))

sdf.show()

输出结果与方法1相同。