pyspark怎么rdd转换为dataframe
时间: 2023-09-02 18:09:50 浏览: 98
【PySpark教程】Learning-Spark.zip
可以使用SparkSession的createDataFrame方法将RDD转换为DataFrame。示例代码如下:
```python
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.appName("RDD to DataFrame").getOrCreate()
# 创建示例数据
rdd = spark.sparkContext.parallelize([(1, "John"), (2, "Bob"), (3, "Alice")])
# 将RDD转换为DataFrame
df = spark.createDataFrame(rdd, schema=["id", "name"])
# 显示DataFrame
df.show()
```
其中,第一个参数是RDD,第二个参数是DataFrame的schema,可以是一个列表或一个字符串。在这个示例中,我们使用了一个列表来指定DataFrame的两个列,分别是"id"和"name"。
阅读全文