第1关:RDD转换为DataFrame实现文本文件数据源读取 Spark SQL

可以使用Spark SQL中的`SparkSession`将RDD转换为DataFrame来实现文本文件数据源读取。以下是一个例子：

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.appName("RDD to DataFrame").getOrCreate()

# 读取文本文件到RDD
text_rdd = spark.sparkContext.textFile("path/to/textfile.txt")

# 将RDD转换为DataFrame
df = text_rdd.map(lambda x: x.split(",")).toDF(["col1", "col2", "col3"]) # 假设文件中有三列数据，用逗号分隔

# 展示DataFrame的前10行数据
df.show(10)

在上面的代码中，我们首先创建了一个`SparkSession`对象，然后使用`textFile()`方法将文本文件读取到RDD中。接下来，我们使用`map()`方法将每一行数据转换为一个由逗号分隔的字符串数组，并使用`toDF()`方法将RDD转换为DataFrame。最后，我们使用`show()`方法展示DataFrame的前10行数据。