Spark将RDD转换成DataFrame的两种方式

Spark提供了两种将RDD转换为DataFrame的方式：

1. 通过反射推断schema

可以通过case class或JavaBean来定义一个数据结构，然后通过SparkSession的createDataFrame方法将RDD转换为DataFrame。Spark会自动推断出schema。

示例代码：

case class Person(name: String, age: Int)
val rdd: RDD[Person] = ...
val spark = SparkSession.builder().appName("example").getOrCreate()
import spark.implicits._
val df = rdd.toDF()

2. 通过编程指定schema

可以通过StructType和StructField类来手动指定schema，然后通过SparkSession的createDataFrame方法将RDD转换为DataFrame。

示例代码：

import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType}
val schema = StructType(Seq(
  StructField("name", StringType, true),
  StructField("age", IntegerType, true)
))
val rdd: RDD[(String, Int)] = ...
val spark = SparkSession.builder().appName("example").getOrCreate()
val df = spark.createDataFrame(rdd.map(p => Row(p._1, p._2)), schema)