dataframe转换成dataset

要将 DataFrame 转换为 Dataset，需要使用 SparkSession。首先，需要将 DataFrame 转换为 RDD，然后使用 `map` 函数将每行数据转换为 case class 对象，最后使用 `toDS()` 方法将 RDD 转换为 Dataset。

以下是一个示例代码：

import org.apache.spark.sql.{Dataset, SparkSession}

case class Person(name: String, age: Int)

val spark = SparkSession.builder().appName("DataFrame to Dataset").master("local[*]").getOrCreate()

val df = spark.read.json("path/to/file.json")

val rdd = df.rdd

val peopleDS: Dataset[Person] = rdd.map(row => Person(row.getAs[String]("name"), row.getAs[Int]("age"))).toDS()

peopleDS.show()

在这个例子中，我们首先读取了一个 JSON 文件并将其转换为 DataFrame。然后，我们将 DataFrame 转换为 RDD，并使用 `map` 函数将每行数据转换为 case class 对象。最后，我们使用 `toDS()` 方法将 RDD 转换为 Dataset。