dataframe转dataset

DataFrame转换为Dataset可以使用as方法。在给出每一列的类型后，使用as方法将DataFrame转换为Dataset。在使用这种方法时，需要导入隐式转换，即import spark.implicits._。下面是一个示例代码：

import org.apache.spark.sql.SparkSession

object DatasetApp extends App {
  val spark = SparkSession.builder().appName(this.getClass.getSimpleName).master("local[2]").getOrCreate()
  import spark.implicits._

  val path = "f:\\infos.csv"
  val DF = spark.read.option("header","true").option("inferSchema","true").csv(path)
  DF.show()

  val DS = DF.as[Infos]

  DS.select(DS("name")).show()
  DS.map(line => line.name).show()

  case class Infos(id:Int, name:String,age:Int)
}

在这个示例中，首先使用SparkSession读取CSV文件并创建一个DataFrame。然后使用as方法将DataFrame转换为Dataset。最后可以使用Dataset的各种操作，如select和map。