java spark3初始化dataset row

要初始化一个 Dataset[Row]，你需要创建一个 SparkSession 对象，然后使用 SparkSession.createDataFrame() 方法将一个 Seq[Row] 转换为 Dataset[Row]。

以下是一个示例代码：

import org.apache.spark.sql.{SparkSession, Row}
import org.apache.spark.sql.types._

val spark = SparkSession.builder()
  .appName("Initialize Dataset[Row]")
  .master("local[*]")
  .getOrCreate()

val schema = StructType(List(
  StructField("name", StringType),
  StructField("age", IntegerType)
))

val data = Seq(
  Row("Alice", 25),
  Row("Bob", 30),
  Row("Charlie", 35)
)

val df = spark.createDataFrame(spark.sparkContext.parallelize(data), schema)

在这个示例中，我们首先定义了一个 schema，它描述了每个 Row 中的字段类型和名称。然后我们创建了一个 Seq[Row]，包含了我们要初始化的数据。最后，我们使用 createDataFrame() 方法将 Seq[Row] 转换为 Dataset[Row]。

注意，我们需要使用 SparkSession.sparkContext.parallelize() 方法将 Seq[Row] 转换为 RDD[Row]，这样才能调用 createDataFrame() 方法。