dataFrame使用flatMap算子

dataFrame是一种类似于表格的数据结构，flatMap算子用于对DataFrame中的每个元素进行操作，并返回一个新的DataFrame。

要在DataFrame上使用flatMap算子，你需要先将DataFrame转换为RDD，然后利用RDD的flatMap算子进行操作。下面是一个示例代码：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder().appName("DataFrame flatMap").getOrCreate()

// 创建一个包含字符串的DataFrame
val dataFrame = spark.createDataFrame(Seq(
  ("Hello World"),
  ("How are you")
)).toDF("sentence")

// 将DataFrame转换为RDD
val rdd = dataFrame.rdd

// 使用flatMap对每个句子进行单词拆分，并返回新的DataFrame
val newDataFrame = rdd.flatMap(row => row.getString(0).split(" ")).toDF("word")

// 打印新的DataFrame
newDataFrame.show()

上述代码中，我们首先创建了一个包含字符串的DataFrame。然后，我们将DataFrame转换为RDD，并使用flatMap算子对每个句子进行单词拆分。最后，我们将拆分后的单词转换为新的DataFrame，并打印出来。

注意，flatMap算子返回的是一个RDD，所以我们需要将其再次转换为DataFrame。