spark 行列转换代码

Spark是一个开源的大数据处理框架，它提供了丰富的API和工具，用于处理大规模数据集。在Spark中，行列转换是指将数据从行格式转换为列格式，或者从列格式转换为行格式。下面是一个示例代码，用于实现Spark中的行列转换：

import org.apache.spark.sql.{SparkSession, DataFrame}

// 创建SparkSession
val spark = SparkSession.builder()
  .appName("RowColumnTransformation")
  .master("local")
  .getOrCreate()

// 创建示例数据集
val data = Seq(
  (1, "Alice", 25),
  (2, "Bob", 30),
  (3, "Charlie", 35)
)

// 将数据集转换为DataFrame
val df = spark.createDataFrame(data).toDF("id", "name", "age")

// 行转列
val columnNames = df.columns
val rowToColumnDF = df.selectExpr(s"stack(${columnNames.length}, ${columnNames.mkString(",")}) as (column, value)")
  .groupBy("column")
  .pivot("column")
  .agg(first("value"))

// 列转行
val columnToRowDF = rowToColumnDF.selectExpr(s"stack(${columnNames.length}, ${columnNames.map(c => s"'$c', `$c`").mkString(",")}) as (column, value)")
  .groupBy("column")
  .pivot("column")
  .agg(first("value"))

// 打印结果
println("行转列结果：")
rowToColumnDF.show()

println("列转行结果：")
columnToRowDF.show()

这段代码首先创建了一个SparkSession对象，然后创建了一个示例数据集。接下来，使用`createDataFrame`方法将数据集转换为DataFrame，并指定列名。然后，通过使用`selectExpr`、`groupBy`和`pivot`等方法实现了行转列和列转行的操作。最后，使用`show`方法打印结果。