spark 合并两个列不同的

可以使用 Spark 的 `concat` 函数将两个不同的列合并成一个新的列。例如，如果有两列分别为 `first_name` 和 `last_name`，可以使用以下代码将它们合并成一个新的列 `full_name`：

import org.apache.spark.sql.functions.concat

val df = spark.read.csv("path/to/csv/file")
val newDf = df.withColumn("full_name", concat($"first_name", lit(" "), $"last_name"))

这将在原始数据框中添加一个新的 `full_name` 列，其中包含 `first_name` 和 `last_name` 的组合。请注意，`$"first_name"` 和 `$"last_name"` 表示 Spark 中的列引用，`lit(" ")` 表示字符串常量，用于在两个名称之间添加一个空格。