spark如何将csv表中yyyyMMdd类型字段转换成日期类型并存入到新的字段中

在 Spark 中，可以使用 `withColumn` 函数和日期转换函数来将 csv 表中的 yyyyMMdd 类型字段转换成日期类型，并将其存入到新的字段中。

假设我们有一个名为 `data.csv` 的 csv 文件，其中包含了以下数据：

id,name,date
1,Alice,20210901
2,Bob,20210902
3,Charlie,20210903

现在我们想要将 `date` 字段转换成日期类型，并将其存入到名为 `new_date` 的新字段中。可以使用以下代码：

import org.apache.spark.sql.functions.{to_date, col}

val df = spark.read.format("csv")
  .option("header", true)
  .load("data.csv")

val newDf = df.withColumn("new_date", to_date(col("date"), "yyyyMMdd"))

newDf.show()

上述代码首先使用 `read` 函数读取 csv 文件，并将其加载到 DataFrame `df` 中。然后，使用 `withColumn` 函数将 `date` 字段转换成日期类型，并将其存入到名为 `new_date` 的新字段中。在转换函数中，使用 `yyyyMMdd` 格式字符串指定输入日期的格式。最后，使用 `show` 函数显示转换后的 DataFrame `newDf`。

输出结果如下：

+---+-------+--------+----------+
| id|   name|    date|  new_date|
+---+-------+--------+----------+
|  1|  Alice|20210901|2021-09-01|
|  2|    Bob|20210902|2021-09-02|
|  3|Charlie|20210903|2021-09-03|
+---+-------+--------+----------+

可以看到，转换后的 DataFrame `newDf` 中包含了名为 `new_date` 的新字段，其中存储了转换后的日期数据。