使用spark sql 读写mysql数据库

要使用 Spark SQL 读写 MySQL 数据库，需要先下载并安装 MySQL JDBC 驱动程序。可以从 MySQL 官方网站或 Maven 中央仓库下载。

接下来，启动 Spark Shell 并添加 MySQL JDBC 驱动程序，方法如下：

$ spark-shell --driver-class-path /path/to/mysql-connector-java.jar

在 Spark Shell 中，可以使用以下代码读取 MySQL 数据库中的表：

val url = "jdbc:mysql://localhost:3306/mydatabase"
val table = "mytable"
val user = "myuser"
val password = "mypassword"

val jdbcDF = spark.read.format("jdbc")
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .load()

jdbcDF.show()

这将使用 `jdbc` 数据源读取 `mytable` 表。可以通过 `url`、`dbtable`、`user` 和 `password` 选项指定 MySQL 数据库的连接信息。

要将 Spark DataFrame 写入 MySQL 数据库，可以使用以下代码：

val url = "jdbc:mysql://localhost:3306/mydatabase"
val table = "mytable"
val user = "myuser"
val password = "mypassword"

df.write.format("jdbc")
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .save()

这将使用 `jdbc` 数据源将 `df` DataFrame 写入 `mytable` 表。同样，可以通过 `url`、`dbtable`、`user` 和 `password` 选项指定 MySQL 数据库的连接信息。