spark操作mysql

你可以使用Apache Spark中的JDBC数据源来读取和写入MySQL数据库。下面是一个简单的示例代码段：

import org.apache.spark.sql.{DataFrame, SparkSession}

val spark = SparkSession.builder
  .appName("Spark MySQL Connector")
  .master("local[*]")
  .getOrCreate()

// 数据库连接信息
val jdbcHostname = "localhost"
val jdbcPort = 3306
val jdbcDatabase = "test"
val jdbcUsername = "root"
val jdbcPassword = "password"

// JDBC连接URL
val jdbcUrl = s"jdbc:mysql://${jdbcHostname}:${jdbcPort}/${jdbcDatabase}"

// 读取MySQL数据
val df: DataFrame = spark.read
  .format("jdbc")
  .option("url", jdbcUrl)
  .option("dbtable", "my_table")
  .option("user", jdbcUsername)
  .option("password", jdbcPassword)
  .load()

// 显示数据
df.show()

// 将数据写入MySQL
df.write
  .format("jdbc")
  .option("url", jdbcUrl)
  .option("dbtable", "my_table")
  .option("user", jdbcUsername)
  .option("password", jdbcPassword)
  .save()

在上面的示例中，我们使用了SparkSession来创建一个Spark应用程序。然后，我们定义了MySQL数据库的连接信息，并使用JDBC连接URL来读取和写入数据。我们使用了DataFrame API来加载数据，并将数据写回到MySQL。你可以根据你的需求更改代码中的数据库连接信息和表名。