spark查询mysql 代码

以下是使用Spark SQL查询MySQL的代码：

import org.apache.spark.sql.SparkSession

object SparkMysqlQuery {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("Spark MySQL Query")
      .master("local[*]")
      .getOrCreate()

    val jdbcUsername = "your-username"
    val jdbcPassword = "your-password"
    val jdbcHostname = "your-mysql-hostname"
    val jdbcPort = 3306
    val jdbcDatabase = "your-database-name"
    val jdbcUrl = s"jdbc:mysql://${jdbcHostname}:${jdbcPort}/${jdbcDatabase}"
    val jdbcDriver = "com.mysql.jdbc.Driver"

    val df = spark.read
      .format("jdbc")
      .option("url", jdbcUrl)
      .option("driver", jdbcDriver)
      .option("dbtable", "your-table-name")
      .option("user", jdbcUsername)
      .option("password", jdbcPassword)
      .load()

    df.show()

    spark.stop()
  }
}

在代码中，我们首先创建了一个SparkSession对象。

然后，我们定义了MySQL连接的相关参数：用户名、密码、主机名、端口号、数据库名称和JDBC驱动程序。

接下来，我们使用Spark SQL的JDBC数据源加载数据。我们指定了MySQL连接的URL、JDBC驱动程序、表名称、用户名和密码。

最后，我们使用show()方法显示加载的数据，然后停止SparkSession。

在运行代码之前，请确保在您的项目中包含了MySQL JDBC驱动程序。