spark读取MySQL

要在Spark中读取MySQL，您可以使用JDBC连接器。下面是一些步骤：

1. 下载并安装MySQL JDBC驱动程序。

2. 在Spark中创建一个新的Scala或Python应用程序。

3. 在应用程序中导入所需的库：

Scala：

import org.apache.spark.sql.SparkSession
import java.util.Properties

Python：

from pyspark.sql import SparkSession

4. 创建一个Spark会话：

Scala：

val spark = SparkSession.builder().appName("Read from MySQL").master("local[*]").getOrCreate()

Python：

spark = SparkSession.builder.appName("Read from MySQL").getOrCreate()

5. 创建一个JDBC连接器：

Scala：

val jdbcUrl = "jdbc:mysql://<hostname>:<port>/<database>"
val connectionProperties = new Properties()
connectionProperties.put("user", "<username>")
connectionProperties.put("password", "<password>")
val jdbcDF = spark.read.jdbc(jdbcUrl, "<table name>", connectionProperties)

Python：

jdbcUrl = "jdbc:mysql://<hostname>:<port>/<database>"
connectionProperties = {
    "user": "<username>",
    "password": "<password>"
}
jdbcDF = spark.read.jdbc(jdbcUrl, "<table name>", properties=connectionProperties)

6. 对数据进行操作：

Scala：

jdbcDF.show()

Python：

jdbcDF.show()

这将显示从MySQL表中检索的数据。