spark读取mysql demo

以下是使用 Spark 读取 MySQL 数据库的示例代码：

from pyspark.sql import SparkSession

# 创建 SparkSession 对象
spark = SparkSession.builder \
    .appName("Read from MySQL") \
    .config("spark.jars", "/path/to/mysql-connector-java.jar") \
    .getOrCreate()

# 定义 MySQL 数据库配置信息
jdbc_url = "jdbc:mysql://localhost:3306/mydatabase"
username = "myusername"
password = "mypassword"
table = "mytable"

# 读取 MySQL 数据库的数据
df = spark.read \
    .format("jdbc") \
    .option("url", jdbc_url) \
    .option("dbtable", table) \
    .option("user", username) \
    .option("password", password) \
    .load()

# 显示数据
df.show()

在运行代码之前，需要先下载 MySQL Connector/J 驱动程序，并将其添加到 Spark 的类路径中。在示例代码中，可以通过 `config` 方法来指定该驱动程序的路径。

此外，还需要在代码中指定 MySQL 数据库的连接信息，包括 JDBC URL、用户名、密码和要读取的表名。在使用 `read` 方法读取数据时，需要指定数据源格式为 JDBC，并通过 `option` 方法传入连接信息。

最后，使用 `show` 方法显示读取到的数据。