spark-sql using jdbc options参数

Apache Spark SQL提供了一个强大的JDBC驱动程序，使得可以从外部数据源（如数据库）读取数据或将Spark DataFrame写回数据库。使用JDBC选项（jdbcOptions）参数，你可以配置连接到特定数据库所需的详细设置，例如URL、用户名、密码、连接池属性等。下面是一些常见的JDBC选项示例：

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder \
    .appName("Spark JDBC Example") \
    .getOrCreate()

# 连接到MySQL数据库
jdbc_url = "jdbc:mysql://localhost:3306/mydatabase"
table_name = "my_table"

# JdbcOptions参数示例
jdbc_options = {
    "url": jdbc_url,
    "dbtable": table_name,
    "user": "username",
    "password": "password",   # 对于敏感信息，可以考虑使用环境变量或安全的方式传递
    "driver": "com.mysql.jdbc.Driver"  # 驱动程序名称，根据实际使用的数据库不同而变化
}

# 从数据库读取数据
df = spark.read.format("jdbc").options(**jdbc_options).load()

# 或者将DataFrame写入数据库
df.write.format("jdbc").options(**jdbc_options).mode("overwrite").save()

# 关闭SparkSession
spark.stop()