python使用pyspark库SparkConf()和SparkContext获取远程数据库的数据，并关闭会话

下面是一个使用 PySpark 库获取远程数据库数据并关闭会话的示例：

from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession

# 创建 SparkConf 对象
conf = SparkConf().setAppName("Remote Data Loading Example")

# 创建 SparkContext 对象
sc = SparkContext(conf=conf)

# 创建 SparkSession 对象
spark = SparkSession.builder.config(conf=conf).getOrCreate()

# 从远程数据库加载数据
jdbc_url = "jdbc:mysql://<ip_address>:<port>/<database>"
table_name = "<table_name>"
user = "<username>"
password = "<password>"
query = "SELECT * FROM {}".format(table_name)

jdbc_df = spark.read.format("jdbc") \
    .option("url", jdbc_url) \
    .option("dbtable", query) \
    .option("user", user) \
    .option("password", password) \
    .load()

# 对数据进行清洗和转换
cleaned_df = jdbc_df.filter(jdbc_df.age > 18).groupBy("gender").count()

# 显示结果
cleaned_df.show()

# 关闭会话
spark.stop()

在这个示例中，我们使用 SparkConf() 和 SparkContext() 创建了 Spark 运行环境，并使用 SparkSession() 创建了一个 Spark 会话。然后，我们使用 PySpark 的 JDBC API 从远程 MySQL 数据库加载数据，并对数据进行清洗和转换。最后，我们显示了结果并关闭了 Spark 会话。