pyspark如何读取MySQL数据库中的数据，并作统计分析

要在 PySpark 中读取 MySQL 数据库中的数据并进行统计分析，可以使用 PySpark 的 SQL 模块和 MySQL 的 JDBC 驱动程序。以下是一些步骤：

1. 下载 MySQL 的 JDBC 驱动程序，并将它添加到 PySpark 的 classpath 中，可以使用以下命令：

$ export PYSPARK_SUBMIT_ARGS="--jars /path/to/mysql-connector-java.jar pyspark-shell"

2. 在 PySpark 中创建一个 SparkSession 对象，然后使用该对象将数据从 MySQL 数据库加载到 DataFrame 中，可以使用以下命令：

from pyspark.sql import SparkSession

# 创建 SparkSession 对象
spark = SparkSession.builder.appName("MySQLExample").getOrCreate()

# 将数据从 MySQL 数据库加载到 DataFrame 中
df = spark.read.format("jdbc") \
    .option("url", "jdbc:mysql://localhost/mydatabase") \
    .option("driver", "com.mysql.jdbc.Driver") \
    .option("dbtable", "mytable") \
    .option("user", "myuser") \
    .option("password", "mypassword") \
    .load()

其中，`url` 是 MySQL 数据库的连接字符串，`dbtable` 是要读取的表名，`user` 和 `password` 是登录 MySQL 数据库的用户名和密码。

3. 对 DataFrame 进行统计分析，可以使用 PySpark 的 DataFrame API，例如：

from pyspark.sql.functions import sum, mean

# 统计数据的总和和平均值
sum_df = df.select(sum("column1"), sum("column2"))
mean_df = df.select(mean("column1"), mean("column2"))

其中，`column1` 和 `column2` 是要统计的列名。

4. 最后，可以将结果保存到文件或数据库中，例如：

# 将结果保存到文件中
sum_df.write.format("json").save("output/sum")
mean_df.write.format("json").save("output/mean")

# 将结果保存到数据库中
sum_df.write.format("jdbc") \
    .option("url", "jdbc:mysql://localhost/mydatabase") \
    .option("driver", "com.mysql.jdbc.Driver") \
    .option("dbtable", "result_sum") \
    .option("user", "myuser") \
    .option("password", "mypassword") \
    .mode("overwrite") \
    .save()

mean_df.write.format("jdbc") \
    .option("url", "jdbc:mysql://localhost/mydatabase") \
    .option("driver", "com.mysql.jdbc.Driver") \
    .option("dbtable", "result_mean") \
    .option("user", "myuser") \
    .option("password", "mypassword") \
    .mode("overwrite") \
    .save()

其中，`output/sum` 和 `output/mean` 是保存结果的文件夹路径，`result_sum` 和 `result_mean` 是保存结果的表名。注意，`mode("overwrite")` 表示如果结果表已经存在，就覆盖它。