#!/usr/bin/env python # -*- coding:utf-8 -*- from pyspark.sql import SparkSession import matplotlib.pyplot as plt # 指定Mysql的配置 options = { "url": "jdbc:mysql://localhost:3306/test?useSSL=true", "driver": "com.mysql.jdbc.Driver", "dbtable": "(SELECT * from travels_detail where price!='None') t1", "user": "root", "password": "root" } spark = SparkSession.builder.getOrCreate() # 加载Mysql数据 data = spark.read.format("jdbc").options(**options).load() # 对目的地列进行分组，调用聚合函数count获取每个组的个数 df = data.groupby("destination").count().orderBy("count", ascending=False) # 筛选游记中提到的前10个目的地，并将Spark数据帧转为Pandas数据帧 result_pdf = df.select("*").limit(10).toPandas() # 设置matplotlib支持中文 plt.rcParams['font.family'] = ['sans-serif'] plt.rcParams['font.sans-serif'] = ['SimHei'] plt.bar(result_pdf["destination"], result_pdf["count"], width=0.8) plt.legend() plt.show()逐行解释

这段代码是一个Python程序，用于从MySQL数据库中读取旅游详情数据，对目的地进行分组统计，并使用matplotlib库绘制柱状图展示前10个目的地的数量统计结果。

1. `#!/usr/bin/env python`：这是一个Shebang行，用于指定使用哪个解释器来执行脚本。

2. `# -*- coding:utf-8 -*-`：指定Python源文件的编码格式为UTF-8。

3. `from pyspark.sql import SparkSession`：导入SparkSession类，用于创建SparkSession对象。

4. `import matplotlib.pyplot as plt`：导入matplotlib.pyplot库，用于绘制图表。

5. `options = {...}`：定义一个字典类型变量options，保存MySQL数据库的连接配置信息。

6. `spark = SparkSession.builder.getOrCreate()`：创建或获取一个SparkSession对象。

7. `data = spark.read.format("jdbc").options(**options).load()`：使用SparkSession对象从MySQL数据库中读取旅游详情数据。

8. `df = data.groupby("destination").count().orderBy("count", ascending=False)`：对数据按照目的地进行分组统计，并按照出现次数降序排序。

9. `result_pdf = df.select("*").limit(10).toPandas()`：从Spark数据帧中筛选出前10个目的地，转换为Pandas数据帧。

10. `plt.rcParams['font.family'] = ['sans-serif']` 和 `plt.rcParams['font.sans-serif'] = ['SimHei']`：设置matplotlib库支持中文显示。

11. `plt.bar(result_pdf["destination"], result_pdf["count"], width=0.8)`：使用matplotlib库绘制柱状图，其中x轴为目的地，y轴为出现次数。

12. `plt.legend()`：添加图例。

13. `plt.show()`：展示图表。