使用+Python+语言编写+Spark+程序,使用 +DataFrameAPI+实现从+Mysql+数据库中读取+admin+_+log+表,将管理员+ID+小于等于10000的记录保存到+log
时间: 2024-01-17 20:02:59 浏览: 27
使用Python语言编写Spark程序,使用DataFrame API实现从Mysql数据库中读取admin_log表,将管理员ID小于等于10000的记录保存到log表的代码如下:
```python
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder \
.appName("Read from Mysql and Save to Log") \
.getOrCreate()
# 读取Mysql数据库中的admin_log表
df = spark.read.format("jdbc") \
.option("url", "jdbc:mysql://localhost:3306/database_name") \
.option("dbtable", "admin_log") \
.option("user", "username") \
.option("password", "password") \
.load()
# 过滤管理员ID小于等于10000的记录
filtered_df = df.filter(df.admin_id <= 10000)
# 将过滤后的记录保存到log表
filtered_df.write.format("jdbc") \
.option("url", "jdbc:mysql://localhost:3306/database_name") \
.option("dbtable", "log") \
.option("user", "username") \
.option("password", "password") \
.mode("append") \
.save()
# 关闭SparkSession
spark.stop()
```
请注意替换代码中的以下参数:
- `database_name`:Mysql数据库名称
- `username`:Mysql数据库用户名
- `password`:Mysql数据库密码