python运行MySQL脚本,使用Spark SQL方式读入数据库表
时间: 2024-03-05 13:50:12 浏览: 108
你可以使用Python中的MySQLdb库来运行MySQL脚本,并使用Spark SQL来读取MySQL数据库表。以下是一个示例代码:
```python
import MySQLdb
from pyspark.sql import SparkSession
# 连接MySQL数据库
db = MySQLdb.connect(host="localhost", user="myusername", passwd="mypassword", db="mydatabase")
cursor = db.cursor()
# 运行MySQL脚本
cursor.execute("SELECT * FROM mytable")
# 将结果存储为DataFrame
spark = SparkSession.builder.appName("Read from MySQL").getOrCreate()
df = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/mydatabase").option("dbtable", "mytable").option("user", "myusername").option("password", "mypassword").load()
# 打印结果
df.show()
# 关闭连接
cursor.close()
db.close()
```
在这个例子中,我们首先使用MySQLdb库连接MySQL数据库,并运行了一个SELECT语句来获取表中的数据。然后,我们使用Spark SQL的JDBC连接器来读取MySQL表中的数据,并将结果存储为DataFrame。最后,我们使用DataFrame的show方法打印结果。注意:需要将“mydatabase”和“mytable”替换为实际的数据库名称和表名称。
阅读全文