pyspark连接mysql
时间: 2023-11-19 12:07:23 浏览: 174
python3.6使用pymysql连接Mysql数据库
以下是使用pyspark连接MySQL的示例代码:
```python
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.appName("MySQL").getOrCreate()
# MySQL连接信息
url = "jdbc:mysql://localhost:3306/testdb?useUnicode=true&characterEncoding=UTF-8&useSSL=false"
table_name = "admin"
properties = {
"user": "root",
"password": "root"
}
# 读取MySQL数据库中的数据
df = spark.read.jdbc(url=url, table=table_name, properties=properties)
# 展示数据
df.show()
# 释放资源
spark.stop()
```
以上代码中,我们首先创建了一个SparkSession,然后指定了MySQL的连接信息,包括URL、表名和用户名密码等。接着,我们使用`spark.read.jdbc()`方法读取MySQL数据库中的数据,并将其存储在一个DataFrame中。最后,我们展示了这个DataFrame中的数据,并释放了资源。
阅读全文