spark读取mysql数据
时间: 2023-11-16 17:48:36 浏览: 91
Spark与Mysql的交互
5星 · 资源好评率100%
很高兴为您解答这个问题!是的,Spark可以读取MySQL数据库中的数据。您可以使用JDBC数据源来连接MySQL数据库,然后使用Spark SQL或DataFrame API读取数据。您可以使用以下代码示例:
```python
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.appName("ReadFromMySQL").getOrCreate()
# 配置MySQL连接信息
jdbc_url = "jdbc:mysql://<MYSQL_HOST>:<MYSQL_PORT>/<DATABASE_NAME>"
jdbc_properties = {"user": "<MYSQL_USERNAME>", "password": "<MYSQL_PASSWORD>"}
# 读取MySQL中的数据
df = spark.read.jdbc(url=jdbc_url, table= "<TABLE_NAME>", properties=jdbc_properties)
# 显示读取到的数据
df.show()
# 关闭SparkSession
spark.stop()
```
在上述代码中,“<MYSQL_HOST>”、“<MYSQL_PORT>”、“<DATABASE_NAME>”、“<MYSQL_USERNAME>”和“<MYSQL_PASSWORD>”需要您自行替换为您的MySQL数据库的地址、端口号、数据库名称、用户名和密码。同时,您还需要将“<TABLE_NAME>”替换为您要读取的MySQL表的名称。
希望这个答案可以帮助您!
阅读全文