sparksession读取mysql

使用SparkSession读取MySQL数据库的步骤如下：

1. 首先，创建一个SparkSession对象。可以使用以下代码创建一个SparkSession对象：

val spark: SparkSession = SparkSession.builder()
  .appName("test")
  .master("local\[*\]")
  .getOrCreate()

这将创建一个名为"test"的Spark应用程序，并使用本地模式运行。

2. 接下来，设置连接MySQL数据库所需的属性。可以使用以下代码创建一个Properties对象，并设置用户名、密码和连接URL：

val properties = new Properties()
properties.setProperty("user", "mysqldb")
properties.setProperty("password", "pwd")
val url = "jdbc:mysql://ip:3306/test?characterEncoding=utf8&useSSL=true"

请确保将ip替换为实际的MySQL服务器IP地址。

3. 然后，使用SparkSession对象读取MySQL数据库中的数据。可以使用以下代码读取名为"table1"的表，并选择"name"、"age"和"sex"列，并筛选出年龄大于20的记录：

val df = spark.read.jdbc(url, "table1", properties)
  .select("name", "age", "sex")
  .where("age > 20")

这将返回一个DataFrame对象，其中包含满足条件的记录。

请注意，以上代码中的变量和参数可以根据实际情况进行修改。
#### 引用[.reference_title]
- *1* *2* *3* [【Spark】spark对mysql的操作](https://blog.csdn.net/hyj_king/article/details/126852447)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]