spark操作数据库

Spark可以通过使用SparkSession和相关的API来操作数据库。在读取数据时，可以使用`spark.read.format("jdbc")`方法来指定数据源为jdbc，并通过`.option()`方法设置相关的连接参数，如URL、驱动程序、表名、用户名和密码等。例如，以下是使用SparkSession读取MySQL数据库中的student表的代码示例：

import org.apache.spark.sql.SparkSession

object SparkSQLTestJDBC {
  def main(args: Array\[String\]): Unit = {
    // 创建SparkSession
    val spark = SparkSession.builder().master("local").appName("sparkSQLTest").getOrCreate()
    
    // 读取数据
    val studentDF = spark.read.format("jdbc")
      .option("url", "jdbc:mysql://10.10.10.10:3306/dbName?serverTimezone=GMT") // IP和数据库名
      .option("driver", "com.mysql.jdbc.Driver")
      .option("dbtable", "student") // 表名
      .option("user", "root") // 用户名
      .option("password", "123456") // 密码
      .load()
      
    // 显示数据
    studentDF.show()
    
    // 停止SparkSession
    spark.stop()
  }
}

在写入数据时，可以使用`DataFrame.write.format("jdbc")`方法来指定写入的数据源为jdbc，并通过`.option()`方法设置相关的连接参数和写入模式等。具体的代码示例可以根据具体的需求进行编写。

需要注意的是，Spark 2.0之后的版本可以直接使用SparkSession替代SQLContext进行数据库操作，但为了向下兼容，SQLContext仍然保留。因此，可以根据具体的需求选择使用SparkSession或SQLContext来操作数据库。\[1\]\[2\]\[3\]
#### 引用[.reference_title]
- *1* [spark学习8.1：sparkSQL的数据库操作](https://blog.csdn.net/hzp666/article/details/122324639)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* *3* [Spark数据库操作初步——Spark开发学习笔记（三）](https://blog.csdn.net/weixin_44195757/article/details/103294126)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]