使用Scala编写程序读取Spark中的人事管理表的数据,并保存在本地
时间: 2024-02-28 11:52:23 浏览: 135
好的,根据您的要求,这里提供一个使用Scala编写的程序,用于读取Spark中的人事管理表的数据,并将其保存在本地:
```scala
import org.apache.spark.sql.SparkSession
object SaveHRDataToLocal {
def main(args: Array[String]): Unit = {
// 创建SparkSession
val spark = SparkSession.builder()
.appName("SaveHRDataToLocal")
.master("local[*]")
.getOrCreate()
// 读取人事管理表的数据
val hrData = spark.read
.format("jdbc")
.option("url", "jdbc:mysql://localhost:3306/hr_db")
.option("driver", "com.mysql.jdbc.Driver")
.option("dbtable", "employee_info")
.option("user", "root")
.option("password", "password")
.load()
// 将数据保存至本地
hrData.write
.format("csv")
.option("header", "true")
.mode("overwrite")
.save("path/to/local/save/dir")
// 关闭SparkSession
spark.stop()
}
}
```
这段代码中,我们使用了SparkSession来创建一个Spark应用程序,并通过JDBC连接到MySQL数据库中的hr_db数据库,并读取employee_info表的数据。接着,我们将这些数据保存到本地的CSV文件中,文件路径为"path/to/local/save/dir"。
请注意,您需要将代码中的数据库连接信息和保存文件的路径替换为您的实际情况。同时,您需要确保在运行代码之前已经将相关的MySQL JDBC驱动程序添加到您的项目中。
阅读全文