(3) 使用Scala编写程序读取Spark中的人事管理表的数据,并保存在本地
时间: 2024-02-27 14:59:10 浏览: 17
下面是一个使用 Scala 读取 Spark 中的人事管理表数据并将其保存在本地的示例代码:
```scala
import org.apache.spark.sql.SparkSession
object HRDataProcessor {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.appName("HR Data Processor")
.master("local[*]")
.getOrCreate()
// 读取人事管理表数据
val hrData = spark.read
.format("jdbc")
.option("url", "jdbc:mysql://localhost:3306/hrdb")
.option("driver", "com.mysql.jdbc.Driver")
.option("dbtable", "hr_table")
.option("user", "root")
.option("password", "password")
.load()
// 将数据保存在本地
hrData.write
.format("csv")
.option("header", "true")
.save("path/to/local/folder")
spark.stop()
}
}
```
在这个例子中,我们使用 `SparkSession` 创建了一个本地 Spark 应用程序。然后,我们使用 `jdbc` 格式读取了一个 MySQL 数据库中的人事管理表数据。接下来,我们将数据保存在本地 CSV 文件中,使用 `csv` 格式,并设置 `header` 选项为 `true`。最后,我们停止了 Spark 应用程序。