spark抽取mysql数据到hive,Spark 整合hive 实现数据的读取输出

要实现 Spark 抽取 MySQL 数据到 Hive，可以采用以下步骤：

1. 在 Spark 中首先读取 MySQL 数据，可以使用 JDBC 连接 MySQL 数据库，将需要的数据读取到 Spark 的 DataFrame 中。

2. 在 Spark 中创建 Hive 表，将 DataFrame 写入到 Hive 表中。可以使用 Spark SQL 中的 `saveAsTable` 方法将 DataFrame 保存为 Hive 表。

下面是一个示例代码：

import org.apache.spark.sql.SparkSession

object MySQLToHive {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("MySQLToHive")
      .enableHiveSupport()
      .getOrCreate()

    val jdbcUrl = "jdbc:mysql://localhost:3306/mydb?user=root&password=123456"
    val mysqlTable = "mytable"
    val hiveTable = "myhive"

    val df = spark.read.format("jdbc")
      .option("url", jdbcUrl)
      .option("dbtable", mysqlTable)
      .load()

    df.write.mode("overwrite").saveAsTable(hiveTable)
  }
}

这段代码中，首先使用 SparkSession 创建 Spark 应用程序，并启用 Hive 支持。然后指定 MySQL 数据库的 JDBC URL、需要读取的 MySQL 表名和需要创建的 Hive 表名。

使用 Spark 的 `read.format("jdbc")` 方法读取 MySQL 数据库中的数据，然后使用 `write.mode("overwrite").saveAsTable(hiveTable)` 方法将 DataFrame 写入到 Hive 表中。其中 `mode("overwrite")` 表示如果 Hive 表已经存在，则覆盖原有表。

在执行代码之前，需要先在 Hive 中创建一个与代码中指定的 Hive 表名相同的表，表结构需要与 MySQL 表结构一致。

这样就实现了 Spark 抽取 MySQL 数据到 Hive 的过程。