spark使用jdbc链接hive

使用Spark连接Hive需要以下步骤：

1. 在Spark应用程序中添加Hive依赖项：

libraryDependencies += "org.apache.spark" %% "spark-hive" % "2.4.7"

2. 创建SparkSession对象（如果使用Spark Shell，则不需要此步骤）：

import org.apache.spark.sql.SparkSession

val spark = SparkSession
  .builder()
  .appName("Spark Hive Example")
  .config("spark.sql.warehouse.dir", "/user/hive/warehouse")
  .enableHiveSupport()
  .getOrCreate()

3. 使用JDBC连接Hive：

val hiveUrl = "jdbc:hive2://<hostname>:<port>/<database>"

val hiveUsername = "<username>"

val hivePassword = "<password>"

val hiveDriver = "org.apache.hive.jdbc.HiveDriver"

Class.forName(hiveDriver)

val conn = DriverManager.getConnection(hiveUrl, hiveUsername, hivePassword)

4. 使用Spark连接Hive：

val hiveTableName = "<table>"

val hiveDataFrame = spark.sql(s"SELECT * FROM $hiveTableName")

hiveDataFrame.show()

注意事项：

- 需要将JDBC驱动程序添加到应用程序的类路径中。
- `<hostname>`是Hive服务器主机名或IP地址，`<port>`是端口号，`<database>`是Hive数据库名称。
- `<username>`和`<password>`是Hive的用户名和密码。
- `<table>`是Hive中要查询的表名称。