spark连接hive代码
时间: 2023-10-24 10:16:01 浏览: 86
idea中通过spark访问hive
好的,以下是连接 Hive 的 Spark 代码:
```
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
object SparkHiveExample {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("Spark Hive Example")
val spark = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()
// Query Hive table
val df = spark.sql("SELECT * from mytable")
df.show()
// Create new Hive table from DataFrame
val newDf = df.filter("id > 100")
newDf.write.mode("overwrite").saveAsTable("newtable")
spark.stop()
}
}
```
这个代码通过 SparkSession 的 enableHiveSupport 方法来启用 Hive 支持,然后就可以通过 spark.sql 命令来查询 Hive 表。如果要将 DataFrame 保存到 Hive 表中,则可以使用 saveAsTable 方法。
阅读全文