spark.sql hive建表
时间: 2023-10-17 14:37:24 浏览: 112
您可以使用Spark SQL来在Hive中创建表。下面是一个示例代码:
```scala
import org.apache.spark.sql.SparkSession
object CreateTableInHive {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.appName("CreateTableInHive")
.enableHiveSupport()
.getOrCreate()
// 创建一个DataFrame作为示例数据
val data = Seq(
("Alice", 25),
("Bob", 30),
("Charlie", 35)
)
val df = spark.createDataFrame(data).toDF("name", "age")
// 使用Spark SQL的语法创建Hive表
spark.sql("CREATE TABLE IF NOT EXISTS my_table (name STRING, age INT)")
// 将DataFrame写入到Hive表中
df.write.mode("overwrite").saveAsTable("my_table")
// 查询表中的数据
val result = spark.sql("SELECT * FROM my_table")
result.show()
spark.stop()
}
}
```
在上述示例代码中,我们首先通过`enableHiveSupport()`方法启用Hive支持。然后,我们使用`spark.sql()`方法创建了一个名为`my_table`的Hive表。接下来,我们将DataFrame写入到该表中,并通过`spark.sql()`方法查询了表中的数据。
请注意,您需要确保您的Spark集群已经配置了与Hive的集成,并且具有正确的Hive元数据存储。
阅读全文