pyspark 存表hive语句
时间: 2024-02-06 21:06:59 浏览: 79
在python中使用pyspark读写Hive数据操作
5星 · 资源好评率100%
以下是使用Pyspark将DataFrame数据存储为Hive表的示例代码:
```python
# 导入必要的库
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder \
.appName("HiveTableExample") \
.enableHiveSupport() \
.getOrCreate()
# 创建DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["name", "age"])
# 将DataFrame存储为Hive表
df.write.mode("overwrite").saveAsTable("my_hive_table")
# 查看存储的Hive表数据
spark.sql("SELECT * FROM my_hive_table").show()
```
这段代码首先创建了一个SparkSession对象,然后使用`createDataFrame`方法创建了一个DataFrame对象。接下来,使用`write`方法将DataFrame存储为Hive表,其中`mode("overwrite")`表示如果表已经存在,则覆盖原有表,`saveAsTable("my_hive_table")`指定了要存储的表名。
最后,使用`spark.sql`方法执行SQL查询语句来查看存储的Hive表数据。
阅读全文