spark导入sql
时间: 2024-06-07 07:04:19 浏览: 10
Spark可以通过SQLContext或HiveContext来支持SQL语句的查询。其中SQLContext支持基于RDD和DataFrame的查询,而HiveContext还支持通过Hive Metastore来访问Hive中的数据。
下面是Spark导入SQL的简单步骤:
1. 创建SparkSession或SparkContext
2. 创建SQLContext或HiveContext
3. 通过SQLContext或HiveContext读取数据源(如HDFS、Hive、JDBC等),得到DataFrame对象
4. 使用DataFrame API或注册为临时表,执行SQL语句
具体示例代码如下:
```scala
import org.apache.spark.sql.SparkSession
// 创建SparkSession
val spark = SparkSession.builder()
.appName("SparkSQLDemo")
.master("local[*]")
.getOrCreate()
// 创建SQLContext
val sqlContext = spark.sqlContext
// 读取数据源,得到DataFrame对象
val df = sqlContext.read.json("path/to/json")
// 注册为临时表
df.createOrReplaceTempView("people")
// 执行SQL语句
val result = spark.sql("SELECT * FROM people WHERE age >= 18")
// 展示结果
result.show()
```
相关推荐
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)