使用java实现sparksql查询数据
时间: 2023-06-08 15:06:36 浏览: 282
好的,您可以通过SparkSession创建DataFrame,然后使用DataFrame API或Spark SQL语句查询数据,示例代码如下:
```
import org.apache.spark.sql.{DataFrame, SparkSession}
object SparkSQLApp {
def main(args: Array[String]): Unit = {
// 创建SparkSession
val spark = SparkSession.builder()
.appName("SparkSQLApp")
.master("local[2]")
.getOrCreate()
// 读取数据为DataFrame
val path = "path/to/data"
val df: DataFrame = spark.read.format("csv").option("header", "true").load(path)
// 注册为临时表
df.createOrReplaceTempView("table_name")
// 使用DataFrame API查询
val result1 = df.select("column1", "column2").filter("column1 > 100")
// 使用Spark SQL语句查询
val result2 = spark.sql("SELECT column1, column2 FROM table_name WHERE column1 > 100")
// 显示结果
result1.show()
result2.show()
spark.stop()
}
}
```
希望能够帮到您!
阅读全文