scala多条件统计查询数据
时间: 2023-12-18 19:05:26 浏览: 132
多条件查询
在Scala中,可以使用Spark SQL来进行多条件统计查询数据。以下是一个简单的示例代码:
```scala
import org.apache.spark.sql.SparkSession
object MultiConditionQuery {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder().appName("MultiConditionQuery").master("local[*]").getOrCreate()
val data = spark.read.option("header", "true").csv("path/to/csv/file")
val result = data.filter("col1 = 'value1' and col2 > 10").groupBy("col3").count()
result.show()
}
}
```
上述示例代码中,首先创建了一个SparkSession对象。然后使用该对象读取CSV文件中的数据。接着使用filter函数对数据进行筛选,只保留满足条件col1等于value1且col2大于10的记录。最后使用groupBy和count函数对col3进行分组统计。
可以根据实际需求修改示例代码中的条件和统计方式。
阅读全文