dataframe中查询某个字段可以使用where方法
时间: 2024-01-08 21:04:21 浏览: 131
Spark学习笔记(三):Spark DataFrame
5星 · 资源好评率100%
在DataFrame中查询某个字段可以使用`where`方法,它可以对数据进行筛选。`where`方法接收一个表达式作为参数,并返回一个新的DataFrame,其中只包含满足该表达式的行。表达式可以使用Spark SQL的语法来编写,例如使用列名引用和比较运算符等。
例如,假设我们有一个名为`peopleDF`的DataFrame,其中包含名字、年龄和性别等列。我们可以使用`where`方法来筛选出年龄大于等于20岁的人,代码如下:
```scala
val filteredDF = peopleDF.where($"age" >= 20)
```
在这个例子中,我们使用`$`符号来引用列名,然后使用比较运算符`>=`来比较年龄列的值。`where`方法将返回一个新的DataFrame,其中只包含年龄大于等于20岁的行。
除了`where`方法之外,还可以使用`filter`方法来进行筛选,它与`where`方法的功能相同。例如,上面的示例可以改写为:
```scala
val filteredDF = peopleDF.filter($"age" >= 20)
```
这两种方法的功能是完全等价的,可以根据个人偏好来选择使用哪种方法。
阅读全文