spark dataframe过滤某一列不含0.0的数据
时间: 2023-09-01 17:13:47 浏览: 101
你可以使用`filter`函数结合`!=`操作符来实现过滤某一列不含0.0的数据,具体代码如下:
```python
from pyspark.sql.functions import col
df_filtered = df.filter(col("your_column_name") != 0.0)
```
其中,`df`为你的DataFrame对象,`your_column_name`为你要过滤的列名。这段代码会返回一个新的DataFrame对象`df_filtered`,其中不包含任何一行的`your_column_name`列值为0.0的数据。
相关问题
用Scala语言过滤spark dataframe某一列不含0.0的数据
你可以使用`filter`函数结合`!==`操作符来实现过滤某一列不含0.0的数据,具体代码如下:
```scala
import org.apache.spark.sql.functions.col
val df_filtered = df.filter(col("your_column_name") !== 0.0)
```
其中,`df`为你的DataFrame对象,`your_column_name`为你要过滤的列名。这段代码会返回一个新的DataFrame对象`df_filtered`,其中不包含任何一行的`your_column_name`列值为0.0的数据。
阅读全文