Scala 上删除空值列
时间: 2023-11-11 18:04:56 浏览: 120
删除矩阵中的空行
在Scala中,可以使用DataFrame API中的`drop`方法删除空值列。以下是一个简单的例子:
```
val df = Seq((1, "John", null), (2, "Alice", "female"), (3, "Bob", "male")).toDF("id", "name", "gender")
val colsToRemove = df.columns.filter(c => df.select(c).na.drop().isEmpty)
val dfWithoutNullCols = df.drop(colsToRemove: _*)
```
在这个例子中,我们首先创建了一个包含三列的DataFrame。然后,我们使用`filter`和`na.drop`方法来确定哪些列包含空值。最后,我们使用`drop`方法删除包含空值的列,得到一个不包含空值列的新DataFrame。
请注意,空值列的确定方式可能因数据集的不同而异,你需要根据自己的情况进行调整。
阅读全文