在数据库中用spark删除type列中的异常数据"" Igiari! Season 2"和Igi Ari!"和在数据库中用spark删除type列中的异常数据"" Igiari! Season 2"和Igi Ari!"
时间: 2023-12-29 08:02:31 浏览: 77
在Spark中可以使用DataFrame API来删除数据。具体步骤如下:
1. 读取数据库中的数据为DataFrame。
```scala
val df = spark.read.jdbc(url, table, properties)
```
2. 使用`filter`函数过滤出需要删除的数据。
```scala
val filteredDf = df.filter($"type" !== """" Igiari! Season 2""" && $"type" !== "Igi Ari!")
```
3. 将过滤后的数据重新写入数据库。
```scala
filteredDf.write.jdbc(url, table, properties)
```
完整的代码如下:
```scala
val df = spark.read.jdbc(url, table, properties)
val filteredDf = df.filter($"type" !== """" Igiari! Season 2""" && $"type" !== "Igi Ari!")
filteredDf.write.jdbc(url, table, properties)
```
注意,这里使用了Spark的DataFrame API,需要先创建一个`SparkSession`对象。此外,`url`、`table`和`properties`需要根据实际情况进行替换。