rdd去除包含某个字符串的行
时间: 2023-10-10 10:06:53 浏览: 15
去掉字符串中的某一字符
可以使用`filter()`函数和`lambda`表达式来实现,如下所示:
```python
rdd = rdd.filter(lambda line: "字符串" not in line)
```
这将返回一个新的RDD,其中不包含包含指定字符串的行。如果您想要忽略大小写,可以使用`lower()`或`upper()`函数来将所有字符转换为小写或大写,如下所示:
```python
rdd = rdd.filter(lambda line: "字符串".lower() not in line.lower())
```
阅读全文