python 按行去重
时间: 2023-09-11 21:04:14 浏览: 36
可以使用set()函数来去除列表中的重复行,示例代码如下:
```
lines = ["hello", "world", "hello", "python", "world"]
lines = list(set(lines))
print(lines)
```
输出结果为:
```
['world', 'hello', 'python']
```
相关问题
python对行去重代码
你可以使用Python的集合(set)来对行去重。下面是一个示例代码:
```python
def remove_duplicate_lines(file_path):
lines = set()
with open(file_path, 'r') as file:
for line in file:
# 移除行末尾的换行符
line = line.rstrip('\n')
if line not in lines:
lines.add(line)
# 将去重后的内容写回文件
with open(file_path, 'w') as file:
file.write('\n'.join(lines))
```
你可以调用`remove_duplicate_lines`函数,并传递文件路径作为参数,该函数将会从文件中去除重复的行。请确保提供的文件路径是正确的。
Python多维数组按行去重
可以使用numpy库中的unique函数来实现按行去重,具体代码如下:
import numpy as np
a = np.array([[1, 2, 3], [4, 5, 6], [1, 2, 3]])
b = np.unique(a, axis=0)
print(b)
输出结果为:
[[1 2 3]
[4 5 6]]
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)