写一个python脚本去除txt中重复的行
时间: 2024-02-13 11:01:43 浏览: 130
python筛选出两个文件中重复行的方法
好的,可以使用Python的set()函数来去除txt中重复的行,具体代码如下:
```python
with open('yourfile.txt', 'r') as f:
lines = f.readlines()
unique_lines = set(lines)
with open('output.txt', 'w') as f:
f.writelines(unique_lines)
```
其中,'yourfile.txt' 是需要去重的文件名,'output.txt' 是去重后的文件名。这段代码会将原文件中的重复行去除并保存到新文件中。
阅读全文