给.txt行去重
时间: 2023-08-05 13:09:49 浏览: 41
可以使用Python编写一个简单的脚本来实现这个任务。具体步骤如下:
1. 打开文件并读取每一行。
2. 使用set()函数去重。
3. 将去重后的行重新写入同一个文件中或者写入一个新文件中。
下面是一个简单的Python脚本实现:
```python
with open('file.txt', 'r') as f:
lines = f.readlines()
unique_lines = set(lines)
with open('new_file.txt', 'w') as f:
for line in unique_lines:
f.write(line)
```
这个脚本将读取文件"file.txt"中的所有行并去重,然后将去重后的行写入一个新文件"new_file.txt"中。
相关问题
用python去重txt指定行
如果您想要删除txt文件中以指定符号开头的行,可以按照以下步骤进行操作:
1. 打开原始txt文件和一个新的空txt文件。
2. 逐行读取原始txt文件。
3. 检查每一行是否以指定符号开头。
4. 如果不是以指定符号开头,则将该行写入新的txt文件。
5. 关闭原始txt文件和新的txt文件。
6. 删除原始txt文件。
7. 将新的txt文件重命名为原始txt文件的名称。
下面是一个示例代码,演示了如何实现这个功能:
```python
def remove_lines_with_prefix(filename, prefix):
with open(filename, 'r') as file:
lines = file.readlines()
with open(filename, 'w') as file:
for line in lines:
if not line.startswith(prefix):
file.write(line)
# 示例用法
filename = 'example.txt' # 替换为您的txt文件名
prefix = '#' # 替换为您要删除的行的指定前缀
remove_lines_with_prefix(filename, prefix)
```
请确保将示例代码中的`example.txt`替换为您要处理的实际txt文件名,并将`#`替换为您要删除的行的指定前缀。
这段代码将打开指定的txt文件,逐行读取其内容,并将不以指定前缀开头的行写入同一个文件中。最后,它会删除原始txt文件并将新文件重命名为原始文件的名称。
python txt去重
可以使用Python的set数据结构来实现文本去重。以下是一个示例代码:
```python
with open('input.txt', 'r') as f:
lines = f.readlines()
lines = set(lines)
with open('output.txt', 'w') as f:
f.writelines(lines)
```
这段代码首先打开一个名为`input.txt`的文件,读取其中的所有行。然后使用set将列表转换为集合,实现去重。最后将去重后的结果写入到一个名为`output.txt`的文件中。