python去重txt首列重复
时间: 2023-07-17 22:07:03 浏览: 85
去除文本重复
你可以使用Python来去重一个文本文件中首列重复的行。下面是一个示例代码:
```python
seen = set() # 用于存储已经出现过的首列值
output = [] # 用于存储去重后的行
with open('input.txt', 'r') as file:
for line in file:
columns = line.strip().split() # 假设列之间使用空格分隔
if len(columns) > 0: # 确保至少有一个列
first_column = columns[0]
if first_column not in seen:
seen.add(first_column)
output.append(line)
with open('output.txt', 'w') as file:
file.writelines(output)
```
在上述代码中,我们使用一个`set`数据结构来存储已经出现过的首列值。然后,我们遍历输入文件的每一行,将首列值添加到集合中。如果首列值已经存在于集合中,则跳过该行;否则,将该行添加到输出列表中。最后,将输出列表写入到输出文件中。
请注意,上述代码假设输入文件的列之间使用空格进行分隔。如果实际情况不同,你需要相应地修改代码中的分隔符。
阅读全文