利用python去除txt文件的重复列，不用pandas

可以使用Python自带的set数据结构来去除txt文件的重复列。具体步骤如下：

1. 打开txt文件，将每一行的数据用空格或其他分隔符分割成一个列表。

2. 使用set()函数将列表转换成集合，这样集合中的元素就会自动去重。

3. 将集合中的元素重新转换成列表，并使用join()函数将列表中的元素以空格或其他分隔符连接成字符串。

4. 将处理后的字符串写入到一个新的txt文件中。

下面是一个示例代码：

with open('input.txt', 'r') as f_input:
    with open('output.txt', 'w') as f_output:
        for line in f_input:
            line = line.strip() # 去除行尾的换行符
            columns = line.split(' ') # 以空格为分隔符将行数据转换成列表
            unique_columns = list(set(columns)) # 使用set去重后再转换成列表
            output_line = ' '.join(unique_columns) # 以空格为分隔符将列表中的元素连接成字符串
            f_output.write(output_line + '\n') # 写入到输出文件中

需要注意的是，这个方法只能去除每一行中的重复列，并不能去除整个文件中的重复行。如果需要去除整个文件中的重复行，可以使用类似于集合去重的方法，先将文件中的所有行读入到一个列表中，再将列表转换成集合去重，最后将集合中的元素重新写入到新的文件中。