python对csv文件中的某一列数据去重，并将去重后的数据存成一个新的csv文件

假设要去重的列为列1，以下是一种可能的解决方案：

import csv

with open('原始文件.csv', 'r') as file_in, open('去重后的文件.csv', 'w', newline='') as file_out:
    reader = csv.DictReader(file_in)
    writer = csv.DictWriter(file_out, fieldnames=reader.fieldnames)
    
    # 按列1构建集合，记录已经出现过的值
    seen_values = set()
    
    # 写入表头
    writer.writeheader()
    
    # 遍历原始文件的每一行
    for row in reader:
        # 取出列1的值
        value = row['列1']
        
        # 如果这个值之前没有出现过
        if value not in seen_values:
            # 记录这个值已经出现过
            seen_values.add(value)
            # 将这一行写入新文件
            writer.writerow(row)

代码中使用了 `DictReader` 和 `DictWriter` 分别读取和写入 CSV 文件，这样每一行的数据就可以通过类似字典（dictionary）的形式进行访问。

在遍历原始文件的过程中，使用一个集合 `seen_values` 记录已经出现过的值。当读到某一行时，取出该行的列1的值并判断其是否已经在 `seen_values` 集合中出现过，如果是，则跳过不再写入新文件中，否则将这一行写入新文件并将该值添加到 `seen_values` 集合中。最终新的 CSV 文件中的列1数据就是去重后的结果。