python读取csv文件去重

Python读取CSV文件去重的方法有很多种，其中一种比较简单的方法是使用set()函数。具体步骤如下：
1. 打开CSV文件并读取所有行。
2. 将每行数据转换为元组或列表。
3. 将所有元组或列表添加到一个集合(set)中，这将自动去除重复项。
4. 将集合中的元素转换回列表或元组。
5. 将去重后的数据写入新的CSV文件中。

下面是一个示例代码，假设我们要去重的CSV文件名为“data.csv”，去重后的文件名为“out.csv”：

import csv

# 打开原始CSV文件和输出CSV文件
with open('data.csv', 'r') as in_file, open('out.csv', 'w', newline='') as out_file:
    # 创建CSV读取器和写入器
    in_csv_reader = csv.reader(in_file)
    out_csv_writer = csv.writer(out_file, dialect="excel")
    
    # 创建一个集合来存储去重后的数据
    unique_rows = set()
    
    # 遍历原始CSV文件中的每一行
    for row in in_csv_reader:
        # 将行转换为元组并添加到集合中
        unique_rows.add(tuple(row))
    
    # 将集合中的元素转换回列表并写入输出CSV文件中
    for row in unique_rows:
        out_csv_writer.writerow(row)