python对csv文件中的指定列数据去重,并将去重后的该列数据存入新的csv文件中
时间: 2023-05-27 08:01:04 浏览: 73
Python读csv文件去掉一列后再写入新的文件实例
以下是Python代码示例:
```python
import csv
# 打开原始CSV文件和目标CSV文件
with open('source.csv', 'r') as source_file, open('target.csv', 'w', newline='') as target_file:
reader = csv.reader(source_file)
writer = csv.writer(target_file)
# 获取列标题
headers = next(reader)
header_to_keep = 'column_name' # 指定要去重的列的标题
header_index = headers.index(header_to_keep)
# 使用set去重并写入新的CSV文件中
unique_items = set()
for row in reader:
unique_items.add(row[header_index])
writer.writerow([header_to_keep])
for item in sorted(unique_items):
writer.writerow([item])
```
注意:
- 在上述代码中,要将代码中的`source.csv`和`target.csv`替换为实际的文件名和路径。
- 要将代码中的`column_name`替换为要去重的列的标题。
- 上述代码将去重后的数据按升序排序并写入新的CSV文件中,如果不需要排序可以删除`sorted`函数。
阅读全文