python 按指定key去重
时间: 2023-09-06 11:01:15 浏览: 43
在Python中,可以使用字典的方式按照指定的key来去重。具体实现步骤如下:
1. 创建一个空的字典,用于存储去重后的结果。
2. 遍历待去重的列表或集合,取出每个元素。
3. 判断当前元素的key是否已经在字典中存在。
4. 如果key不存在于字典中,则将当前元素添加到字典中,以key为索引,以当前元素为值。
5. 如果key已经存在于字典中,则跳过当前元素,进行下一次遍历。
6. 遍历结束后,得到的字典中的值即为按指定key去重后的结果。
以下是一个示例代码:
```python
def deduplicate_by_key(data, key):
result_dict = {}
for item in data:
item_key = item[key]
if item_key not in result_dict:
result_dict[item_key] = item
return list(result_dict.values())
# 示例数据
data = [
{"id": 1, "name": "Tom"},
{"id": 2, "name": "John"},
{"id": 3, "name": "Tom"},
{"id": 4, "name": "Mary"},
]
# 按'id'键去重
deduplicated_data = deduplicate_by_key(data, 'id')
print(deduplicated_data)
```
以上代码中,通过`deduplicate_by_key`函数实现了按指定key(此处为'id')去重的功能。根据示例数据,在去重后的结果中,每个元素的'id'唯一。