python中去重的可迭代对象

在Python中，对于需要去除重复元素的可迭代对象（如列表、元组或集合），有几种常见的方法：

1. **set()**：这是最直接的方法，可以将可迭代对象转换为集合，因为集合内的元素是唯一的，所以重复会被自动移除。例如：

   unique_items = list(set(my_list))

2. **dict.fromkeys()**：如果可迭代对象适合做键（key），可以用`dict()`构造函数创建一个字典，然后提取键，因为字典的键是唯一的，可以达到去重的效果。不过需要注意的是，顺序会改变：

   unique_items = list(dict.fromkeys(my_iterable))

3. **filter() + lambda表达式**：利用filter函数过滤出唯一元素，配合lambda表达式检查元素是否已存在于结果集中：

   unique_items = list(filter(lambda x: x not in unique_items, my_iterable))

这种方法效率较低，尤其是对于大对象。

4. **列表推导式**：通过比较每个元素和新生成的列表来去重，虽然简洁，但对于大型数据集效率不高：

   unique_items = [x for i, x in enumerate(my_iterable) if x not in unique_items[:i]]

相关问题

python set去重

Python中的set是一种无序且不重复的数据结构，可以用于去重。当你将一个列表或其他可迭代对象传递给set()函数时，它会自动去除重复的元素。以下是使用set去重的示例代码：

# 创建一个包含重复元素的列表
my_list = [1, 2, 3, 3, 4, 5, 5]

# 使用set去重
my_set = set(my_list)

# 输出去重后的结果
print(my_set)

输出结果为：{1, 2, 3, 4, 5}

python集合去重顺序不变

在Python中，集合（set）是一种无序的数据结构，它自动去除其中的重复元素。当你将列表或其他可迭代对象转换为集合，集合内的元素就会自动去重，并且由于集合内部是基于哈希表实现的，所以元素的插入顺序通常不会得到保持。如果你需要保留原始顺序，可以使用`dict.fromkeys()`函数或者`frozenset()`，因为字典的键是有序的，而 frozenset 是不可变集合，它的迭代顺序通常与原序列一致。

示例：

# 用list转set去重，顺序可能会改变
original_list = [1, 2, 2, 3]
unique_set = set(original_list)
print(unique_set)  # 输出：{1, 2, 3}

# 用dict或frozenset保持原顺序去重
from_dict = dict.fromkeys(original_list)
print(from_dict.keys())  # 输出：[1, 2, 3]

from_frozenset = frozenset(original_list)
print(list(from_frozenset))  # 输出：[1, 2, 3]