Python去重全攻略：20种列表去重复项的方法

本文主要介绍了Python中去除列表重复项的多种方法，包括使用新建列表、基于下标判断以及列表推导等技术。 在Python编程中，列表是一个非常重要的数据结构，它允许存储不同类型的元素，并且可以动态扩展。在处理包含重复元素的列表时，有时我们需要确保列表中的每个元素都是唯一的。以下是几种常见的去重方法： ### 1. 新建列表（不使用索引） ```python def unique(data): new_list = [] for item in data: if item not in new_list: new_list.append(item) return new_list ``` 这种方法通过遍历数据并检查元素是否已存在于新列表中来去重，然后将元素添加到新列表。 ### 2. 新建列表（使用索引） ```python def unique(data): new_list = [] for i in range(len(data)): if data[i] not in new_list: new_list.append(data[i]) return new_list ``` 这种方法与上一种类似，但使用了索引遍历原始列表，这在某些情况下可能更有效，特别是当列表元素不可哈希时。 ### 2.1. 使用列表推导 ```python def unique(data): new_list = [i for i in data if i not in new_list] return new_list ``` 这是对上一个方法的简化，通过列表推导一次性完成去重和构建新列表的过程。 以上方法在小规模数据集上效果良好，但如果数据量较大，它们的效率可能会降低，因为频繁的`not in`操作在大数据集上可能很耗时。对于这种情况，可以考虑使用其他数据结构，如集合（Set）或者字典（Dictionary）。 ### 3. 利用集合 ```python def unique_set(data): return list(set(data)) ``` 集合是一个无序且不允许重复元素的数据结构，通过将列表转换为集合，然后再转换回列表，可以快速有效地去重。然而，这种方法会改变元素的原始顺序。 ### 4. 利用字典 ```python def unique_dict(data): return list(dict.fromkeys(data)) ``` 字典的键是唯一的，通过将列表元素作为键创建字典，然后再转换回列表，同样可以去重，同时也保留了原始顺序（Python 3.7及以上版本）。 在选择去重方法时，应考虑数据量、元素类型、对原顺序的需求以及性能要求。对于需要保持原始顺序的情况，集合和字典方法可能不是最佳选择，而新建列表的方法则更为合适。对于性能要求高且顺序不重要的情况，集合方法通常是最优的。在实践中，可以根据具体情况选择最适用的方法。