python大量数据去重

在Python中，可以使用集合（set）来实现大量数据的去重操作。集合是一种无序且不重复的数据结构，非常适合用于去除重复元素。

以下是一种常用的方法：

data = [1, 2, 3, 4, 5, 1, 2, 3, 6, 7, 8, 9, 5]
unique_data = list(set(data))
print(unique_data)

输出结果为：`[1, 2, 3, 4, 5, 6, 7, 8, 9]`

在上述代码中，首先将数据存储在一个列表中。然后，使用`set()`函数将列表转换为集合，这样就会自动去除重复元素。最后，再将集合转换回列表即可。

需要注意的是，集合是无序的，所以最终得到的列表中元素的顺序可能与原来的顺序不同。如果需要保持原来的顺序，可以使用其他方法，比如使用`dict.fromkeys()`方法：

data = [1, 2, 3, 4, 5, 1, 2, 3, 6, 7, 8, 9, 5]
unique_data = list(dict.fromkeys(data))
print(unique_data)

输出结果仍然为：`[1, 2, 3, 4, 5, 6, 7, 8, 9]`

这种方法利用了字典键的唯一性，从而实现了去重操作。