python列表数据去重

可以使用set()函数将列表转换为集合，然后再将集合转换回列表即可去重。示例如下：

my_list = [1, 2, 3, 3, 4, 5, 5, 6]
new_list = list(set(my_list))
print(new_list)  # [1, 2, 3, 4, 5, 6]

如果需要保留原列表的顺序，可以使用列表推导式和判断语句去重，示例如下：

my_list = [1, 2, 3, 3, 4, 5, 5, 6]
new_list = []
for i in my_list:
    if i not in new_list:
        new_list.append(i)
print(new_list)  # [1, 2, 3, 4, 5, 6]

也可以使用Python中的内置函数groupby()对列表进行去重，示例如下：

from itertools import groupby

my_list = [1, 2, 3, 3, 4, 5, 5, 6]
new_list = [k for k, g in groupby(my_list)]
print(new_list)  # [1, 2, 3, 4, 5, 6]

以上三种方法均可对Python列表进行去重。

相关问题

python大量数据去重

在Python中，可以使用集合（set）来实现大量数据的去重操作。集合是一种无序且不重复的数据结构，非常适合用于去除重复元素。

以下是一种常用的方法：

data = [1, 2, 3, 4, 5, 1, 2, 3, 6, 7, 8, 9, 5]
unique_data = list(set(data))
print(unique_data)

输出结果为：`[1, 2, 3, 4, 5, 6, 7, 8, 9]`

在上述代码中，首先将数据存储在一个列表中。然后，使用`set()`函数将列表转换为集合，这样就会自动去除重复元素。最后，再将集合转换回列表即可。

需要注意的是，集合是无序的，所以最终得到的列表中元素的顺序可能与原来的顺序不同。如果需要保持原来的顺序，可以使用其他方法，比如使用`dict.fromkeys()`方法：

data = [1, 2, 3, 4, 5, 1, 2, 3, 6, 7, 8, 9, 5]
unique_data = list(dict.fromkeys(data))
print(unique_data)

输出结果仍然为：`[1, 2, 3, 4, 5, 6, 7, 8, 9]`

这种方法利用了字典键的唯一性，从而实现了去重操作。

python爬虫数据去重

在Python中，可以使用set数据类型来去重。下面是一些基本的步骤：

1. 首先将爬取的数据存储在一个列表中。
2. 创建一个空的set数据类型。
3. 遍历列表中的每个元素，将它们添加到set中。
4. 最后，将set转换回列表。

以下是一个示例代码：

# 假设我们已经从网页上爬取到了一些数据，存储在列表data中
data = [1, 2, 3, 2, 4, 3, 5]

# 创建一个空的set
unique_data = set()

# 遍历列表中的每个元素，将它们添加到set中
for d in data:
    unique_data.add(d)

# 将set转换回列表
unique_data = list(unique_data)

# 输出去重后的数据
print(unique_data)

运行结果为：

[1, 2, 3, 4, 5]

注意，这种方法只适用于数据量不太大的情况。如果数据量很大，可以考虑使用一些高效的去重算法，比如布隆过滤器。