python爬虫数据去重代码

以下是Python爬虫数据去重的代码示例：

import hashlib

# 定义一个去重类
class Deduplication(object):
    def __init__(self):
        self.hash = set()

    # 判断url是否重复
    def is_duplicate(self, url):
        fp = hashlib.sha1()
        fp.update(url.encode('utf-8'))
        url_sha1 = fp.hexdigest()
        if url_sha1 in self.hash:
            return True
        else:
            self.hash.add(url_sha1)
            return False

使用示例：

# 创建一个去重对象
dedup = Deduplication()

# 判断url是否重复
if dedup.is_duplicate(url):
    print('该url已经被爬取过了')
else:
    # 爬取该url
    ...

相关问题

python爬虫数据去重

在Python中，可以使用set数据类型来去重。下面是一些基本的步骤：

1. 首先将爬取的数据存储在一个列表中。
2. 创建一个空的set数据类型。
3. 遍历列表中的每个元素，将它们添加到set中。
4. 最后，将set转换回列表。

以下是一个示例代码：

# 假设我们已经从网页上爬取到了一些数据，存储在列表data中
data = [1, 2, 3, 2, 4, 3, 5]

# 创建一个空的set
unique_data = set()

# 遍历列表中的每个元素，将它们添加到set中
for d in data:
    unique_data.add(d)

# 将set转换回列表
unique_data = list(unique_data)

# 输出去重后的数据
print(unique_data)

运行结果为：

[1, 2, 3, 4, 5]

注意，这种方法只适用于数据量不太大的情况。如果数据量很大，可以考虑使用一些高效的去重算法，比如布隆过滤器。

python爬虫数据文本去重

您可以使用Python中的set()函数来去重文本数据。具体步骤如下：

1. 读取文本数据，将每行数据存储在一个字符串列表中；

2. 使用set()函数将字符串列表转换为集合，自动去重；

3. 将去重后的集合转换为列表，以便后续处理。

以下是示例代码：

with open('data.txt', 'r') as f:
    lines = f.readlines()  # 读取文件中的所有行

# 去重
lines = list(set(lines))

# 将去重后的数据写入新的文件
with open('data_new.txt', 'w') as f:
    for line in lines:
        f.write(line)

以上代码读取文件中的所有行，将其转换为集合去重，再将去重后的数据写入新的文件。您可以根据实际情况进行修改。