simhash算法实现python

Simhash算法是一种用于文本相似度比较的算法，它可以通过将文本的特征哈希为一个固定长度的二进制数字，然后比较这些数字的汉明距离来确定文本的相似度。

以下是一个简单的Simhash算法实现的Python代码：

import re
import hashlib

def simhash(text):
    # 定义哈希位数
    hashbits = 64

    # 定义特征向量
    v = [0] * hashbits

    # 分词
    words = re.findall(r'\w+', text.lower())

    # 遍历每个单词
    for word in words:
        # 计算单词的哈希值
        hashval = int(hashlib.md5(word.encode('utf-8')).hexdigest(), 16)
        
        # 遍历哈希值的每一位
        for i in range(hashbits):
            # 如果该位为1，加上权重，否则减去权重
            if (hashval & (1 << i)):
                v[i] += 1
            else:
                v[i] -= 1

    # 生成simhash值
    simhash = 0
    for i in range(hashbits):
        if v[i] > 0:
            simhash |= 1 << i

    return simhash

使用示例：

text1 = "This is a test text for simhash algorithm."
text2 = "This is a test text for simhash algorithms."

# 计算simhash值
simhash1 = simhash(text1)
simhash2 = simhash(text2)

# 计算汉明距离
hamming_distance = bin(simhash1 ^ simhash2).count('1')

# 打印结果
print("Simhash1:", simhash1)
print("Simhash2:", simhash2)
print("Hamming distance:", hamming_distance)

输出结果：

Simhash1: 12605323822822352684
Simhash2: 12769845372629383580
Hamming distance: 9

上述代码计算了两个文本的simhash值，并计算了它们的汉明距离。由于两个文本很相似，它们的simhash值很接近，但是由于有一些不同的单词，它们的汉明距离为9，说明它们的相似度比较高。