python 计算不同记录之间的距离，并判定相似度超过阈值的记录为重复记录

要计算不同记录之间的距离并判断相似度超过阈值的记录为重复记录，可以使用编辑距离算法或者余弦相似度算法。

编辑距离算法是指两个字符串之间，由一个转成另一个所需的最少编辑操作次数，可以用来衡量两个字符串的相似程度。

余弦相似度算法是指两个向量之间的夹角余弦值，可以用来衡量两个向量的相似程度。

在 Python 中，可以使用以下代码实现：

使用编辑距离算法：

import editdistance

# 计算两个字符串之间的编辑距离
distance = editdistance.eval(str1, str2)

# 判断两个字符串是否相似
if distance <= threshold:
    # 两个字符串相似，认为是重复记录
else:
    # 两个字符串不相似，不是重复记录

使用余弦相似度算法：

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

# 将两个字符串转化为向量
vector1 = np.array([...])
vector2 = np.array([...])

# 计算两个向量之间的余弦相似度
similarity = cosine_similarity(vector1.reshape(1, -1), vector2.reshape(1, -1))[0][0]

# 判断两个向量是否相似
if similarity >= threshold:
    # 两个向量相似，认为是重复记录
else:
    # 两个向量不相似，不是重复记录

其中，threshold 表示相似度的阈值，根据实际情况设置。