用python判断一段文本的重复率

在Python中，你可以通过计算文本中每个单词或字符的出现频率，并将结果转化为百分比来判断一段文本的重复率。这里提供一种简单的方法：

def text_repetition(text):
    # 将文本转换为小写并移除非字母数字字符
    cleaned_text = ''.join(e for e in text.lower() if e.isalnum())
    
    # 分割文本为单词列表
    word_list = cleaned_text.split()
    
    # 计算每个单词的出现次数
    word_count = {}
    for word in word_list:
        word_count[word] = word_count.get(word, 0) + 1
    
    # 总词数
    total_words = len(word_list)
    
    # 计算重复率
    repetition_rate = sum(count / total_words * 100 for count in word_count.values()) / len(word_count)
    
    return repetition_rate

# 使用示例
text = "这是一段测试文本，它包含一些重复的词语，如“测试”和“文本”。"
repet_rate = text_repetition(text)
print(f"文本的重复率大约是：{repet_rate}%")

这个函数首先清理文本并分割成单词，然后统计每个单词的出现次数，最后计算平均重复率。注意，这种方法假定重复的是完整的单词而非部分单词。