python查找重复文本字段

如果你想要查找文本中的重复字段，可以尝试使用Python中的set()函数。具体步骤如下：

1. 将文本拆分为单个单词或短语。

2. 将拆分后的单词或短语存储在一个列表中。

3. 使用set()函数将列表转换为一个集合，集合将自动去除重复项。

4. 将集合转换回列表，并将其与原始列表进行比较，查找重复项。

下面是一个例子，演示如何使用Python查找重复文本字段：

text = "This is a sample text with some repeated words. Sample text is always useful as a demo."

#将文本分割为单词
words = text.split()

#将单词存储在列表中
word_list = []
for word in words:
    word_list.append(word.lower())

#将列表转换为集合，自动去除重复项
unique_words = set(word_list)

#将集合转换回列表，并将其与原始列表进行比较，查找重复项
duplicate_words = []
for word in unique_words:
    if word_list.count(word) > 1:
        duplicate_words.append(word)

print("重复的单词：", duplicate_words)

输出结果为：

重复的单词： ['a', 'is', 'sample', 'text', 'with']

这个例子中，我们将文本拆分为单词，并将单词存储在一个列表中。然后，我们使用set()函数将列表转换为一个集合，自动去除重复项。接着，我们将集合转换回列表，并将其与原始列表进行比较，查找重复项。最后，我们输出重复的单词。