处理冗余数据中重复数据，只保留一条,python实现

可以使用 Python 中的集合（set）来去除重复项，并将其转换回列表。以下是一个示例代码：

original_list = [1, 2, 3, 4, 5, 2, 4, 6, 7, 3]
unique_list = list(set(original_list))
print(unique_list)

输出：

[1, 2, 3, 4, 5, 6, 7]

如果您需要保留原始列表的顺序，可以使用 Python 中的顺序字典（OrderedDict）：

from collections import OrderedDict

original_list = [1, 2, 3, 4, 5, 2, 4, 6, 7, 3]
unique_list = list(OrderedDict.fromkeys(original_list))
print(unique_list)

输出：

[1, 2, 3, 4, 5, 6, 7]

相关问题

pandas中处理冗余数据中重复数据，只保留一条,python实现

可以使用 pandas 中的 `drop_duplicates()` 函数来实现去重。

import pandas as pd

# 创建一个包含冗余数据的DataFrame
df = pd.DataFrame({'A': [1, 2, 3, 1], 'B': [4, 5, 6, 4]})

# 使用 drop_duplicates() 函数去除重复数据
df = df.drop_duplicates()

print(df)

输出结果为：

   A  B
0  1  4
1  2  5
2  3  6

可以看到，DataFrame 中的重复数据已经被去除，只保留了一条。如果想要在指定列上进行去重，可以使用 `subset` 参数指定需要去重的列名。

import pandas as pd

# 创建一个包含冗余数据的DataFrame，并指定需要去重的列
df = pd.DataFrame({'A': [1, 2, 3, 1], 'B': [4, 5, 6, 4], 'C': [7, 8, 9, 7]})

# 使用 drop_duplicates() 函数去除重复数据
df = df.drop_duplicates(subset=['A', 'B'])

print(df)

输出结果为：

   A  B  C
0  1  4  7
1  2  5  8
2  3  6  9

可以看到，只在 A 和 B 两列上进行了去重，而 C 列的数据并不会影响去重结果。

统计冗余数据重复的次数python实现

可以使用Python中的Counter模块来统计数据重复的次数。以下是一个例子：

from collections import Counter

data = [1, 2, 3, 4, 1, 2, 3, 1, 2, 1]

counter = Counter(data)

for key, value in counter.items():
    if value > 1:
        print(f"{key}出现了{value}次")

输出结果为：

1出现了4次
2出现了3次
3出现了2次

这个例子中，我们将一个包含重复数据的列表传递给Counter模块，然后使用items()方法遍历Counter对象并打印出现次数大于1的数据。