列表重复数据只保留一个python

你可以使用 Python 中的 set() 函数来去除列表中的重复数据。具体代码如下：

my_list = [1, 2, 2, 3, 4, 4, 5]
new_list = list(set(my_list))
print(new_list)

这个代码会输出 `[1, 2, 3, 4, 5]`，其中重复的数据被去除了，只保留了一个。

相关问题

处理冗余数据中重复数据，只保留一条,python实现

可以使用 Python 中的集合（set）来去除重复项，并将其转换回列表。以下是一个示例代码：

original_list = [1, 2, 3, 4, 5, 2, 4, 6, 7, 3]
unique_list = list(set(original_list))
print(unique_list)

输出：

[1, 2, 3, 4, 5, 6, 7]

如果您需要保留原始列表的顺序，可以使用 Python 中的顺序字典（OrderedDict）：

from collections import OrderedDict

original_list = [1, 2, 3, 4, 5, 2, 4, 6, 7, 3]
unique_list = list(OrderedDict.fromkeys(original_list))
print(unique_list)

输出：

[1, 2, 3, 4, 5, 6, 7]

pandas中处理冗余数据中重复数据，只保留一条,python实现

可以使用 pandas 中的 `drop_duplicates()` 函数来实现去重。

import pandas as pd

# 创建一个包含冗余数据的DataFrame
df = pd.DataFrame({'A': [1, 2, 3, 1], 'B': [4, 5, 6, 4]})

# 使用 drop_duplicates() 函数去除重复数据
df = df.drop_duplicates()

print(df)

输出结果为：

   A  B
0  1  4
1  2  5
2  3  6

可以看到，DataFrame 中的重复数据已经被去除，只保留了一条。如果想要在指定列上进行去重，可以使用 `subset` 参数指定需要去重的列名。

import pandas as pd

# 创建一个包含冗余数据的DataFrame，并指定需要去重的列
df = pd.DataFrame({'A': [1, 2, 3, 1], 'B': [4, 5, 6, 4], 'C': [7, 8, 9, 7]})

# 使用 drop_duplicates() 函数去除重复数据
df = df.drop_duplicates(subset=['A', 'B'])

print(df)

输出结果为：

   A  B  C
0  1  4  7
1  2  5  8
2  3  6  9

可以看到，只在 A 和 B 两列上进行了去重，而 C 列的数据并不会影响去重结果。