python中数据去重后还是显示原来的数据

如果你在 Python 中对数据进行去重操作，但仍然看到原始数据，则可能有以下几种情况：

1. 你没有将去重后的结果存储到新的变量中。在 Python 中，列表是可变对象，因此对列表进行操作会修改原始列表。如果你想保留原始列表，可以将去重后的结果存储到新的列表中。

2. 你使用了错误的去重方法。在 Python 中，有多种去重方法，包括使用 set() 函数、使用循环和使用列表推导式等。如果你使用的方法不正确，可能会导致无法正确去重。

3. 你的数据类型不支持去重。在 Python 中，只有可哈希的对象才能用于 set() 函数进行去重。如果你的数据类型不可哈希，那么你需要使用其他方法进行去重。

下面是一个使用 set() 函数进行列表去重的示例代码：

# 创建一个包含重复元素的列表
my_list = [1, 2, 3, 3, 4, 5, 5, 6]
print("原始列表：", my_list)

# 使用 set() 函数进行去重
my_set = set(my_list)
print("去重后的列表：", list(my_set))

输出结果为：

原始列表： [1, 2, 3, 3, 4, 5, 5, 6]
去重后的列表： [1, 2, 3, 4, 5, 6]

相关问题

python实现数据去重

在Python中，数据去重有多种方法可以实现，以下是几种常见的技巧：

1. 列表推导式（List Comprehension）：对于列表或其他序列类型的重复元素，可以创建一个新的列表，只包含不重复的值。

unique_list = [x for i, x in enumerate(lst) if lst.index(x) == i]

2. 使用set集合：集合内的元素都是唯一的，将列表转换为集合，再转回列表即可去除重复。

deduplicated_list = list(set(lst))

3. 序列排序并连接：对序列进行排序后，连续的重复项会被视为相等，然后逐个添加到新列表。

deduplicated_list = []
[i for n, i in enumerate(lst) if i not in deduplicated_list or n > deduplicated_list[-1]]

4. 使用pandas库：如果你的数据在DataFrame中，`drop_duplicates()`函数非常方便。

import pandas as pd
df = df.drop_duplicates()

python pandas 数据去重

在Python中，使用pandas库可以很方便地进行数据去重操作。下面是三种常见的方法：

1. 使用`drop_duplicates`方法：这个方法适用于DataFrame格式的数据，可以去除指定列下的重复行。具体代码如下：

import pandas as pd

# 读取数据
df = pd.read_excel('666.xlsx')

# 去重
df.drop_duplicates(subset=['ASIN'], keep='first', inplace=True)

# 打印去重后的数据
print(df)

引用自

2. 使用`drop_duplicates`方法：这个方法同样适用于DataFrame格式的数据。具体代码如下：

import pandas as pd

# 读取数据
csv = pd.read_csv('E:/aaa/03.csv', low_memory=False, error_bad_lines=False)
df = pd.DataFrame(csv)

# 打印原始数据行数
print(df.shape)

# 去重
f = df.drop_duplicates(keep=False)

# 打印去重后的数据行数
print(f.shape)

# 将去重后的数据写入新文件
f.to_csv('E:/aaa/distionct_03.csv', index=None)

引用自

总结起来，以上两种方法都是使用pandas的`drop_duplicates`方法来进行数据去重。第一种方法是针对Excel文件，第二种方法是针对CSV文件。根据你的具体需求选择其中的一种方法即可。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [pandas怎么去除数据中的重复值](https://blog.csdn.net/Leexin_love_Ling/article/details/114024136)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [python数据去重（pandas）](https://blog.csdn.net/qq_39012566/article/details/98633780)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]