python中数据去重后还是显示原来的数据
时间: 2023-05-30 15:05:32 浏览: 81
如果你在 Python 中对数据进行去重操作,但仍然看到原始数据,则可能有以下几种情况:
1. 你没有将去重后的结果存储到新的变量中。在 Python 中,列表是可变对象,因此对列表进行操作会修改原始列表。如果你想保留原始列表,可以将去重后的结果存储到新的列表中。
2. 你使用了错误的去重方法。在 Python 中,有多种去重方法,包括使用 set() 函数、使用循环和使用列表推导式等。如果你使用的方法不正确,可能会导致无法正确去重。
3. 你的数据类型不支持去重。在 Python 中,只有可哈希的对象才能用于 set() 函数进行去重。如果你的数据类型不可哈希,那么你需要使用其他方法进行去重。
下面是一个使用 set() 函数进行列表去重的示例代码:
```
# 创建一个包含重复元素的列表
my_list = [1, 2, 3, 3, 4, 5, 5, 6]
print("原始列表:", my_list)
# 使用 set() 函数进行去重
my_set = set(my_list)
print("去重后的列表:", list(my_set))
```
输出结果为:
```
原始列表: [1, 2, 3, 3, 4, 5, 5, 6]
去重后的列表: [1, 2, 3, 4, 5, 6]
```
相关问题
python pandas 数据去重
在Python中,使用pandas库可以很方便地进行数据去重操作。下面是三种常见的方法:
1. 使用`drop_duplicates`方法:这个方法适用于DataFrame格式的数据,可以去除指定列下的重复行。具体代码如下:
```python
import pandas as pd
# 读取数据
df = pd.read_excel('666.xlsx')
# 去重
df.drop_duplicates(subset=['ASIN'], keep='first', inplace=True)
# 打印去重后的数据
print(df)
```
引用自
2. 使用`drop_duplicates`方法:这个方法同样适用于DataFrame格式的数据。具体代码如下:
```python
import pandas as pd
# 读取数据
csv = pd.read_csv('E:/aaa/03.csv', low_memory=False, error_bad_lines=False)
df = pd.DataFrame(csv)
# 打印原始数据行数
print(df.shape)
# 去重
f = df.drop_duplicates(keep=False)
# 打印去重后的数据行数
print(f.shape)
# 将去重后的数据写入新文件
f.to_csv('E:/aaa/distionct_03.csv', index=None)
```
引用自
总结起来,以上两种方法都是使用pandas的`drop_duplicates`方法来进行数据去重。第一种方法是针对Excel文件,第二种方法是针对CSV文件。根据你的具体需求选择其中的一种方法即可。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [pandas怎么去除数据中的重复值](https://blog.csdn.net/Leexin_love_Ling/article/details/114024136)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [python数据去重(pandas)](https://blog.csdn.net/qq_39012566/article/details/98633780)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]
python爬虫数据去重代码
以下是Python爬虫数据去重的代码示例:
```python
import hashlib
# 定义一个去重类
class Deduplication(object):
def __init__(self):
self.hash = set()
# 判断url是否重复
def is_duplicate(self, url):
fp = hashlib.sha1()
fp.update(url.encode('utf-8'))
url_sha1 = fp.hexdigest()
if url_sha1 in self.hash:
return True
else:
self.hash.add(url_sha1)
return False
```
使用示例:
```python
# 创建一个去重对象
dedup = Deduplication()
# 判断url是否重复
if dedup.is_duplicate(url):
print('该url已经被爬取过了')
else:
# 爬取该url
...
```