用python方式查找重复记录并删除
时间: 2024-04-30 21:23:45 浏览: 156
查找删除重复记录
可以使用pandas库来实现查找重复记录并删除,具体步骤如下:
1. 导入pandas库
```python
import pandas as pd
```
2. 读取数据
```python
df = pd.read_csv("data.csv")
```
3. 查找重复记录
```python
dup = df.duplicated()
```
4. 删除重复记录
```python
df = df.drop_duplicates()
```
完整代码示例:
```python
import pandas as pd
# 读取数据
df = pd.read_csv("data.csv")
# 查找重复记录
dup = df.duplicated()
# 删除重复记录
df = df.drop_duplicates()
# 输出结果
print(df)
```
其中,data.csv为数据文件,可以根据实际情况进行修改。
阅读全文