python剔除csv重复的属性,并统计剩余的数目
时间: 2024-03-14 09:43:14 浏览: 53
去除重复数据
在剔除csv中重复的属性后,可以使用pandas库中的value_counts()函数来统计剩余的数目。以下是一段示例代码:
```python
import pandas as pd
# 读取csv文件,并指定需要剔除的列名
df = pd.read_csv('data.csv')
df.drop_duplicates(subset=['column_name'], inplace=True)
# 统计剩余数据的数量
counts = df['column_name'].value_counts()
# 输出统计结果
print(counts)
```
其中,column_name是你想要剔除的列的列名。首先使用drop_duplicates函数删除重复项,然后使用value_counts函数统计剩余数据中各个属性出现的次数。最后输出统计结果即可。
阅读全文