jupyter清洗数据检测重复值例子代码

Jupyter Notebook是一个流行的交互式数据科学环境，用于数据分析和可视化。在Python环境下，Pandas库提供了一系列方便的功能来清洗数据，包括检测重复值。下面是一个简单的例子，演示如何使用Pandas在Jupyter Notebook中检查并处理重复值：

import pandas as pd

# 假设我们有一个DataFrame df，比如从CSV文件读取的
df = pd.read_csv('your_data.csv')  # 请替换为你的实际文件路径

# 检查数据框是否有重复行
print("原始数据的重复值情况：")
duplicates = df.duplicated()  # 返回布尔值系列，True表示重复
print(duplicates.sum(), "行存在重复")

# 可视化重复值分布
duplicates.hist()
plt.show()

# 删除重复值，你可以选择保留第一个出现的记录
df.drop_duplicates(inplace=True)  # inplace=True会直接修改原数据框

# 或者只删除特定列的重复值
df.drop_duplicates(subset='column_name', keep='first', inplace=True)  # 'column_name'替换为你想检查重复的列名

# 现在可以打印新的数据帧确认重复值已被移除
print("\n去重后的数据：")
print(df)