Python数据清洗必会：7种实用方法处理重复与缺失值

在进行数据分析时，数据清洗是至关重要的一步，包括处理重复值和缺失值。本文将详细介绍Python中的pandas库如何有效地进行这两方面的数据清洗工作。 **01. 处理重复值** 重复数据在数据录入和整合过程中常见，pandas库提供了两个关键方法来处理这个问题。`duplicated()`函数用于检查数据集中是否存在重复项，返回一个布尔值的Series，表明哪些行是重复的。例如： ```python df.duplicated() # 查看重复项 ``` 如果需要删除重复项，可以使用`drop_duplicates()`方法，它可以按指定列进行去重，如删除id列的重复记录： ```python df.drop_duplicates(subset='id', keep='first') # 删除id列重复的第一条记录 ``` **02. 处理缺失值** 缺失值处理需要根据数据特点和业务背景进行。pandas的`fillna()`方法可用于填充缺失值，可以采用均值、中位数或众数等统计量进行填补。例如，用列均值填充`score`列的缺失值： ```python df['score'].fillna(df['score'].mean(), inplace=True) # 用平均值填充缺失值 ``` 对于分类变量，可以选择不填补，仅作为一类处理，或者使用众数填补。在缺失值较多时（超过80%），可能需要创建一个缺失值指示变量，利用pandas的`isnull()`方法生成： ```python df['score_missing'] = df['score'].isnull().astype(int) # 创建缺失值指示变量 ``` 此外，还可以通过`fillna`方法设置特定值进行填充，如用分位数填充： ```python df['score'].fillna(df['score'].quantile(0.5), inplace=True) # 用中位数填充 ``` Python的pandas库提供了丰富的工具来处理数据清洗，无论是重复值的检测和去除，还是缺失值的合理填充，都能帮助我们确保数据的质量，从而提高后续数据分析的准确性。在实际操作中，需要灵活运用这些方法，并结合业务逻辑，进行精细化的数据清洗。