pandas数据清洗的代码

Pandas库是Python中用于数据处理的强大工具，数据清洗是数据分析的第一步，它涉及到删除缺失值、异常值处理、重复值识别等操作。以下是使用pandas进行数据清洗的一些常见步骤和代码示例：

1. **检查缺失值**：

   df.isnull().sum()  # 查看每列缺失值的数量

如果需要删除含有缺失值的行或列：

   df.dropna()  # 删除所有含有缺失值的行
   df.dropna(axis=1, how='all')  # 删除含有全部缺失值的列

2. **处理缺失值**：
- 使用`fillna()`填充特定值：

     df.fillna(value, inplace=True)  # 将NaN替换为value

- 使用前一个非空值填充（向前填充，backfilling）：

     df.ffill()
     df.bfill()

3. **异常值检测**：
可能会用到Z-score或IQR方法：

   from scipy import stats
   z_scores = stats.zscore(df)
   outliers = np.abs(z_scores) > 3  # 检查3σ之外的数据
   df[outliers] = np.nan  # 或者处理为异常值

4. **重复值检测和去除**：

   df.drop_duplicates(inplace=True)  # 删除重复行

5. **转换数据类型**：

   df['column_name'] = df['column_name'].astype('desired_type')

记得，在实际应用中，根据数据集的具体情况选择合适的数据清洗策略。