python数据清洗脚本怎么写

Python的数据清洗脚本通常包括以下几个步骤：

1. **导入必要的库**：首先需要导入如pandas、numpy等用于数据处理的库。

import pandas as pd
import numpy as np

2. **加载数据**：使用pandas的`read_csv`或`read_excel`等函数读取数据文件。

data = pd.read_csv('input.csv')

3. **检查数据**：查看数据的基本信息，了解缺失值、异常值等情况。

print(data.info())
data.describe()

4. **处理缺失值**：可以填充缺失值（例如平均值、中位数、前/后续值），删除包含大量缺失值的行或列，或者使用特定算法填补。

# 填充缺失值
data.fillna(value=0, inplace=True)

5. **处理异常值**：通过统计分析识别并处理极端值，有时可能需要替换或删除。

# 删除超过某个阈值的异常值
data = data[data['column_name'] < threshold]

6. **数据转换**：根据需求对数据类型进行转换，比如日期格式化、文本编码等。

data['date_column'] = pd.to_datetime(data['date_column'])

7. **编码分类变量**：对于类别型数据，可能需要进行独热编码或标签编码。

data = pd.get_dummies(data, columns=['category_column'])

8. **数据分段**：如果有必要，可以根据数值特征的范围将数据分为不同的区间。

9. **保存清洗后的数据**：最后将处理过的数据保存到新的CSV或数据库文件。

clean_data = data.drop_duplicates()  # 如果有重复项，移除
clean_data.to_csv('output.csv', index=False)