【基础】Python数据特征工程入门

# 1. Python数据特征工程概述**

数据特征工程是机器学习和数据分析中至关重要的步骤，它通过转换和选择原始数据中的特征来提高模型的性能。Python是一种流行的编程语言，提供了一系列强大的库和工具来进行数据特征工程。本章将概述数据特征工程的概念、目标和在Python中的应用。

# 2. 数据预处理基础

数据预处理是特征工程中的第一步，其目的是将原始数据转换为适合建模和分析的形式。数据预处理包括数据清洗、转换、归一化和标准化等步骤。

### 2.1 数据清洗和转换

数据清洗和转换是处理原始数据中缺失值、异常值和数据类型不一致等问题的过程。

#### 2.1.1 数据类型转换

数据类型转换是指将数据从一种数据类型转换为另一种数据类型。例如，将字符串转换为数字，将日期转换为时间戳。

# 将字符串转换为数字
data['age'] = data['age'].astype(int)

# 将日期转换为时间戳
data['date'] = pd.to_datetime(data['date'])

#### 2.1.2 缺失值处理

缺失值处理是指处理数据中缺失的值。缺失值处理方法包括删除缺失值、用平均值或中位数填充缺失值，以及使用插值或建模方法估计缺失值。

# 删除缺失值
data.dropna()

# 用平均值填充缺失值
data['age'].fillna(data['age'].mean())

# 用插值估计缺失值
data['age'].interpolate()

#### 2.1.3 异常值处理

异常值处理是指处理数据中与其他值明显不同的值。异常值处理方法包括删除异常值、用平均值或中位数替换异常值，以及使用统计方法检测和移除异常值。

# 删除异常值
data = data[data['age'] < 100]

# 用平均值替换异常值
data['age'].replace(data['age'] > 100, data['age'].mean())

# 使用统计方法检测和移除异常值
from scipy.stats import zscore
data = data[np.abs(zscore(data)) < 3]

### 2.2 数据归一化和标准化

数据归一化和标准化是将数据转换为具有相同范围或分布的过程。归一化将数据转换为 0 到 1 之间的范围，而标准化将数据转换为均值为 0，标准差为 1 的分布。

#### 2.2.1 归一化方法

归一化方法包括最小-最大归一化和最大-最小归一化。

# 最小-最大归一化
data['age'] = (data['age'] - data['age'].min()) / (data['age'].max() - data['age'].min())

# 最大-最小归一化
data['age'] = (data['age'].max() - data['age']) / (data['age'].max() - data['age'].min())

#### 2.2.2 标准化方法

标准化方法包括 z-score 标准化和均值-方差标准化。

# z-score 标准化
data['age'] = (data['age'] - data['age'].mean()) / data['age'].std()

# 均值-方差标准化
data['age'] = (data['age'] - data['age'].mean()) / np.sqrt(data['age'].var())

**表格 2.1 数据预处理方法总结**

| 方法 | 目的 |
|---|---|
| 数据类型转换 | 将数据转换为不同的数据类型 |
| 缺失值处理 | 处理数据中的缺失值 |
| 异常值处理 | 处理数据中的异常值 |
| 归一化 | 将数据转换为 0 到 1 之间的范围 |
| 标准化 | 将数据转换为均值为 0，标准差为 1 的分布 |

**流程图 2.1 数据预处理流程**

[流程图 2.1 数据预处理流程](https://mermaid-js.github.io/mermaid-live-editor/#/edit/eyJjb2RlIjoiZ3JhcGgge05vdGU6IERhdGEgUHJlcHJvY2Vzc2luZyBQcm9jZXNzfQ0KDQpzdWJncmFwaCBwcmVwcm9jZXNzIHsNCiAgICBzdWJncmFwaCBjbGVhbmluZyB7DQogICAgICAgIGRhdGEgdHlwZSBjb252ZXJzaW9uDQogICAgICAgIGRhdGEgdmFsaWRhdGlvbg0KICAgICAgICBkYXRhIHN0YW5kYXJkaXphdGlvbg0KICAgIH0NCiAgICBzdWJncmFwaCB0cmFuc2Zvcm1hdGlvbiB7DQogICAgICAgIGRhdGEgbm9ybWFsaXphdGlvbg0KICAgICAgICBkYXRhIHN0YW5kYXJkaXphdGlvbg0KICAgIH0NCn0NCg0Kc3Vid2dyYXBoIGFuYWx5c2lzIHsNCiAgICBzdWJncmFwaCBmaWx0ZXIge1DQogICAgICAgIGRhdGEgdHlwZSBjb252ZXJzaW9uDQogICAgICAgIGRhdGEgdmFsaWRhdGlvbg0KICAgICAgICBkYXRhIHN0YW5kYXJkaXphdGlvbg0KICAgIH0NCiAgICBzdWJncmFwaCB3cmFwcGVyIHsNCiAgICAgICBkYXRhIG5vcm1hbGl6YXRpb24NCiAgICAgICBkYXRhIHN0YW5kYXJkaXphdGlvbg0KICAgIH0NCn0iLCJtZXJtYWlkIjoiZ3JhcGgge05vdGU6IERhdGEgUHJlcHJvY2Vzc2luZyBQcm9jZXNzfQ0KDQpzdWJncmFwaCBwcmVwcm9jZXNzIHsNCiAgICBzdWJncmFwaCBjbGVhbmluZyB7DQogICAgICAgIGRhdGEgdHlwZSBjb252ZXJzaW9uDQogICAgICAgIGRhdGEgdmFsaWRhdGlvbg0KICAgICAgICBkYXRhIHN0YW5kYXJkaXphdGlvbg0KICAgIH0NCiAgICBzdWJncmFwaCB0cmFuc2Zvcm1hdGlvbiB7DQogICAgICAgIGRhdGEgbm9ybWFsaXphdGlvbg0KICAgICAgICBkYXRhIHN0YW5kYXJkaXphdGlvbg0KICAgIH