numpy中深度学习数据准备与处理

# 2.1 数据清洗和标准化

### 2.1.1 缺失值处理

缺失值处理是数据预处理中至关重要的一步，它可以帮助我们处理数据集中缺失或无效的数据。NumPy提供了多种方法来处理缺失值，包括：

- `np.nan`: 创建一个表示缺失值的特殊值。
- `np.isnan()`: 检查数组中的值是否为缺失值。
- `np.where()`: 查找并替换缺失值。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])

# 检查数组中的缺失值
print(np.isnan(arr))  # 输出：[False False  True False False]

# 替换缺失值
arr[np.isnan(arr)] = 0
print(arr)  # 输出：[1 2 0 4 5]

# 2. 数据预处理与转换

数据预处理是机器学习和数据分析中的一个重要步骤，它涉及到将原始数据转换为适合建模和分析的格式。数据预处理可以包括数据清洗、标准化、归一化和特征工程等步骤。

### 2.1 数据清洗和标准化

#### 2.1.1 缺失值处理

缺失值是数据预处理中常见的挑战。处理缺失值的方法有多种，包括：

- **删除缺失值：**如果缺失值数量较少，并且不影响数据的整体分布，则可以将其删除。
- **填充缺失值：**可以使用平均值、中位数或众数等统计量来填充缺失值。
- **插值：**使用相邻数据点之间的插值方法来估计缺失值。

#### 2.1.2 数据类型转换

数据类型转换是将数据从一种数据类型转换为另一种数据类型。例如，将字符串转换为数字或将数字转换为布尔值。数据类型转换对于确保数据的一致性和兼容性至关重要。

# 将字符串转换为数字
data['age'] = data['age'].astype(int)

# 将数字转换为布尔值
data['is_male'] = data['gender'] == 'male'

### 2.2 数据归一化和标准化

数据归一化和标准化是将数据转换为具有相同范围或分布的两种技术。这对于比较不同特征或将数据用于机器学习模型至关重要。

#### 2.2.1 归一化方法

归一化将数据转换为介于 0 和 1 之间的范围。常用的归一化方法包括：

- **最小-最大归一化：**将数据减去最小值并除以最大值和最小值之间的差。
- **小数定标：**将数据除以其最大值。

# 最小-最大归一化
data['age'] = (data['age'] - data['age'].min()) / (data['age'].max() - data['age'].min())

# 小数定标
data['height'] = data['height'] / data['height'].max()

#### 2.2.2 标准化方法

标准化将数据转换为具有均值为 0 和标准差为 1 的分布。常用的标准化方法包括：

- **Z-分数标准化：**将数据减去均值并除以标准差。
- **均值-方差标准化：**将数据减去均值并除以方差的平方根。

# Z-分数标准化
data['age'] = (data['age'] - data['age'].mean(