numpy数据预处理

NumPy是Python中用于科学计算的基础库，它提供了强大的数组对象和各种数学函数。在数据预处理阶段，NumPy经常被用来处理和转换数据，使其适合进一步的分析或模型训练。以下是NumPy数据预处理的一些关键操作：

1. **加载数据**：NumPy可以读取各种格式的数据文件，如文本文件（`.txt`）、CSV（`.csv`）、二进制文件等，并将其转换为数组。

import numpy as np
data = np.loadtxt('data.txt', delimiter=',')

2. **数据清洗**：处理缺失值（NaNs），可以选择填充、删除或用平均值、中位数等代替。

   data = np.nan_to_num(data, nan=0)

3. **数据类型转换**：确保数据类型合适，例如将分类变量转换为整数或one-hot编码。

   data[:, 0] = data[:, 0].astype(int)

4. **标准化或归一化**：将数值缩放到特定范围，如0-1之间或平均值为0，标准差为1的Z-score。

   data = (data - data.mean()) / data.std()

5. **特征选择和工程**：创建新的特征，如多项式特征、交互项等。

   data_poly = np.add.outer(data[:, 0], data[:, 1])

6. **分箱或离散化**：对于连续但有序的数值，可能需要将其离散化为几个类别。

   bins = np.linspace(data.min(), data.max(), 5)
   data_binned = pd.cut(data[:, 0], bins=bins).codes