unswnb15数据集预处理

### UNSW-NB15 数据集预处理

对于UNSW-NB15数据集，在进行机器学习模型构建之前，需执行一系列预处理操作来提升后续分析的有效性和准确性。具体而言：

#### 1. 缺失值处理
检查并处理缺失值是至关重要的一步。可以通过删除含有大量缺失值的列或填充合理估计值的方式解决此问题[^2]。

#### 2. 类型转换
部分字段可能被错误识别为字符串或其他不恰当的数据类型；应将其更正为目标类型，比如将某些数值属性由object转为int或float形式。

#### 3. 特征缩放
为了使不同量级特征之间具有可比性，通常会对连续变量应用标准化（Standardization）或归一化（Normalization）。这有助于提高算法性能和收敛速度[^4]。

#### 4. 独热编码 (One-Hot Encoding)
针对分类性质较强的离散型变量实施独热编码可以有效防止引入不必要的顺序关系假设。例如，协议类型等类别特征通过这种方式转化为二进制向量表示。

#### 5. 去除冗余维度
利用统计检验或者基于领域知识选取最具区分度的子集作为最终输入空间的一部分，从而减少计算开销的同时保持甚至增强预测能力。

import pandas as pd
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer

# 加载数据集
df = pd.read_csv('path_to_unsw_nb15.csv')

# 处理缺失值
imputer = SimpleImputer(strategy='mean')
numeric_features = df.select_dtypes(include=['number']).columns.tolist()
categorical_features = ['protocol', 'service']  # 示例中的分类特征名

preprocessor = ColumnTransformer(
    transformers=[
        ('num', imputer, numeric_features),
        ('cat', OneHotEncoder(), categorical_features)])

# 应用变换
X_preprocessed = preprocessor.fit_transform(df)

# 对连续特征进行标准化
scaler = StandardScaler().fit(X_preprocessed[:, :len(numeric_features)])
scaled_numeric_data = scaler.transform(X_preprocessed[:, :len(numeric_features)])

print("完成预处理后的数据形状:", scaled_numeric_data.shape)