unsw-nb15数据集的训练集测试集合并并对数据集预处理操作代码

以下是一个示例代码，展示了如何将UNSW-NB15数据集的训练集和测试集合并并进行预处理操作：

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_test_split

# 加载训练集和测试集
train_data = pd.read_csv("UNSW-NB15_1.csv", header=None)
test_data = pd.read_csv("UNSW-NB15_2.csv", header=None)

# 合并训练集和测试集
data = pd.concat([train_data, test_data], axis=0)

# 删除不必要的列和重复项
data = data.drop(columns=[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 22, 24, 29])
data = data.drop_duplicates()

# 处理缺失值和异常值，这里以删除缺失值和异常值为例
data = data.dropna()
data = data[(np.abs(data-data.mean()) <= (3*data.std())).all(axis=1)]

# 标准化数据，对数值特征进行标准化
scaler = StandardScaler()
data.iloc[:, :-1] = scaler.fit_transform(data.iloc[:, :-1])

# 编码类别特征
encoder = LabelEncoder()
for column in data.columns:
    if data[column].dtype == np.object:
        data[column] = encoder.fit_transform(data[column])

# 划分数据集
X = data.iloc[:, :-1]
y = data.iloc[:, -1]
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)
X_val, X_test, y_val, y_test = train_test_split(X_val, y_val, test_size=0.5, random_state=42)

# 保存处理后的数据集
X_train.to_csv("X_train.csv", index=False)
y_train.to_csv("y_train.csv", index=False)
X_val.to_csv("X_val.csv", index=False)
y_val.to_csv("y_val.csv", index=False)
X_test.to_csv("X_test.csv", index=False)
y_test.to_csv("y_test.csv", index=False)

需要注意的是，这只是一个示例代码，具体的预处理操作需要根据数据集的特点和使用场景进行调整和优化。