XGBOOST寻找最优参数和交叉验证预测导入数据 python

1. 导入数据

首先，我们需要导入需要使用的库，以及数据集。

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from xgboost import XGBClassifier

# 导入数据集
data = pd.read_csv('data.csv')

2. 数据预处理

数据预处理是机器学习中非常重要的一步，包括数据清洗、特征选择、特征工程等。在这里，我们只需要将数据集分成训练集和测试集即可。

# 将数据集分成训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(data.iloc[:,:-1], data.iloc[:,-1], test_size=0.3, random_state=42)

3. 寻找最优参数

XGBoost模型有很多参数，例如n_estimators、max_depth、learning_rate等。为了得到最优的参数设置，我们可以使用GridSearchCV函数，它会对每一个参数进行网格搜索，并返回最优的参数组合。

from sklearn.model_selection import GridSearchCV

# 定义要搜索的参数
param_grid = {
    'max_depth': [3, 4, 5],
    'n_estimators': [50, 100, 150],
    'learning_rate': [0.01, 0.1, 1.0]
}

# 定义XGBoost分类器
xgb_clf = XGBClassifier()

# 使用GridSearchCV函数进行搜索
grid_search = GridSearchCV(xgb_clf, param_grid, cv=5, scoring='accuracy')

# 对训练数据进行拟合
grid_search.fit(X_train, y_train)

# 输出最优参数
print(grid_search.best_params_)

4. 模型训练和预测

得到最优参数后，我们可以使用这些参数进行模型训练和预测。

# 使用最优参数进行模型训练
xgb_clf = XGBClassifier(max_depth=5, n_estimators=150, learning_rate=0.1)
xgb_clf.fit(X_train, y_train)

# 对测试数据进行预测
y_pred = xgb_clf.predict(X_test)

# 输出预测结果的准确率
print('Accuracy:', accuracy_score(y_test, y_pred))

5. 交叉验证

交叉验证是评估模型性能的一种常用方法。我们可以使用交叉验证来评估XGBoost模型的性能。

from sklearn.model_selection import cross_val_score

# 进行交叉验证
scores = cross_val_score(xgb_clf, data.iloc[:,:-1], data.iloc[:,-1], cv=5, scoring='accuracy')

# 输出交叉验证的准确率
print('Cross-validation Accuracy:', np.mean(scores))

完整代码：

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from xgboost import XGBClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score

# 导入数据集
data = pd.read_csv('data.csv')

# 将数据集分成训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(data.iloc[:,:-1], data.iloc[:,-1], test_size=0.3, random_state=42)

# 定义要搜索的参数
param_grid = {
    'max_depth': [3, 4, 5],
    'n_estimators': [50, 100, 150],
    'learning_rate': [0.01, 0.1, 1.0]
}

# 定义XGBoost分类器
xgb_clf = XGBClassifier()

# 使用GridSearchCV函数进行搜索
grid_search = GridSearchCV(xgb_clf, param_grid, cv=5, scoring='accuracy')

# 对训练数据进行拟合
grid_search.fit(X_train, y_train)

# 输出最优参数
print(grid_search.best_params_)

# 使用最优参数进行模型训练
xgb_clf = XGBClassifier(max_depth=5, n_estimators=150, learning_rate=0.1)
xgb_clf.fit(X_train, y_train)

# 对测试数据进行预测
y_pred = xgb_clf.predict(X_test)

# 输出预测结果的准确率
print('Accuracy:', accuracy_score(y_test, y_pred))

# 进行交叉验证
scores = cross_val_score(xgb_clf, data.iloc[:,:-1], data.iloc[:,-1], cv=5, scoring='accuracy')

# 输出交叉验证的准确率
print('Cross-validation Accuracy:', np.mean(scores))