xgboost 模型

### XGBoost模型使用指南

#### 安装XGBoost库
为了能够顺利使用XGBoost，在Python环境中首先需要安装`xgboost`库。这可以通过pip来完成。

pip install xgboost

#### 导入必要的库并加载数据集
在开始构建模型之前，确保导入所有必需的库以及准备用于训练的数据集[^1]。

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import numpy as np

# 加载波士顿房价数据作为示例
data = load_boston()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2, random_state=42)

#### 构建和训练XGBoost模型
创建DMatrix对象，这是XGBoost特有的输入格式；接着定义参数字典，并利用这些设置初始化一个Booster实例来进行拟合操作[^2]。

dtrain = xgb.DMatrix(X_train, label=y_train)

params = {
    'objective': 'reg:squarederror',  # 对于回归问题
    'eval_metric': 'rmse',
}

num_rounds = 100
bst = xgb.train(params=params, dtrain=dtrain, num_boost_round=num_rounds)

#### 模型评估与预测
一旦完成了上述过程，则可以基于测试集对所得到的结果进行验证，计算均方误差(MSE)，并通过可视化手段展示效果[^3]。

dtest = xgb.DMatrix(X_test)
predictions = bst.predict(dtest)

print(f'The RMSE of prediction is {np.sqrt(mean_squared_error(y_test, predictions))}')

#### 正则化参数调整
对于更复杂的场景下，可能还需要考虑调节正则项系数(lambda 和 alpha)，以此达到防止过拟合并提升泛化能力的目的[^4]。

param_tuning = {
    'lambda': [0.1, 1, 5],
    'alpha': [0, 0.1, 0.5]
}
best_params = None
min_rmse = float('inf')

for lmbda in param_tuning['lambda']:
    for alp in param_tuning['alpha']:
        params.update({'lambda': lmbda})
        params.update({'alpha': alp})

        cv_results = xgb.cv(
            params,
            dtrain,
            num_boost_round=num_rounds,
            nfold=5,
            metrics={'rmse'},
            early_stopping_rounds=10
        )

        mean_rmse = cv_results['test-rmse-mean'].min()

        if mean_rmse < min_rmse:
            best_params = {'lambda': lmbda, 'alpha': alp}
            min_rmse = mean_rmse
            
if best_params:
    print(f'Best parameters found: lambda={best_params["lambda"]}, alpha={best_params["alpha"]}')

params.update(best_params)
final_model = xgb.train(params=params, dtrain=dtrain, num_boost_round=num_rounds)

#### 部署XGBoost模型
当一切就绪之后，就可以按照指定的方式保存好训练好的模型文件(.pkl), 同时记录依赖关系到requirements.txt以便后续部署阶段使用[^5].

# 将模型保存为.pkl格式
bst.save_model('model.bst')
# 记录当前环境下的所有已安装包至requirements.txt
pip freeze > requirements.txt