XGBoost分类模型推导

### XGBoost 分类模型工作原理

XGBoost 是一种基于梯度提升决策树（GBDT）框架的机器学习方法，旨在优化计算资源的同时提高预测性能。该算法通过构建一系列弱分类器来形成强分类器，并利用正则化技术防止过拟合。

#### 加法模型结构

在XGBoost中，最终预测结果是多棵回归树输出分数的累加[^2]：

\[ \hat{y_i}^{(t)}=\sum_{k=1}^K f_k(x_i),\quad f_k\in\mathcal{F}, \]

其中 \(f\) 表示CART回归树组成的函数空间；\(K\) 代表迭代次数即基学习者的数量；而 \(\hat{y}_i\) 则表示对于给定输入特征向量 \(x_i\) 所得到的目标变量估计值。

#### 目标函数定义

为了训练这些回归树，需要最小化如下形式化的损失函数:

\[ Obj(t)=L^{(t)}+\Omega(f_t)+\gamma T, \]

这里 \(L^{(t)}\) 记录的是当前轮次下的数据误差项，通常采用逻辑斯谛对数似然作为二元分类任务中的具体表达方式；\(\Omega(f)\) 负责衡量单颗树复杂程度并引入 L1 和 L2 正则化惩罚因子以控制模型泛化能力；最后加上新加入叶子节点所带来的固定成本 \(\gamma T\) 来平衡整体架构规模[Tianqi Chen et al., 2016][^1].

#### 梯度提升机制

不同于传统随机森林依靠多数表决决定类别标签，在每次迭代过程中，XGBoost会依据前一轮产生的残差去调整后续生成的新树形状及其权重参数。这种策略使得每一步改进都朝着减少全局错误率的方向前进，从而逐步逼近最优解路径。

import xgboost as xgb
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# 创建模拟数据集
X, y = make_classification(n_samples=1000, n_features=20,
                           n_informative=2, n_redundant=10,
                           random_state=7)

# 数据分割
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, stratify=y, random_state=78)

# 定义DMatrix对象用于存储训练/测试数据
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)

param = {
    'max_depth': 3,  # 树的最大深度
    'eta': 0.3,      # 学习速率
    'objective': 'binary:logistic',  # 对于二分类问题使用此目标函数
}

num_round = 100       # 迭代次数
bst = xgb.train(param, dtrain, num_round)

preds = bst.predict(dtest)
print(preds[:5])     # 输出部分预测概率值