XGBoost算法原理图

### XGBoost算法工作原理

#### 3.1 目标函数（损失函数）

XGBoost的目标是在每一步迭代中最小化目标函数。该目标函数由两部分组成：训练数据上的预测误差和模型复杂度惩罚项。通过这种方式，不仅能够提高模型的准确性还能防止过拟合[^1]。

def objective_function(predictions, labels):
    loss = sum((labels - predictions)**2) / (2 * N)
    regularization_term = gamma * T + lambda_ * L2_norm_of_tree_weights
    return loss + regularization_term

其中`gamma`控制叶节点分裂所需的最小子增益；`lambda_`用于调节L2正则化的强度；T表示叶子数量而L2范数指的是所有树权重平方之和。

#### 3.2 损失函数的优化求解

为了更高效地找到最优解,XGBoost采用了泰勒展开近似方法来简化计算过程。对于每一个样本点，在当前模型基础上增加一个新的弱学习器后的预测值变化量可以被线性表达为关于特征向量的一阶导数与二阶导数的形式。

这种做法使得每次更新都只需要考虑局部信息而不是全局重新评估整个决策路径，从而大大提高了收敛速度并降低了内存占用率。

#### 4、XGBoost算法过程

XGBoost采用加法策略逐步构建多棵回归树。具体来说：

- 初始化时设定初始常数值作为首棵树；
- 对于后续每一棵新加入的树，则依据前一轮得到的结果调整方向继续生长直到满足停止条件为止；
- 最终输出结果为所有单棵树预测得分累加之总和。

此过程中还融入了诸如列采样等随机因素以增强泛化能力，并利用直方图加速技术进一步提升性能表现。