xgboost迭代训练模型中所用到的公式

在xgboost中，迭代训练模型的目标是最小化损失函数。具体来说，在每一轮迭代中，我们需要计算每个样本的梯度和二阶导数，然后根据这些值来计算更新步长和权重。

假设有 $N$ 个样本，$F(x_i)$ 表示第 $i$ 个样本的预测值，$y_i$ 表示第 $i$ 个样本的真实值，$L$ 表示损失函数，则损失函数的一阶导数和二阶导数分别为：

$$
g_i = \frac{\partial L(y_i, F(x_i))}{\partial F(x_i)}, \quad h_i = \frac{\partial^2 L(y_i, F(x_i))}{\partial F(x_i)^2}
$$

其中，$g_i$ 表示第 $i$ 个样本的梯度，$h_i$ 表示第 $i$ 个样本的二阶导数。

在xgboost中，我们使用一个树模型来拟合梯度和二阶导数，即：

$$
F_t(x) = F_{t-1}(x) + \sum_{k=1}^K f_k(x; \Theta_k),
$$

其中，$F_t(x)$ 表示第 $t$ 棵树的预测值，$F_{t-1}(x)$ 表示前 $t-1$ 棵树的预测值，$f_k(x; \Theta_k)$ 表示第 $k$ 个叶子节点的预测值，$\Theta_k$ 表示第 $k$ 个叶子节点的参数。

为了最小化损失函数，我们需要计算每个叶子节点的分数，即：

$$
s_{i,k} = \frac{1}{2} \left[ \frac{G_{i,k}}{H_{i,k}+\lambda} + \gamma \right],
$$

其中，$G_{i,k}$ 表示第 $k$ 个叶子节点中样本的梯度之和，$H_{i,k}$ 表示第 $k$ 个叶子节点中样本的二阶导数之和，$\lambda$ 和 $\gamma$ 分别为正则化参数。

根据 $s_{i,k}$ 的值，我们可以计算每个叶子节点的分裂增益，即：

$$
G_{k} = \frac{1}{2} \left[ \frac{G_{L,k}^2}{H_{L,k}+\lambda} + \frac{G_{R,k}^2}{H_{R,k}+\lambda} - \frac{(G_{L,k}+G_{R,k})^2}{H_{L,k}+H_{R,k}+\lambda} \right] - \gamma,
$$

其中，$G_{L,k}$ 和 $G_{R,k}$ 分别表示左子树和右子树中样本的梯度之和，$H_{L,k}$ 和 $H_{R,k}$ 分别表示左子树和右子树中样本的二阶导数之和。

最后，我们选择分裂增益最大的节点作为当前树的分裂点，并更新叶子节点的预测值。