light GBM预测算法公式

### LightGBM 预测算法的数学公式

LightGBM 是一种基于决策树的梯度提升框架，其核心在于通过构建一系列弱学习器（通常是决策树），并将这些模型的结果组合起来形成强预测模型。具体来说，在每一棵树中，目标是最小化损失函数 \( L \)，该过程可以通过下面的公式表示：

\[ L(y_i, F(x_i)) = l(y_i, F_{t-1}(x_i) + f_t(x_i)) + \Omega(f_t) \]

其中：
- \( y_i \) 表示第 i 个样本的真实标签；
- \( F(x_i) \) 表示当前迭代轮次 t 下所有已训练好的树对于输入特征向量 \( x_i \) 的累积预测值；
- \( f_t(x_i) \) 则代表新增加的一棵回归树给出的新贡献部分；
- \( \Omega(f_t)=\gamma T+\frac{1}{2}\lambda||w||^2 \) 用来控制模型复杂度，防止过拟合。

为了提高效率和准确性，LightGBM 使用直方图算法来寻找最佳分裂点，并采用 Leaf-wise(按叶子节点优先级)的方式生长树木而不是传统的 Level-wise 方法[^3]。

import lightgbm as lgb
from sklearn.datasets import make_regression
X, y = make_regression(n_samples=1000, n_features=20)

train_data = lgb.Dataset(X[:800], label=y[:800])
test_data = lgb.Dataset(X[800:], label=y[800:], reference=train_data)

params = {
    'objective': 'regression',
    'metric': {'l2', 'l1'},
}

bst = lgb.train(params, train_data, valid_sets=[test_data])

y_pred = bst.predict(X[800:])