LightGBM回归模型

LightGBM是一种高效的梯度提升决策树（GBDT）框架，能够处理大规模数据集和高维特征。它采用了基于直方图的决策树学习算法，可以快速地训练出准确的模型。在回归任务中，LightGBM的目标是最小化平方误差。下面是一个示例代码，展示如何使用LightGBM进行回归模型训练和预测：

import lightgbm as lgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 加载数据集
boston = load_boston()
X, y = boston.data, boston.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练模型
params = {
    'boosting_type': 'gbdt',
    'objective': 'regression',
    'metric': 'mse',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9,
    'bagging_fraction': 0.8,
    'bagging_freq': 5,
    'verbose': 0,
    'num_threads': 4
}
train_data = lgb.Dataset(X_train, label=y_train)
model = lgb.train(params, train_data, num_boost_round=100)

# 预测结果
y_pred = model.predict(X_test)

# 评估模型
mse = mean_squared_error(y_test, y_pred)
print('MSE:', mse)

在上面的代码中，首先加载了波士顿房价数据集，然后将数据集分为训练集和测试集。接着定义了模型参数，包括使用GBDT算法、回归任务、均方误差（MSE）作为评价指标、31个叶子节点、0.05的学习率等等。然后使用训练数据集训练模型，并预测测试数据集的结果。最后通过均方误差评估模型的性能。