GBDT调库多标签分类可调超参数及评估

使用GBDT进行多标签分类时，可以调整的一些超参数包括：

1. `n_estimators`：决策树的数量，表示要构建的弱学习器的数量。
2. `learning_rate`：学习率，控制每个弱学习器的贡献程度。
3. `max_depth`：决策树的最大深度，控制模型的复杂度。
4. `subsample`：子样本的比例，用于构建每棵树。
5. `min_samples_split`：节点分裂所需的最小样本数。
6. `min_samples_leaf`：叶节点所需的最小样本数。
7. `max_features`：每个节点考虑的特征数。

以下是一个示例代码，展示了如何使用GridSearchCV进行超参数调优和评估：

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.multioutput import MultiOutputClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import accuracy_score, make_scorer

# 假设你有一个包含特征和多个标签的数据集，特征存储在X中，标签存储在y中
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 初始化GradientBoostingClassifier模型
gbdt = GradientBoostingClassifier()

# 使用MultiOutputClassifier将单输出的分类器转换为多标签分类器
multi_output_gbdt = MultiOutputClassifier(gbdt)

# 定义要调优的超参数空间
param_grid = {
    'estimator__n_estimators': [100, 200, 300],
    'estimator__learning_rate': [0.05, 0.1, 0.2],
    'estimator__max_depth': [3, 5, 7],
}

# 使用GridSearchCV进行超参数调优
grid_search = GridSearchCV(multi_output_gbdt, param_grid, scoring=make_scorer(accuracy_score), cv=5)
grid_search.fit(X_train, y_train)

# 输出最佳超参数组合
print("Best parameters:", grid_search.best_params_)

# 使用最佳模型进行预测
y_pred = grid_search.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

在这个例子中，我们首先初始化了一个GradientBoostingClassifier模型，并使用MultiOutputClassifier将其转换为多标签分类器。然后，我们定义了要调优的超参数空间，包括n_estimators、learning_rate和max_depth。接下来，我们使用GridSearchCV进行超参数调优，使用交叉验证来评估模型性能。最后，我们输出最佳超参数组合，并使用最佳模型对测试集进行预测，计算准确率作为评估指标。

希望这个示例对你有所帮助！如果你有任何其他问题，请随时提问。