机器学习编程实现AdaBoost分类器

### AdaBoost 分类器编程实现

AdaBoost 是一种增强型集成学习方法，通过组合多个弱分类器形成强分类器。下面展示如何利用 Python 和 `scikit-learn` 库中的 `AdaBoostClassifier` 类来构建并应用 AdaBoost 模型。

#### 导入必要的库
首先导入所需的 Python 库：

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score

#### 加载数据集
这里选用乳腺癌数据作为例子来进行二元分类任务：

data = load_breast_cancer()
X = data.data
y = data.target

#### 划分训练集和测试集
将原始数据划分为训练集和验证集用于后续评估模型表现：

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

#### 构建基础估计器
定义决策树作为 Adaboost 的基本分类单元，并设置最大深度防止过拟合：

base_estimator = DecisionTreeClassifier(max_depth=1)

#### 初始化 AdaBoost 分类器对象
创建 AdaBoost 分类器实例，指定使用的基分类器和其他超参数配置：

ada_clf = AdaBoostClassifier(base_estimator=base_estimator,
                             n_estimators=50,
                             learning_rate=1.0,
                             algorithm='SAMME.R',
                             random_state=None)[^3]

#### 使用网格搜索寻找最佳参数组合
为了找到最优的模型参数，可以通过交叉验证的方式进行网格搜索：

param_grid = {
    'n_estimators': [50, 100],
    'learning_rate': [0.8, 1.0, 1.2]
}

grid_search = GridSearchCV(ada_clf, param_grid, cv=5)
grid_search.fit(X_train, y_train)

best_ada_clf = grid_search.best_estimator_
print(f'Best parameters found: {grid_search.best_params_}')

#### 训练与预测
基于选定的最佳参数重新训练整个数据集，并对未知样本做出预测：

best_ada_clf.fit(X_train, y_train)
predictions = best_ada_clf.predict(X_test)
accuracy = accuracy_score(y_test, predictions)
print(f'Test Accuracy: {accuracy:.4f}')

上述过程展示了完整的 AdaBoost 分类器搭建流程，包括但不限于加载数据、预处理、建立模型结构以及调参优化等方面的工作[^1]。