adaboost算法Python完整实现

好的，这里是adaboost算法的Python完整实现：

import numpy as np

class Adaboost:
    def __init__(self, n_estimators=50, learning_rate=1.0):
        self.n_estimators = n_estimators
        self.learning_rate = learning_rate
        self.models = []
        self.alphas = []

    def fit(self, X, y):
        n_samples, n_features = X.shape
        weights = np.full(n_samples, 1/n_samples)
        for i in range(self.n_estimators):
            model = DecisionTreeClassifier(max_depth=1)
            model.fit(X, y, sample_weight=weights)
            predictions = model.predict(X)
            error = np.sum(weights * (predictions != y))
            alpha = self.learning_rate * (np.log((1 - error) / error) + np.log(n_classes - 1))
            weights *= np.exp(-alpha * y * predictions)
            weights /= np.sum(weights)
            self.models.append(model)
            self.alphas.append(alpha)

    def predict(self, X):
        predictions = np.zeros(len(X))
        for alpha, model in zip(self.alphas, self.models):
            predictions += alpha * model.predict(X)
        return np.sign(predictions)

这里我们使用了 `DecisionTreeClassifier` 作为基分类器，当然也可以使用其他的分类器。在 `fit` 函数中进行了 `n_estimators` 次迭代，每次迭代中训练一个基分类器，计算其预测结果与真实值之间的误差，然后计算其对应的权重 `alpha`，并更新样本权重，最后将训练好的基分类器和对应的权重存储起来。在预测时，我们根据每个基分类器的权重进行加权预测，并将结果取符号函数得到最终的预测结果。