MATLAB实现adaboost

AdaBoost（Adaptive Boosting）是一种集成学习算法，它通过组合多个弱分类器来形成一个强分类器。在每个迭代过程中，AdaBoost会根据之前的分类结果对样本进行调整，使得被错误分类的样本在后续迭代中得到更多的关注。这样，AdaBoost算法会不断地提升分类器的性能，直到达到某个预定的阈值。

下面给出MATLAB实现AdaBoost的代码：

% 训练数据和标签
train_data = [1 2; 2 1; 2 3; 3 2; 4 3; 4 5; 5 4; 6 5; 6 7; 7 6];
train_label = [-1 -1 -1 -1 -1 1 1 1 1 1];

% 训练样本个数
train_num = length(train_label);

% 初始化权重
weight = ones(1, train_num) / train_num;

% 训练轮数
T = 3;

% 记录每个弱分类器的参数
alpha_list = zeros(1, T);
threshold_list = zeros(1, T);
direction_list = zeros(1, T);

for t = 1:T
    % 训练一个基分类器
    [direction, threshold, error_rate] = train_weak_classifier(train_data, train_label, weight);
    
    % 计算当前分类器的权重
    alpha = log((1 - error_rate) / error_rate) / 2;
    
    % 更新样本权重
    for i = 1:train_num
        if predict(train_data(i, :), direction, threshold) == train_label(i)
            weight(i) = weight(i) * exp(-alpha);
        else
            weight(i) = weight(i) * exp(alpha);
        end
    end
    
    % 归一化权重
    weight = weight / sum(weight);
    
    % 保存当前分类器的参数
    alpha_list(t) = alpha;
    threshold_list(t) = threshold;
    direction_list(t) = direction;
end

% 预测新数据
function label = predict(data, direction_list, threshold_list, alpha_list)
    T = length(direction_list);
    score = 0;
    for t = 1:T
        if data(direction_list(t)) < threshold_list(t)
            score = score - alpha_list(t);
        else
            score = score + alpha_list(t);
        end
    end
    if score >= 0
        label = 1;
    else
        label = -1;
    end
end

% 训练一个基分类器
function [direction, threshold, error_rate] = train_weak_classifier(train_data, train_label, weight)
    % 特征数量
    feature_num = size(train_data, 2);
    
    % 初始化误差率
    error_rate = inf;
    
    % 遍历每个特征
    for i = 1:feature_num
        % 遍历每个分类阈值
        for threshold = unique(train_data(:, i)')
            % 计算分类结果
            direction = 1;
            predict_label = ones(size(train_label));
            predict_label(train_data(:, i) < threshold) = -1;
            
            % 计算误差率
            error = sum(weight .* (predict_label ~= train_label));
            if error < error_rate
                error_rate = error;
                best_threshold = threshold;
                best_direction = i;
            end
            
            % 取反计算误差率
            error = sum(weight .* (-predict_label ~= train_label));
            if error < error_rate
                error_rate = error;
                best_threshold = threshold;
                best_direction = i;
                direction = -1;
            end
        end
    end
    
    % 返回最佳分类器的参数
    direction = best_direction;
    threshold = best_threshold;
end

首先，我们定义了训练数据和标签，然后初始化了样本权重。接着，我们设置了迭代轮数，并定义了三个数组来保存每个弱分类器的参数。在每次迭代中，我们调用`train_weak_classifier`函数训练一个基分类器，并计算它的误差率。然后，我们根据误差率计算当前分类器的权重，并更新样本权重。最后，我们保存当前分类器的参数，并继续迭代。在迭代完所有轮数后，我们可以使用`predict`函数对新数据进行分类。

`train_weak_classifier`函数遍历每个特征和每个分类阈值，计算分类结果并计算误差率。在计算误差率时，我们同时计算了当前分类器和取反后的分类器的误差率，并选取了误差率最小的那个作为最佳分类器。该函数返回最佳分类器的参数。

`predict`函数根据每个弱分类器的参数计算一个得分，并根据得分的正负来判断最终的分类结果。

需要注意的是，该代码仅适用于二分类问题。在多分类问题中，需要使用一些技巧来将其扩展为多分类问题。