基于AdaBoost的WELM算法：改善极限学习机在不平衡数据上的性能

"本文提出了基于AdaBoost提升的WELM算法，用于解决类不平衡数据学习的问题。该算法改进了传统的极限学习机(ELM)，考虑了样本分布的不平衡特性，通过sigmoid运算增强了对大类和小类样本的识别率以及抗噪声能力。在15个UCI不平衡数据集上进行实验，结果显示新算法在分类性能上有显著优势。" 极限学习机(Extreme Learning Machine, ELM)是一种快速的单隐藏层前馈神经网络训练方法。它的主要特点是随机初始化隐藏层节点权重和偏置，然后通过最小化输出层权重来求解线性回归问题，从而避免了复杂的反向传播过程。然而，传统ELM在处理类不平衡数据集时可能存在偏向性，即倾向于提高大类样本的分类准确率，而忽视小类样本。 类不平衡数据学习是机器学习中的一个重要挑战，它指的是在训练数据中，不同类别的样本数量相差悬殊。这种不平衡可能导致模型过于关注多数类别，而对少数类别的识别能力下降。在现实世界的应用中，如医疗诊断、金融风险评估等，小类往往代表更为重要的事件，因此需要特别关注。 为了改善ELM在处理类不平衡数据时的性能，研究者们引入了Boosting思想，提出了Boosting提升的加权极限学习机算法。Boosting是一种集成学习方法，通过多次迭代并调整样本权重，使得每次迭代都专注于纠正前一次的错误，从而提高整体的分类效果。然而，这种方法仍然没有充分考虑数据中的噪声和样本分布的不平衡。 基于此，该论文提出了基于AdaBoost提升的WELM算法。AdaBoost是一种经典的Boosting算法，它通过动态调整样本权重，使后续迭代更关注被错误分类的样本。在WELM中，作者进一步改进了误差计算方式，不仅考虑了各类样本的分布情况，还应用sigmoid函数对误差进行非线性变换，增强了算法对噪声的鲁棒性和对小类样本的识别能力。 通过在15个UCI不平衡数据集上的实验，新提出的WELM-AdaBoost算法显示出了优于传统ELM和其它方法的分类性能。这表明，该算法有效地平衡了大类和小类的识别，并在有噪声的数据中保持了良好的性能。这一研究成果对于处理类不平衡问题和噪声环境下的机器学习任务具有重要的实践价值。