鲁棒极限学习机：基于M估计的抗差优化方法

"一种基于鲁棒估计的极限学习机方法" 极限学习机(ELM)是机器学习领域中的一种高效算法，特别是在模式识别和神经网络领域应用广泛。它属于单隐层前馈神经网络(SLFNs)的范畴，其结构简单，主要由输入层、隐藏层和输出层构成。与传统的反向传播神经网络相比，ELM通过随机初始化隐藏层权重和偏置，然后利用最小二乘法(Least Square, LS)快速计算输出层权重，从而避免了复杂的迭代优化过程，极大地提高了训练速度。 然而，经典的最小二乘法在处理包含离群点或噪声的数据时存在局限性，因为它对异常值敏感，容易导致训练结果被离群点和噪声所影响，从而使得模型的泛化性能下降。为解决这一问题，文章提出了基于M估计的鲁棒极限学习机算法(Robust Extreme Learning Machine, RBELM)。M估计是一种统计学中的鲁棒估计方法，它通过引入加权因子来降低离群值的影响，以提高模型的稳定性和准确性。 RBELM算法的核心是将最小二乘法替换为加权最小二乘方法，这种方法在计算输出权重时考虑了数据点的不确定性，赋予每个数据点不同的权重。对于那些可能受到离群值影响的数据点，它们的权重会被相应地降低，从而减弱它们对整个模型训练的影响。通过这种方式，RBELM能够在保持ELM快速学习特性的同时，增强其对异常值的鲁棒性。 文章通过在多个数据集上进行回归和分类实验，验证了RBELM的有效性。实验结果表明，RBELM能够有效地降低异常值的影响，提高模型的抗差能力，从而得到更准确的训练参数和更好的泛化性能。这一研究对模式识别、图像处理和工业过程控制等领域具有重要的理论和实践意义。 关键词: 极限学习机, 稳健估计, 鲁棒极限学习机, M估计, 神经网络 中图分类号: TP18（计算机科学技术） 文献标志码: A 文章编号: 1001-3695(2012)08-2926-05 doi: 10．3969/j．issn．1001-3695．2012．08．033