Softplus激活与改进Fisher判别的极限学习机(ELM)算法

"这篇研究论文探讨了一种基于Softplus激活函数和改进Fisher判别的极限学习机(ELM)算法，旨在提升ELM网络的分类性能。作者们针对ELM中常用的Sigmoid激活函数，提出了一种新的修正线性函数——Softplus激活函数，该函数在生物学模型中更为接近，并具有稀疏性，能优化网络表现。同时，他们引入了改进的Fisher判别约束，以改善训练出的网络的分类效果，使输出权重更有利于分类任务，从而提高识别性能。实验结果在手写数字数据库和人脸识别数据库上验证了该改进ELM算法的有效性和优越性。该研究得到了国家自然科学基金和北京市自然科学基金的支持。" 在这篇研究中，ELM算法（Extreme Learning Machine）被作为一个快速学习的工具，通常用于单隐藏层前馈神经网络。传统的ELM网络中，隐藏层节点的激活函数多采用Sigmoid或Tanh等非线性函数。然而，Sigmoid函数存在饱和区，可能导致梯度消失问题，影响训练效率。论文中提出的Softplus激活函数，作为一种线性逼近的logistic函数，避免了Sigmoid函数的饱和问题，且其斜率近似于正比于输入，更符合生物神经元的响应特性。此外，Softplus函数还具有稀疏性，能够在不增加计算复杂性的前提下，增强网络的表达能力。 另一方面，为了提高ELM的分类效果，研究人员引入了改进的Fisher判别约束。Fisher判别分析（FDA）是一种经典的多类分类方法，它通过最大化类间距离与类内距离的比率来寻找最优分类边界。在ELM框架下，通过对原始Fisher判别的改进，使得网络在训练过程中更加关注保持类间的分离度和压缩类内的变异性，从而得到更利于分类的输出权重。这种方法能够提升ELM算法在处理分类问题时的精度和稳定性。 实验部分，作者们在MNIST手写数字数据库和人脸识别数据库上进行了测试，结果表明，结合Softplus激活函数和改进Fisher判别的ELM算法相比传统的ELM，无论是在准确率还是泛化能力上都有显著提升，证明了该方法的可行性和优势。 这篇论文为神经网络模型的优化提供了一个新的视角，尤其是在处理分类任务时，通过调整激活函数和优化训练策略，可以有效地提升模型的性能。这对于深度学习和模式识别领域的研究具有重要的参考价值。