互信息变量选择优化的极端学习机回归算法

"本文提出了一种基于互信息的极端学习机(ELM)算法，用于解决回归问题中的变量选择和网络结构设计问题。通过将互信息输入变量选择整合到ELM的学习过程中，该算法能够根据网络的学习性能评估输入变量与输出变量的相关性，并通过增量式方法确定隐含层节点的数量，从而实现网络结构的简化和泛化性能的提升。仿真结果显示，该算法在Lorenz、Gas Furnace和10组标杆数据上的表现验证了其有效性。" 极端学习机(Extreme Learning Machine, ELM)是一种快速的单隐层前馈神经网络训练方法，它的主要特点是随机初始化隐藏层节点权重和偏置，然后通过线性代数方法直接求解输出层权重，避免了传统神经网络的反向传播和迭代优化过程，大大提高了训练速度。 变量选择是机器学习中重要的预处理步骤，其目标是从众多可能的输入特征中选择最有影响力的子集，以减少过拟合风险、提高模型解释性和预测准确性。互信息(Mutual Information, MI)是一种衡量两个随机变量之间相互依赖程度的非对称度量，它能有效地识别那些即使在独立时也能提供大量关于输出变量信息的输入变量。 本文提出的算法将互信息应用于变量选择，以ELM网络的学习性能（如预测误差）作为依据，选取与输出变量相关性最强的输入变量。通过这种方法，不仅能够筛选出对回归问题至关重要的特征，还能动态地调整隐含层的规模，避免过拟合，同时保持网络的复杂度适中。 在回归分析中，目标是建立一个模型来预测连续输出变量，基于互信息的ELM算法能够更好地捕捉输入和输出之间的复杂关系，从而提高模型的预测能力。仿真测试在多个数据集上验证了该算法的优越性，包括Lorenz混沌系统数据和Gas Furnace数据，这些结果表明，提出的算法在简化网络结构的同时，能够显著提升网络的泛化性能。 该研究为解决回归问题提供了一个有效且实用的解决方案，将互信息与ELM相结合，实现了变量选择和网络结构优化的双重目标，对于实际应用中的数据分析和预测任务具有重要的理论价值和实践意义。