集群基础的并行正则化极端学习机PR-ELM

"这篇论文介绍了基于集群的并行正则化极端学习机（PR-ELM），这是一种在处理大规模学习任务时提升计算效率的方法。作者包括Yueqing Wang、Yong Dou、Xinwang Liu和Yuanwu Lei，分别来自中国国防科技大学的国家并行与分布式处理实验室和计算机学院。文章经过多次修订，最终于2015年8月19日被接受，并由G.-B. Huang通讯发表。关键词涉及并行计算、极端学习机、集群、数据和模型。" 正文: 极端学习机（ELM）在过去的十年间因其高效、有效且易于实现的特性而受到广泛关注。它是一种单层隐藏神经网络的学习算法，通过随机初始化输入权重和隐藏层偏置，然后利用最小二乘法解决输出权重，从而避免了传统的反向传播算法中的迭代训练过程。 然而，随着大数据时代的到来，ELM在处理大规模数据集时的计算效率成为了一个挑战。为了解决这一问题，研究者们提出了一系列变体，如并行ELM（P-ELM）、增量ELM和在线序列ELM（OS-ELM），这些方法旨在提高其运行速度并实现增量学习能力。 在本论文中，作者提出了两种并行变体：数据并行正则化ELM（DPR-ELM）和模型并行正则化ELM（MPR-ELM）。这两种方法都是为了进一步提升ELM在处理大规模学习任务时的计算效率。数据并行方法通常涉及到将大数据集分割成多个部分，然后在不同的计算节点上并行地应用ELM算法，最后整合结果。这种方式可以显著减少整体计算时间，尤其适用于具有大量特征的数据集。 另一方面，模型并行方法则是将模型的构建分散到多个处理器或计算节点上，每个节点负责处理模型的一部分。这种策略允许更复杂的模型在有限的计算资源下进行训练，特别适合处理高维和复杂结构的数据。 通过结合并行计算和正则化技术，DPR-ELM和MPR-ELM不仅能够加速训练过程，还能够通过正则化防止过拟合，提高模型的泛化性能。正则化通常通过添加一个惩罚项到损失函数中来限制模型的复杂性，这在处理大规模数据时尤为重要，因为它可以帮助保持模型的稳定性和预测能力。 这篇论文对并行化和正则化的结合进行了深入探讨，为ELM在处理大数据集时提供了新的解决方案。这两个并行变体的提出，不仅提升了ELM的计算效率，还增强了其在实际应用中的实用性，特别是在处理实时和大规模机器学习任务时。这些研究成果对于未来在大数据环境下的快速和准确的机器学习模型构建具有重要意义。