DrELM：基于极限学习机的深度表示学习

"通过极限学习机学习深度表示" 极限学习机(ELM)是一种高效的学习算法，尤其在大规模的二进制分类、多类别分类及回归任务中表现出色。ELM的核心在于其快速训练特性，它使用随机初始化的隐藏层神经元，通过单一的训练步骤来确定输出权重，避免了反向传播中的梯度计算。然而，传统的ELM通常仅包含单个隐藏层，限制了其对复杂数据结构的建模能力。 深度学习，特别是深度神经网络，能够发现数据的多层次表示，从而捕获更高级别的抽象特征。这些高级特征对于许多复杂的预测任务至关重要。然而，大多数深度学习方法涉及解决一个复杂的非凸优化问题，这可能导致训练过程中的局部最优和过拟合问题。 论文中提出的DrELM（深度极限学习机）旨在结合ELM的高效性和深度学习的潜力。DrELM采用堆叠泛化原理，即通过多个层次的ELM构建深度架构。每个层次的ELM将前一层的预测结果与原始特征结合，通过随机投影和内核化生成新的特征空间。这种方法既保留了ELM的快速学习特性，又引入了深度学习的表达能力。 在随机移位和内核化的作用下，DrELM可以捕获输入数据的非线性特征，生成更适合预测任务的特征表示。实验结果显示，DrELM在合成数据集和实际数据集上的分类和回归性能优于传统的ELM和内核ELM，其表现接近于堆叠式自动编码器(一种深度学习模型)。然而，DrELM的训练过程更为简单，测试速度更快，体现了其在效率和效果之间的良好平衡。 DrELM是ELM与深度学习思想的创新结合，它提供了一种新的途径来学习预测性的深度表示，这对于处理复杂数据和实现高精度预测任务具有重要价值。该方法对于那些需要快速训练和高性能预测的场景，如图像识别、自然语言处理和时间序列预测等领域，有着广泛的应用前景。