一种基于遗忘机制的在线深度极限学习机一种基于遗忘机制的在线深度极限学习机
深度学习的发展促进了深度在线学习的发展，在线学习往往有较强的实效性。在在线极限学习机原理和深度极
限学习机自动编码器原理的基础上，提出无监督的在线深度极限学习机自动编码器；并将遗忘机制引入在线深
度ELM-AE，提出FOS-DELM-AE；用FOS-DELM-AE做无监督的特征学习，FOS-ELM做有监督的目标学习，使
OS-ELM具备深层网络结构的同时，具备在线学习的能力。最后通过基于指标RMSE和R-square的实验验证了该
算法FOS-ELM的有效性。
0 引言引言
HUANG G B等在2006年提出极限学习机（Extreme Learning Machine，ELM）
[1]
。极限学习机是为单隐层前馈神经网
络(Single-hidden Layer Feedforward Neural Networks，SLFN)设计的学习算法，该算法需要人为调整的参数只有隐藏层神经
元的个数，比传统基于梯度下降的神经网络训练算法
[2-4]
收敛速度快，泛化性能好。
但在实际应用中，数据往往不能一次性获取，当获取到新的数据时，又要把新的数据和旧的数据放到一起来训练网络，会
浪费许多时间。在线极限学习机（Online Sequential ELM，OS-ELM）
[5]
可以将数据逐个或逐块地添加到网络中，当新的数据
到来时，并不需要把旧的数据拿出来重新训练。但由于在线极限学习机的浅层网络结构，即使设置很多的隐藏层节点个数，仍
然很难有效应对复杂的实际应用。同时，算法虽然能够逐个或逐块地学习数据，在较短的时间内达到较高的精度要求，但该算
法对学习的时效性的数据不是太好，即数据在一段时间内是有效的，过一段时间后数据将失效（如天气预测或股票预测等）。
本文结合在线极限学习机原理和深度极限学习机自动编码器(Deep ELM AutoEncoder，DELM-AE)
[6-7]
原理，提出无监督的
在线深度极限学习机自动编码器(OS-DELM-AE)，使ELM-AE具备在线学习的能力；在OS-DELM-AE的基础上进一步引入遗忘
机制，提出FOS-DELM-AE(Forgetting Mechanism OSDELM-AE)；并用FOS-DELM-AE做无监督的特征学习，FOS-ELM
[8]
做
有监督的目标学习，使OS-ELM具备深层网络结构的同时，能适应很强时效性的应用。
1 深度极限学习机自动编码器原理简介深度极限学习机自动编码器原理简介
相比浅层网络，深层网络能更好地处理高维数据；更接近人脑，对输入数据的特征进行层次化提取；能获得更多有用信息
等。文献[6]用极限学习机训练深度自动编码器，每一层看作是一次极限学习机的训练，每层训练结束后将不再调整参数；上
一层的输出作为下一层的输入，依次以极限学习机的训练方式训练自动编码器，从而形成深度极限学习机自动编码器。其网络
模型如图1所示。
其中，自动编码器是一种无监督的学习方法，最初主要用于高维数据处理，自动编码器通过尽可能复现输入信号，学习到
代表输入数据的新的特征。自动编码器由编码器和解码器组成。编码器在网络的训练和部署时使用，而解码器只在训练时使
用。通过随机映射输入信号，自动编码器重构输入信号的问题就成了极限学习机问题。
2 FOS-DELM
2.1 OS-DELM-AE
近年来，深度学习
[9-12]
成为研究热点，深度学习得到了极大发展，在深度学习发展的同时，在线深度学习的发展也得到了
新的支撑
[13-15]
。本文在OS-ELM原理和深度ELM-AE原理的启发下，提出了OS-DELM-AE，将ELM-AE在线化，每一层OS-
ELM-AE训练完成之后不再调整参数，上一层OS-ELM-AE的输出作为下一层OS-ELM-AE的输入，逐层训练OS-DELM-AE，通
过OS-DELM-AE，将样本特征分层提取，并具备在线学习的能力。下面是OS-DELM-AE的具体算法步骤。
2.1.1 第第1层特征学习层特征学习
评论1