Elman神经网络的公式推导

Elman神经网络是一种经典的循环神经网络模型，它基于前馈神经网络和时间递归思想，能够处理与时间序列相关的问题。下面是Elman神经网络的公式推导。

Elman神经网络的结构包括输入层、隐藏层和输出层。输入层接收外界输入，隐藏层接受输入层的信息和上一时刻的隐藏层状态，输出层根据隐藏层状态产生相应的输出。设$t$时刻输入为$x(t)$，隐藏层神经元的个数为$H$，输出为$y(t)$，则该网络的具体实现过程如下：

1. 输入层到隐藏层的计算

首先将$t$时刻的输入$x(t)$送入输入层，对应权重矩阵为$W_{in}$，则输入层神经元的输出为：

$$a_i(t)=f(\sum_{j=1}^{I}W_{ij}^{in}x_j(t))$$

其中$f$为激活函数，常用的有sigmoid函数和ReLU函数等。

然后将输入层和上一时刻的隐藏层状态进行连接，对应权重矩阵为$W_{rec}$，则隐藏层神经元的输出为：

$$b_h(t)=g(\sum_{i=1}^{I}W_{ih}^{in}x_i(t)+\sum_{h'=1}^{H}W_{hh'}^{rec}h_{h'}(t-1))$$

其中$g$为激活函数，常用的有sigmoid函数和tanh函数等。

2. 隐藏层到输出层的计算

将隐藏层的输出作为$t$时刻网络的输出，对应权重矩阵为$W_{out}$，则输出层神经元的输出为：

$$y_j(t)=\sum_{h=1}^{H}W_{hj}^{out}b_h(t)$$

3. 反向传播误差

根据误差反向传播算法，我们可以计算出每个神经元的误差$\delta$，然后根据权重调整规则更新权重矩阵。具体地，对于输出层神经元$j$，其误差为：

$$\delta_j^{(o)}(t)=y_j(t)-d_j(t)$$

其中$d_j(t)$为$t$时刻的目标输出。

对于隐藏层神经元$h$，其误差为：

$$\delta_h^{(h)}(t)=g'(net_h(t))\sum_{j=1}^{J}\delta_j^{(o)}(t)W_{hj}^{out}$$

其中$net_h(t)$表示$h$神经元的加权输入。

4. 权重更新

根据误差反向传播算法，我们可以根据下列公式更新权重矩阵：

$$\Delta W_{ij}(t)=\eta\delta_j(t)x_i(t)$$

其中$\eta$为学习率。