### 实现一个改进 RNN 模型 W-RNN，其结构如下图所示；其中 $x$ 为输入，$a、b $为隐藏层，$o $为输出，$U、V、W、R、T、Q、𝑠_1、𝑠_2、𝑠_3$为模型参数， $𝑓_1，𝑓_2$为激活函数（选择 Sigmoid，ReLU，Tanh，Swish，GELU等均可），$𝑓_3$可选用softmax函数；模型中 $𝑎^𝑡 = 𝑓_1(𝑈𝑥^𝑡 + 𝑊𝑎^{𝑡-1} + 𝑠_1)$ $𝑏^𝑡 = 𝑓_2(𝑉𝑎^𝑡 + 𝑅𝑎^{𝑡-1} + 𝑇𝑏^{𝑡-1} + 𝑠_2)$ $𝑜^𝑡 = 𝑓_3(𝑄𝑏^𝑡 + 𝑠_3)$

W-RNN模型的结构如下图所示：


其中，$U$、$V$、$W$、$R$、$T$、$Q$、$s_1$、$s_2$、$s_3$为模型参数，$x$为输入，$a$、$b$为隐藏层，$o$为输出，$f_1$、$f_2$为激活函数（可以选择Sigmoid、ReLU、Tanh、Swish、GELU等），$f_3$为softmax函数。

模型中，$a^t=f_1(U x^t + W a^{t-1} + s_1)$，$b^t=f_2(V a^t + R a^{t-1} + T b^{t-1} + s_2)$，$o^t=f_3(Q b^t + s_3)$。

其中，$a^{t-1}$、$b^{t-1}$、$a^t$、$b^t$为隐藏层状态，$o^t$为输出层状态。在时间步$t$，输入$x^t$经过$U$和$a^{t-1}$的线性组合，再经过$f_1$激活函数得到$a^t$。$a^t$经过$V$、$a^{t-1}$和$b^{t-1}$的线性组合，再经过$f_2$激活函数得到$b^t$。$b^t$经过$Q$的线性变换，再经过$f_3$激活函数得到$o^t$。

模型的训练可以使用反向传播算法，通过最小化预测值与真实值之间的误差来更新模型参数。模型的预测可以使用前向传播算法，将输入$x$代入模型中，得到输出$o$。