### 实现一个改进 RNN 模型 W-RNN，其结构如下图所示；其中 $x$ 为输入，$a、b $为隐藏层，$o $为输出，$U、V、W、R、T、Q、𝑠_1、𝑠_2、𝑠_3$为模型参数， $𝑓_1，𝑓_2$为激活函数（选择 Sigmoid，ReLU，Tanh，Swish，GELU等均可），$𝑓_3$可选用softmax函数；模型中 $𝑎^𝑡 = 𝑓_1(𝑈𝑥^𝑡 + 𝑊𝑎^{𝑡-1} + 𝑠_1)$ $𝑏^𝑡 = 𝑓_2(𝑉𝑎^𝑡 + 𝑅𝑎^{𝑡-1} + 𝑇𝑏^{𝑡-1} + 𝑠_2)$ $𝑜^𝑡 = 𝑓_3(𝑄𝑏^𝑡 + 𝑠_3)$

W-RNN模型的结构如下图所示：


其中，$U$、$V$、$W$、$R$、$T$、$Q$、$s_1$、$s_2$、$s_3$为模型参数，$x$为输入，$a$、$b$为隐藏层，$o$为输出，$f_1$、$f_2$为激活函数（可以选择Sigmoid、ReLU、Tanh、Swish、GELU等），$f_3$为softmax函数。

模型中，$a^t=f_1(U x^t + W a^{t-1} + s_1)$，$b^t=f_2(V a^t + R a^{t-1} + T b^{t-1} + s_2)$，$o^t=f_3(Q b^t + s_3)$。

其中，$a^{t-1}$、$b^{t-1}$、$a^t$、$b^t$为隐藏层状态，$o^t$为输出层状态。在时间步$t$，输入$x^t$经过$U$和$a^{t-1}$的线性组合，再经过$f_1$激活函数得到$a^t$。$a^t$经过$V$、$a^{t-1}$和$b^{t-1}$的线性组合，再经过$f_2$激活函数得到$b^t$。$b^t$经过$Q$的线性变换，再经过$f_3$激活函数得到$o^t$。

模型的训练可以使用反向传播算法，通过最小化预测值与真实值之间的误差来更新模型参数。模型的预测可以使用前向传播算法，将输入$x$代入模型中，得到输出$o$。

相关问题

RNN Encoder-Decoder 模型结构图

RNN Encoder-Decoder模型结构图如下所示：

           Input Sequence
                  ↓
             Encoder RNN
                  ↓
           Context Vector
                  ↓
             Decoder RNN
                  ↓
           Output Sequence

其中，Input Sequence是输入的序列，可以是任意长度。Encoder RNN将输入序列转换为一个上下文向量（Context Vector），其中包含输入序列的信息。Decoder RNN使用该上下文向量和已生成的输出序列，生成下一个输出标记。在训练过程中，模型需要最小化预测序列和目标输出序列之间的差异。在测试过程中，模型使用已生成的输出序列来生成后续输出标记，直到达到预定的结束标记或达到输出序列的最大长度。

置门设置为 1，更新门设置为 0，那么我们将再次获得标准 RNN 模型。这两个门控向量决定了哪些信息最终能作为门控循环单元的输出。这两个门控机制的特殊之处在于，它们能够保存长期序列中的信息，且不会随时间而清除或因为与预测不相关而移除。 GRU门控结构如下图所示:

在Gate Recurrent Unit (GRU) 中，有两个关键的门控机制：重置门（Reset Gate）和更新门（Update Gate）。当置门（通常指重置门）设置为1，表示允许当前状态的信息完全保留下来，不进行遗忘；而当更新门设置为0，意味着上一时刻的状态几乎不被考虑，新的输入数据将占据主导地位。这种设计使得GRU在网络处理长序列时更为有效，因为它能够在保持长期记忆的同时，动态地控制新旧信息的融合。

- **重置门**（Reset Gate）：它控制着从当前输入和前一时刻隐藏状态中选择哪些部分应该被“忘记”。如果重置门开启，即接近1，那么旧的记忆会被很大程度地保留在隐藏状态中。
- **更新门**（Update Gate）：它决定是否采用新的输入以及如何结合旧的记忆来生成新的隐藏状态。如果更新门关闭，接近0，GRU会更多依赖于旧的状态；反之，如果打开，则更倾向于更新。

GRU通过这两个门的协同工作，简化了传统LSTM的计算复杂度，并能在很多场景下达到类似的效果。下面是GRU的简单示意：

tanh(Wh * x_t + Uz * h_(t-1))   （候选值）
reset_gate * h_(t-1) + update_gate * tanh(Wh * x_t + Uz * candidate)

其中x_t是当前输入，h_(t-1)是前一时刻的隐藏状态，Wh和Uz是权重矩阵。