rnn PYTORCH

### 如何在 PyTorch 中实现或使用 RNN

#### 导入必要的库
为了构建基于 RNN 的模型，首先需要导入 PyTorch 和其他辅助工具包。这通常涉及 `torch` 库用于创建神经网络结构以及处理张量操作。

import torch
from torch import nn
import torch.nn.functional as F

#### 定义 RNN 类
定义一个继承自 `nn.Module` 的类来表示整个网络架构，在此例子中称为 `SimpleRNN`. 这里会初始化一些参数并设置好层之间的连接方式[^2].

class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(SimpleRNN, self).__init__()
        
        self.hidden_size = hidden_size
        
        # 初始化输入到隐藏状态转换矩阵 W_ih (input-to-hidden weights)
        self.i2h = nn.Linear(input_size + hidden_size, hidden_size)

        # 隐藏状态到输出转换矩阵 W_ho (hidden-to-output weights)
        self.h2o = nn.Linear(hidden_size, output_size)
    
    def forward(self, input_tensor, hidden_state=None):
        if hidden_state is None:
            hidden_state = torch.zeros(1, self.hidden_size).to(device=input_tensor.device)
            
        combined = torch.cat((input_tensor.view(-1), hidden_state.view(-1)), dim=0)
        hidden = torch.tanh(self.i2h(combined))
        output = self.h2o(hidden)
        return output, hidden

这段代码展示了最基础版本的循环神经元工作原理——通过线性变换加上激活函数 tanh 来更新当前时刻的状态向量 h_t；再由该状态预测下一个时间步的结果 y_{t+1}.

#### 准备训练过程中的数据集和优化器配置
对于序列建模任务来说，准备合适的数据加载器非常重要。可以借助于像 `torchtext` 或者自己编写迭代器来获取批次化的样本及其标签. 同时还需要指定损失函数与梯度下降算法：

criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)

#### 训练模型
最后一步就是按照标准流程执行前向传播、计算误差、反向传播调整权重直至收敛为止:

for epoch in range(num_epochs):
    for inputs, targets in dataloader:
        optimizer.zero_grad()  # 清除之前的梯度
        
        outputs, _ = model(inputs)  # 前向传递得到预测值
        loss = criterion(outputs.squeeze(), targets.long())  # 计算交叉熵损失
    
        loss.backward()  # 反向传播求导数
        optimizer.step()  # 更新参数w,b

以上就是在 PyTorch 下面搭建简单版单层 LSTM/RNN 模型的方法概述[^3].