class Attention(nn.Module): def __init__(self, hidden_size): super(Attention, self).__init__() self.hidden_size = hidden_size self.attn = nn.Linear(self.hidden_size * 2, hidden_size) self.v = nn.Linear(hidden_size, 1, bias=False) def forward(self, hidden, encoder_outputs): max_len = encoder_outputs.size(1) repeated_hidden = hidden.unsqueeze(1).repeat(1, max_len, 1) energy = torch.tanh(self.attn(torch.cat((repeated_hidden, encoder_outputs), dim=2))) attention_scores = self.v(energy).squeeze(2) attention_weights = nn.functional.softmax(attention_scores, dim=1) context_vector = (encoder_outputs * attention_weights.unsqueeze(2)).sum(dim=1) return context_vector, attention_weights

这是一个实现注意力机制的PyTorch模型类。以下是该类的详细解释：

- `Attention` 类继承自 `nn.Module`，这是创建PyTorch模型的基类。
- `__init__` 方法初始化注意力模型，并接收一个 `hidden_size` 参数，表示隐藏层的大小。
- 在 `__init__` 方法中，首先调用父类的构造函数，然后初始化 `self.hidden_size`。
- `self.attn` 是一个线性层，将输入的维度从 `hidden_size * 2` 转换为 `hidden_size`。
- `self.v` 是另一个线性层，将输入的维度从 `hidden_size` 转换为 1，没有偏置项（bias=False）。
- `forward` 方法定义了前向传播的逻辑，接收两个输入：`hidden` 和 `encoder_outputs`。
- 在前向传播中，首先计算 `encoder_outputs` 的最大长度 `max_len`。
- 然后将 `hidden` 进行扩展，使其维度与 `encoder_outputs` 相同，并重复 `max_len` 次，得到 `repeated_hidden`。
- 通过将 `repeated_hidden` 和 `encoder_outputs` 连接起来，并经过线性层和激活函数（tanh），计算出注意力能量（energy）。
- 注意力能量经过线性层 `self.v` 和softmax函数，得到注意力权重（attention_weights）。
- 最后，通过将 `encoder_outputs` 和注意力权重相乘，并在维度1上求和，得到上下文向量（context_vector）。
- 返回上下文向量和注意力权重。

这个模型用于计算一个上下文向量，该向量是根据输入的隐藏状态（hidden）和编码器输出（encoder_outputs）计算出的。注意力机制用于给编码器输出的每个位置分配一个权重，然后将加权和作为上下文向量返回。