注意力机制代码pytorch

下面是一个简单的注意力机制的代码示例（使用PyTorch框架）：

import torch
import torch.nn as nn

class Attention(nn.Module):
    def __init__(self, hidden_size):
        super(Attention, self).__init__()
        self.hidden_size = hidden_size
        self.attn = nn.Linear(self.hidden_size * 2, self.hidden_size)
        self.v = nn.Linear(self.hidden_size, 1, bias=False)

    def forward(self, hidden, encoder_outputs):
        max_len = encoder_outputs.size(0)
        batch_size = encoder_outputs.size(1)

        # 将decoder的hidden state重复max_len次，方便与encoder_outputs拼接
        h = hidden.repeat(max_len, 1, 1).transpose(0, 1)

        # 将encoder_outputs与decoder的hidden state拼接
        encoder_outputs = encoder_outputs.transpose(0, 1)
        energy = torch.tanh(self.attn(torch.cat([h, encoder_outputs], dim=2)))

        # 计算attention权重，使用v进行一个线性变换
        attention = self.v(energy).squeeze(2)
        attention_weights = nn.functional.softmax(attention, dim=1)

        # 计算context向量，即encoder_outputs加权平均
        context = torch.bmm(attention_weights.unsqueeze(1), encoder_outputs).transpose(0, 1)

        return context, attention_weights

在这个代码示例中，我们定义了一个Attention类，它包括一个线性层attn和一个线性层v。在forward方法中，我们首先将decoder的hidden state重复max_len次，方便与encoder_outputs拼接。然后将encoder_outputs与decoder的hidden state拼接，使用attn进行一个线性变换并使用tanh激活函数。接下来，我们使用v进行一个线性变换，并使用softmax函数计算attention权重。最后，计算context向量，即encoder_outputs加权平均。