eca注意力机制代码

以下是一个简单的注意力机制代码示例：

import torch
import torch.nn as nn

class Attention(nn.Module):
    def __init__(self, hidden_size):
        super(Attention, self).__init__()
        self.hidden_size = hidden_size
        self.att_weights = nn.Parameter(torch.Tensor(hidden_size, hidden_size))
        self.att_weights.data.normal_(mean=0.0, std=0.05)

    def forward(self, encoder_outputs, decoder_hidden):
        seq_len = encoder_outputs.size(0)
        batch_size = encoder_outputs.size(1)
        att_hidden = torch.matmul(decoder_hidden.squeeze(0), self.att_weights)
        att_hidden = att_hidden.unsqueeze(2)
        encoder_outputs = encoder_outputs.permute(1, 2, 0)
        att_weights = torch.bmm(att_hidden, encoder_outputs)
        att_weights = torch.softmax(att_weights.squeeze(1), dim=1)
        context_vector = torch.bmm(encoder_outputs.permute(0, 2, 1), att_weights.unsqueeze(2)).squeeze(2)
        return context_vector, att_weights

这里的 `Attention` 类是一个简单的注意力机制模型。在 `forward` 方法中，输入参数 `encoder_outputs` 是编码器的输出张量 (seq_len, batch_size, hidden_size)，`decoder_hidden` 是解码器的隐藏状态张量 (1, batch_size, hidden_size)。该方法通过计算注意力权重、上下文向量，并返回上下文向量和注意力权重。