软注意力机制超长版代码

好的，以下是一个基于PyTorch实现的软注意力机制的代码示例：

import torch
import torch.nn as nn

class SoftAttention(nn.Module):
    def __init__(self, hidden_size):
        super(SoftAttention, self).__init__()
        self.hidden_size = hidden_size
        self.attention_weights = nn.Linear(hidden_size, 1, bias=False)
    
    def forward(self, encoder_outputs, decoder_hidden):
        """
        Args:
            encoder_outputs: encoder端的输出，shape为(batch_size, seq_len, hidden_size)
            decoder_hidden: decoder端的隐藏状态，shape为(batch_size, hidden_size)
        Returns:
            context: 加权后的上下文向量，shape为(batch_size, hidden_size)
            weights: 注意力权重，shape为(batch_size, seq_len)
        """
        batch_size, seq_len, _ = encoder_outputs.size()
        
        # 计算注意力权重，先将decoder_hidden通过线性层变换到hidden_size的维度，再与encoder_outputs做点积
        # 最后使用softmax函数得到注意力权重
        decoder_hidden = decoder_hidden.unsqueeze(1).repeat(1, seq_len, 1)
        weights = self.attention_weights(torch.tanh(encoder_outputs + decoder_hidden))
        weights = nn.functional.softmax(weights, dim=1)
        
        # 对encoder_outputs进行加权求和，得到上下文向量
        context = torch.bmm(weights.transpose(1, 2), encoder_outputs).squeeze(1)
        
        return context, weights

在这个代码中，我们定义了一个名为SoftAttention的类，继承自nn.Module，它包含了一个线性层用于计算注意力权重。在forward方法中，我们首先将decoder_hidden通过线性层变换到hidden_size的维度，再与encoder_outputs做点积，最后使用softmax函数得到注意力权重。接着，我们对encoder_outputs进行加权求和，得到上下文向量。返回的是加权后的上下文向量和注意力权重。