self-attention mechanism

self-attention机制是一种用于机器翻译和自然语言处理中的重要技术，它可以使模型更好地理解输入序列中不同位置之间的关系。self-attention机制将输入序列的每个元素转换为一个向量，然后计算这些向量之间的相似度得分，最后根据得分对每个元素进行加权平均，以得到一个加权表示，这个表示会捕获输入序列中每个元素的不同重要性。在Transformer等深度学习模型中，self-attention机制被广泛使用，以取代传统的循环神经网络结构。

下面是一个self-attention机制的python实现代码示例[^1]：

import torch
import torch.nn.functional as F

def self_attention(inputs):
    batch_size, seq_len, hidden_size = inputs.size()
    
    # 计算Q、K、V
    Q = inputs
    K = inputs
    V = inputs
    
    # 分别计算Q、K的点积得分
    attention_scores = torch.matmul(Q, K.transpose(1, 2))
    
    # 通过缩放因子进行缩放
    attention_scores_scaled = attention_scores / (hidden_size ** 0.5)
    
    # 对每个序列位置的得分进行softmax归一化
    attention_weights = F.softmax(attention_scores_scaled, dim=-1)
    
    # 对V进行加权求和
    attention_output = torch.matmul(attention_weights, V)
    
    return attention_output

# 测试
inputs = torch.rand(2, 5, 10) # 输入张量大小为[batch_size, seq_len, hidden_size]
outputs = self_attention(inputs)
print(outputs.size()) # 输出结果应该是[2, 5, 10]