python代码实现自注意力机制

自注意力（Self-Attention）机制是Transformer架构的核心组成部分，最初在机器翻译任务中由 Vaswani 等人在2017年的论文《Attention is All You Need》中引入。在Python中，特别是在使用像PyTorch或TensorFlow这样的深度学习库时，我们可以用以下步骤来实现自注意力机制：

1. **Query、Key和Value的计算**：
- 对输入序列中的每个词（或单词的向量表示），我们创建三个版本：一个是查询（Query）向量，用于找出与其他向量的相关度；一个是键（Key）向量，用于存储相似度信息；还有一个值（Value）向量，用来存储原始信息。

def compute_attention(query, key, value):
    attention_scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(key.size(-1))
    attention_weights = softmax(attention_scores, dim=-1)
    output = torch.matmul(attention_weights, value)
    return output, attention_weights

2. **加性注意力**：
这是最常见的自注意力形式，通过softmax函数将得分转换为概率分布。

3. **多头注意力（Multi-Head Attention）**：
分离为多个子注意力机制，每个子机制处理输入的不同线性变换，然后合并结果，以捕捉不同尺度的信息。

def multi_head_attention(query, key, value, num_heads):
    query_heads = torch.split(query, query.size(-1) // num_heads, dim=-1)
    key_heads = torch.split(key, key.size(-1) // num_heads, dim=-1)
    value_heads = torch.split(value, value.size(-1) // num_heads, dim=-1)

    attended_heads = [compute_attention(head_q, head_k, head_v) for head_q, head_k, head_v in zip(query_heads, key_heads, value_heads)]
    attended_heads = [h for h in attended_heads]
    concatenated = torch.cat(attended_heads, dim=-1)
    return concatenated

4. **残差连接和层归一化**：
这些是Transformer层的标准组成部分，用于优化模型性能。

def self_attention_layer(inputs, num_heads, dropout):
    # 前向传播过程
    att_output = multi_head_attention(inputs, inputs, inputs, num_heads)
    att_output = dropout(att_output)
    att_output = residual_connection(inputs, att_output)
    normalized_output = layer_norm(inputs + att_output)
    return normalized_output