python代码实现自注意力机制

自注意力（Self-Attention）机制是Transformer架构的核心组成部分，最初在机器翻译任务中由 Vaswani 等人在2017年的论文《Attention is All You Need》中引入。在Python中，特别是在使用像PyTorch或TensorFlow这样的深度学习库时，我们可以用以下步骤来实现自注意力机制：

Query、Key和Value的计算：
对输入序列中的每个词（或单词的向量表示），我们创建三个版本：一个是查询（Query）向量，用于找出与其他向量的相关度；一个是键（Key）向量，用于存储相似度信息；还有一个值（Value）向量，用来存储原始信息。

def compute_attention(query, key, value):
attention_scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(key.size(-1))
attention_weights = softmax(attention_scores, dim=-1)
output = torch.matmul(attention_weights, value)
return output, attention_weights
登录后复制

加性注意力：
这是最常见的自注意力形式，通过softmax函数将得分转换为概率分布。

多头注意力（Multi-Head Attention）：
分离为多个子注意力机制，每个子机制处理输入的不同线性变换，然后合并结果，以捕捉不同尺度的信息。

def multi_head_attention(query, key, value, num_heads):
query_heads = torch.split(query, query.size(-1) // num_heads, dim=-1)
key_heads = torch.split(key, key.size(-1) // num_heads, dim=-1)
value_heads = torch.split(value, value.size(-1) // num_heads, dim=-1)

attended_heads = [compute_attention(head_q, head_k, head_v) for head_q, head_k, head_v in zip(query_heads, key_heads, value_heads)]
attended_heads = [h for h in attended_heads]
concatenated = torch.cat(attended_heads, dim=-1)
return concatenated
登录后复制

残差连接和层归一化：
这些是Transformer层的标准组成部分，用于优化模型性能。

def self_attention_layer(inputs, num_heads, dropout):
# 前向传播过程
att_output = multi_head_attention(inputs, inputs, inputs, num_heads)
att_output = dropout(att_output)
att_output = residual_connection(inputs, att_output)
normalized_output = layer_norm(inputs + att_output)
return normalized_output
登录后复制