注意力机制和自注意力 机制

注意力机制是一种用于加权计算输入序列中不同位置的重要性的方法。它通过计算每个位置与其他位置之间的关联程度，然后根据这些关联程度对输入进行加权求和，从而得到一个加权表示。注意力机制在自然语言处理、计算机视觉等领域广泛应用。

自注意力机制是一种特殊的注意力机制，它用于计算输入序列中每个位置与其他位置之间的关联程度。在自注意力机制中，通过将输入序列映射为查询（Q）、键（K）和值（V）向量，然后计算查询与键之间的相似度得到注意力权重，最后将注意力权重与值向量相乘并求和得到加权表示。

以下是一个演示自注意力机制的例子：

import torch
import torch.nn as nn

# 定义自注意力层
class SelfAttention(nn.Module):
    def __init__(self, input_dim):
        super(SelfAttention, self).__init__()
        self.query = nn.Linear(input_dim, input_dim)
        self.key = nn.Linear(input_dim, input_dim)
        self.value = nn.Linear(input_dim, input_dim)
        self.softmax = nn.Softmax(dim=-1)
        
    def forward(self, x):
        q = self.query(x)
        k = self.key(x)
        v = self.value(x)
        
        scores = torch.matmul(q, k.transpose(-2, -1))
        attention_weights = self.softmax(scores)
        
        output = torch.matmul(attention_weights, v)
        return output

# 输入序列
input_sequence = torch.tensor([[1, 2, 3, 4, 5], [6, 7, 8, 9, 10]], dtype=torch.float32)

# 创建自注意力层
attention = SelfAttention(input_dim=5)

# 计算注意力表示
attention_output = attention(input_sequence)

print(attention_output)