transformer交叉注意力机制

transformer模型中的交叉注意力机制是一种用于处理输入序列之间的关联性的机制。它通过将查询序列和键值序列进行注意力计算，从而为每个查询生成一个加权的值。这种机制在机器翻译等任务中非常有用，可以帮助模型捕捉输入序列之间的依赖关系。

下面是一个演示transformer交叉注意力机制的例子：

import torch
import torch.nn as nn

class CrossAttention(nn.Module):
    def __init__(self, d_model):
        super(CrossAttention, self).__init__()
        self.query_linear = nn.Linear(d_model, d_model)
        self.key_linear = nn.Linear(d_model, d_model)
        self.value_linear = nn.Linear(d_model, d_model)
        self.softmax = nn.Softmax(dim=-1)

    def forward(self, query, key, value):
        q = self.query_linear(query)
        k = self.key_linear(key)
        v = self.value_linear(value)

        scores = torch.matmul(q, k.transpose(-2, -1))
        attention_weights = self.softmax(scores)

        output = torch.matmul(attention_weights, v)
        return output

# 创建输入序列
query = torch.randn(1, 10, 512)  # 查询序列
key = torch.randn(1, 20, 512)  # 键序列
value = torch.randn(1, 20, 512)  # 值序列

# 创建交叉注意力层
cross_attention = CrossAttention(512)

# 使用交叉注意力层进行计算
output = cross_attention(query, key, value)
print(output.shape)  # 输出：torch.Size([1, 10, 512])

在这个例子中，我们首先定义了一个CrossAttention类，它包含了查询、键和值的线性变换层，以及一个softmax函数用于计算注意力权重。在forward方法中，我们首先对查询、键和值进行线性变换，然后计算注意力得分，并使用softmax函数将得分转化为注意力权重。最后，我们将注意力权重与值相乘得到输出。