交叉注意力和自注意力机制的区别

交叉注意力和自注意力机制都是注意力机制的变种，它们的区别在于所关注的对象不同。

交叉注意力主要用于处理两个不同的序列之间的关系，例如图像字幕生成任务中，将图像的特征序列和文本的单词序列进行交叉注意力，以便在生成字幕时更好地捕捉图像和文本之间的关系。

自注意力机制则主要用于处理一个序列内部的关系，例如在机器翻译任务中，将输入序列中的每个单词与其他单词进行自注意力，以便更好地捕捉输入序列中单词之间的依赖关系。

具体来说，自注意力机制中的查询、键和值都是来自同一个序列，而交叉注意力中的查询和值来自一个序列，而键来自另一个序列。

下面是一个简单的示例，演示了如何使用自注意力和交叉注意力来计算输入序列中每个单词的表示：

import torch
import torch.nn.functional as F

# 输入序列
input_seq = torch.randn(5, 10, 20)

# 自注意力
self_attn = torch.bmm(input_seq, input_seq.transpose(1, 2))
self_attn = F.softmax(self_attn, dim=-1)
self_output = torch.bmm(self_attn, input_seq)

# 交叉注意力
cross_seq = torch.randn(5, 8, 20)
cross_attn = torch.bmm(input_seq, cross_seq.transpose(1, 2))
cross_attn = F.softmax(cross_attn, dim=-1)
cross_output = torch.bmm(cross_attn, cross_seq)

print(self_output.shape)  # 输出：torch.Size([5, 10, 20])
print(cross_output.shape)  # 输出：torch.Size([5, 10, 20])