交叉注意力 pytorch

交叉注意力 (cross-attention) 是一种常见的注意力机制，通常用于多模态模型或序列到序列模型中。在 PyTorch 中，可以通过 nn.MultiheadAttention 实现交叉注意力。

具体使用方法为：

1. 定义一个 MultiheadAttention 实例，指定输入维度、输出维度和注意力头数等参数；
2. 将需要进行交叉注意力的查询、键和值通过该实例进行处理。

举个例子，假设我们有两个序列 x 和 y，希望计算它们之间的交叉注意力。可以按照以下方式实现：

import torch
import torch.nn as nn

# 假设 x 和 y 的维度均为 [seq_len, batch_size, hidden_size]
x = torch.randn(10, 32, 64)
y = torch.randn(12, 32, 64)

# 定义一个 MultiheadAttention 实例
attn = nn.MultiheadAttention(embed_dim=64, num_heads=8)

# 计算交叉注意力
attn_output, _ = attn(x, y, y)

在上述代码中，attn_output 的维度为 [seq_len, batch_size, hidden_size]，表示 x 和 y 的交叉注意力表示。