cross+attention

Cross-attention是Transformer中的一种注意力机制，用于处理输入序列之间的交互。在Cross-attention中，查询（Q）和键（K）来自不同的输入序列，而值（V）仍然来自同一序列。Cross-attention的计算方式为：$Attention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d_k}})V$，其中$d_k$是键向量的维度。Cross-attention可以用于多模态任务，如图像字幕生成和视频描述生成等。

以下是一个使用PyTorch实现的Cross-attention的例子：

import torch
import torch.nn as nn

class CrossAttention(nn.Module):
    def __init__(self, query_dim, key_dim, value_dim):
        super(CrossAttention, self).__init__()
        self.query_dim = query_dim
        self.key_dim = key_dim
        self.value_dim = value_dim
        self.query_linear = nn.Linear(query_dim, key_dim)
        self.key_linear = nn.Linear(key_dim, query_dim)
        self.value_linear = nn.Linear(value_dim, query_dim)

    def forward(self, query, key, value):
        Q = self.query_linear(query)
        K = self.key_linear(key)
        V = self.value_linear(value)
        attention_weights = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(self.key_dim).float())
        attention_weights = torch.softmax(attention_weights, dim=-1)
        output = torch.matmul(attention_weights, V)
        return output