交叉注意力机制网络结构

### 交叉注意力机制网络架构详解

#### 背景介绍
在现代深度学习模型中，尤其是序列到序列的任务里，交叉注意力机制扮演着重要角色。该机制允许目标序列中的每一个位置关注源序列的不同部分[^2]。

#### 架构组成
交叉注意力机制主要由查询（Query）、键（Key）和值（Value）三个组件构成。具体来说，在解码器端产生的查询向量会与来自编码器输出的键和值进行交互。这种设计使得解码过程能够动态地聚焦于输入序列的相关片段上[^1]。

#### 工作流程描述
当执行一次前向传播时：

- **准备阶段**：首先从编码器获取隐藏状态作为`K`(Keys) 和 `V`(Values)，而`Q`(Queries) 则来源于当前时间步下的解码器内部表示。

- **计算相似度得分**：通过矩阵乘法操作来衡量每个query与其他所有key之间的匹配程度，并经过缩放和平滑处理得到权重分布。

- **加权求和**：利用上述获得的概率分布对相应的value做线性组合，最终形成新的上下文表征用于后续预测任务。

import torch.nn.functional as F

def cross_attention(query, key, value):
    """
    实现简单的交叉注意力函数
    
    参数:
        query (Tensor): 查询张量形状为 [batch_size, target_len, d_model]
        key (Tensor): 键张量形状为 [batch_size, source_len, d_model]
        value (Tensor): 值张量形状为 [batch_size, source_len, d_model]

    返回:
        Tensor: 输出张量形状为 [batch_size, target_len, d_model]
    """

    # 计算attention scores并应用softmax激活
    attention_scores = torch.matmul(query, key.transpose(-2,-1)) / math.sqrt(d_k)
    attention_probs = F.softmax(attention_scores,dim=-1)

    # 加权平均values以生成context vectors
    context_vectors = torch.matmul(attention_probs,value)

    return context_vectors

#### 特点优势分析
相比于传统RNN/LSTM等方法，采用交叉注意力可以更高效地捕捉长距离依赖关系；同时由于其平行化特性也更容易扩展至大规模数据集训练场景下[^3]。