cross attention 算子

Cross Attention，也称为跨模态注意力或外部注意力，是Transformer架构的一个扩展版本，特别是在处理涉及两个不同类型的输入（例如文本和图像）的任务时非常有用。它主要用于编码器-解码器（Encoder-Decoder）架构中，其中一个模块（通常是解码器）关注另一个模块（通常是编码器）的表示。

具体来说，cross attention包含以下几个步骤：
1. **查询（Query）生成**：解码器中的当前隐藏状态被转换为查询，通常通过线性变换。
2. **关键值对（Key-Value Pairs）**：来自另一个模态的数据（如图像特征）被提取出来作为键和值。
3. **注意力分配**：查询与所有的键进行点乘，然后除以某个缩放因子（如sqrt(d_k)，其中d_k是键向量的维度），得到注意力得分。
4. **软关注度（Softmax）**：使用softmax函数将注意力得分转换为概率分布，表示当前位置对另一模态数据的关注程度。
5. **加权和（Weighted Sum）**：将注意力得分与值向量相乘，然后求和，生成上下文向量，这个向量包含了来自另一种模态的有用信息。