cross-attn

Cross-Attention是指在Transformer架构中，将两个不同位置的输入序列进行注意力机制的计算。其中一个序列作为query，另一个序列作为key和value。相比之下，Self-Attention是在序列内部进行注意力机制的计算，即query、key和value都来源于同一个序列。

在Cross-Attention中，query和key之间的相似度可以通过线性变换计算得到。这是因为线性变换可以将输入进行转换，使得不同序列之间的相似度可以更好地衡量。通过对query和key进行线性映射，可以将它们在特征空间中进行比较，进而计算出注意力权重。这样可以实现序列之间的交互和信息传递。

总结来说，Cross-Attention是在不同位置的输入序列之间进行注意力机制的计算，而Self-Attention是在序列内部进行注意力机制的计算。在Cross-Attention中，通过线性变换计算query和key之间的相似度，从而实现序列之间的交互和信息传递。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *3* [【Transformer】9、CrossFormer：A versatile vision transformer based on cross-scale attention](https://blog.csdn.net/jiaoyangwm/article/details/121037508)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* [self-attention和cross-attention](https://blog.csdn.net/u012193416/article/details/130261040)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]