cross mask attention
时间: 2023-11-02 15:07:42 浏览: 76
SCAN:PyTorch“用于图像-文本匹配的堆叠式交叉注意”的源代码(ECCV 2018)
Cross-mask attention是指在多个输入序列之间进行注意力计算的一种机制。在这种机制下,每个输入序列都会被掩码,以避免模型在计算注意力时考虑到无效的位置。同时,模型会计算不同输入序列之间的交叉注意力,以更好地捕捉它们之间的关系。
例如,在多轮对话中,我们可以将每个对话轮次看作一个输入序列,并使用交叉注意力来捕捉不同轮次之间的关系。
阅读全文