什么是cross attention

Cross attention是一种注意力机制，用于计算源序列和目标序列之间的交互关系。在自然语言处理中，源序列通常是编码器的输出，目标序列通常是解码器的输入。Cross attention通过计算每个目标序列位置与所有源序列位置之间的相似度得分来生成一个加权的源序列表示，从而帮助解码器更好地理解源序列信息并生成更好的输出。Cross attention在机器翻译、文本摘要、问答等任务中都得到了广泛应用。